本文首先會介紹一些預(yù)備知識，比如softmax、ngram等，然后簡單介紹word2vec原理，之后來講解fastText的原理，并著手使用keras搭建一個簡單的fastText分類器，最后，我們會介紹fastText在達(dá)觀數(shù)據(jù)的應(yīng)用。
fastText原理及實踐
?
Softmax回歸（Softmax Regression）又被稱作多項邏輯回歸（multinomial logistic regression），它是邏輯回歸在處理多類別任務(wù)上的推廣。
在邏輯回歸中， 我們有m個被標(biāo)注的樣本：
，其中
。因為類標(biāo)是二元的，所以我們有
。我們的假設(shè)（hypothesis）有如下形式：
代價函數(shù)（cost function）如下：
在Softmax回歸中，類標(biāo)是大于2的，因此在我們的訓(xùn)練集
中，
。給定一個測試輸入x，我們的假設(shè)應(yīng)該輸出一個K維的向量，向量內(nèi)每個元素的值表示x屬于當(dāng)前類別的概率。具體地，假設(shè)
形式如下：
代價函數(shù)如下：
?
其中1{·}是指示函數(shù)，即1=1,1=0
既然我們說Softmax回歸是邏輯回歸的推廣，那我們是否能夠在代價函數(shù)上推導(dǎo)出它們的一致性呢？當(dāng)然可以，于是：
可以看到，邏輯回歸是softmax回歸在K=2時的特例。
你可能也發(fā)現(xiàn)了，標(biāo)準(zhǔn)的Softmax回歸中，要計算y=j時的Softmax概率：
，我們需要對所有的K個概率做歸一化，這在|y|很大時非常耗時。于是，分層Softmax誕生了，它的基本思想是使用樹的層級結(jié)構(gòu)替代扁平化的標(biāo)準(zhǔn)Softmax，使得在計算
時，只需計算一條路徑上的所有節(jié)點的概率值，無需在意其它的節(jié)點。
下圖是一個分層Softmax示例：
樹的結(jié)構(gòu)是根據(jù)類標(biāo)的頻數(shù)構(gòu)造的霍夫曼樹。K個不同的類標(biāo)組成所有的葉子節(jié)點，K-1個內(nèi)部節(jié)點作為內(nèi)部參數(shù)，從根節(jié)點到某個葉子節(jié)點經(jīng)過的節(jié)點和邊形成一條路徑，路徑長度被表示為
。于是，
就可以被寫成：
其中：
表示sigmoid函數(shù)；
表示n節(jié)點的左孩子；
是一個特殊的函數(shù)，被定義為：
是中間節(jié)點
的參數(shù)；X是Softmax層的輸入。
上圖中，高亮的節(jié)點和邊是從根節(jié)點到?
?的路徑，路徑長度
可以被表示為：
于是，從根節(jié)點走到葉子節(jié)點
，實際上是在做了3次二分類的邏輯回歸。
通過分層的Softmax，計算復(fù)雜度一下從|K|降低到log|K|。
?
在文本特征提取中，常常能看到n-gram的身影。它是一種基于語言模型的算法，基本思想是將文本內(nèi)容按照字節(jié)順序進(jìn)行大小為N的滑動窗口操作，最終形成長度為N的字節(jié)片段序列?？聪旅娴睦樱?/span>
?
我來到 來到達(dá) 到達(dá)觀 達(dá)觀數(shù) 觀數(shù)據(jù) 數(shù)據(jù)參 據(jù)參觀
注意一點：n-gram中的gram根據(jù)粒度不同，有不同的含義。它可以是字粒度，也可以是詞粒度的。上面所舉的例子屬于字粒度的n-gram，詞粒度的n-gram看下面例子：
相應(yīng)的bigram特征為：
我/來到 來到/達(dá)觀數(shù)據(jù) 達(dá)觀數(shù)據(jù)/參觀
?
相應(yīng)的trigram特征為：
我/來到/達(dá)觀數(shù)據(jù) 來到/達(dá)觀數(shù)據(jù)/參觀
n-gram產(chǎn)生的特征只是作為文本特征的候選集，你后面可能會采用信息熵、卡方統(tǒng)計、IDF等文本特征選擇方式篩選出比較重要特征。
fastText原理及實踐
你可能要問，這篇文章不是介紹fastText的么，怎么開始介紹起了word2vec？
最主要的原因是word2vec的CBOW模型架構(gòu)和fastText模型非常相似。于是，你看到facebook開源的fastText工具不僅實現(xiàn)了fastText文本分類工具，還實現(xiàn)了快速詞向量訓(xùn)練工具。word2vec主要有兩種模型：skip-gram 模型和CBOW模型，這里只介紹CBOW模型，有關(guān)skip-gram模型的內(nèi)容請參考達(dá)觀另一篇技術(shù)文章：
漫談Word2vec之skip-gram模型
CBOW模型的基本思路是：用上下文預(yù)測目標(biāo)詞匯。架構(gòu)圖如下所示：
輸入層由目標(biāo)詞匯y的上下文單詞 
組成， 
是被onehot編碼過的V維向量，其中V是詞匯量；隱含層是N維向量h；輸出層是被onehot編碼過的目標(biāo)詞y。輸入向量通過 
維的權(quán)重矩陣W連接到隱含層；隱含層通過 
維的權(quán)重矩陣 
連接到輸出層。因為詞庫V往往非常大，使用標(biāo)準(zhǔn)的softmax計算相當(dāng)耗時，于是CBOW的輸出層采用的正是上文提到過的分層Softmax。
輸入是如何計算而獲得輸出呢？先假設(shè)我們已經(jīng)獲得了權(quán)重矩陣
和
（具體的推導(dǎo)見第3節(jié)），隱含層h的輸出的計算公式：
即：隱含層的輸出是C個上下文單詞向量的加權(quán)平均，權(quán)重為W。
接著我們計算輸出層的每個節(jié)點：
這里
是矩陣
的第j列，最后，將
作為softmax函數(shù)的輸入，得到
：
在學(xué)習(xí)權(quán)重矩陣和過程中，我們首先隨機(jī)產(chǎn)生初始值，然后feed訓(xùn)練樣本到我們的模型，并觀測我們期望輸出和真實輸出的誤差。接著，我們計算誤差關(guān)于權(quán)重矩陣的梯度，并在梯度的方向糾正它們。
首先定義損失函數(shù)，objective是最大化給定輸入上下文，target單詞的條件概率。因此，損失函數(shù)為：
這里，
表示目標(biāo)單詞在詞庫V中的索引。
如何更新權(quán)重
?
我們先對E關(guān)于
求導(dǎo)：
函數(shù)表示：
于是，
的更新公式：
如何更新權(quán)重W？
?
我們首先計算E關(guān)于隱含層節(jié)點的導(dǎo)數(shù)：
然后，E關(guān)于權(quán)重的導(dǎo)數(shù)為：
于是，
的更新公式：
fastText原理及實踐
終于到我們的fastText出場了。這里有一點需要特別注意，一般情況下，使用fastText進(jìn)行文本分類的同時也會產(chǎn)生詞的embedding，即embedding是fastText分類的產(chǎn)物。除非你決定使用預(yù)訓(xùn)練的embedding來訓(xùn)練fastText分類模型，這另當(dāng)別論。
?
word2vec把語料庫中的每個單詞當(dāng)成原子的，它會為每個單詞生成一個向量。這忽略了單詞內(nèi)部的形態(tài)特征，比如：“apple” 和“apples”，“達(dá)觀數(shù)據(jù)”和“達(dá)觀”，這兩個例子中，兩個單詞都有較多公共字符，即它們的內(nèi)部形態(tài)類似，但是在傳統(tǒng)的word2vec中，這種單詞內(nèi)部形態(tài)信息因為它們被轉(zhuǎn)換成不同的id丟失了。
?
為了克服這個問題，fastText使用了字符級別的n-grams來表示一個單詞。對于單詞“apple”，假設(shè)n的取值為3，則它的trigram有:
“<ap”, ?“app”, ?“ppl”, ?“ple”, “l(fā)e>”
其中，<表示前綴，>表示后綴。于是，我們可以用這些trigram來表示“apple”這個單詞，進(jìn)一步，我們可以用這5個trigram的向量疊加來表示“apple”的詞向量。
這帶來兩點好處：
1. 對于低頻詞生成的詞向量效果會更好。因為它們的n-gram可以和其它詞共享。
2. 對于訓(xùn)練詞庫之外的單詞，仍然可以構(gòu)建它們的詞向量。我們可以疊加它們的字符級n-gram向量。
?
之前提到過，fastText模型架構(gòu)和word2vec的CBOW模型架構(gòu)非常相似。下面是fastText模型架構(gòu)圖：
注意：此架構(gòu)圖沒有展示詞向量的訓(xùn)練過程?？梢钥吹?，和CBOW一樣，fastText模型也只有三層：輸入層、隱含層、輸出層（Hierarchical Softmax），輸入都是多個經(jīng)向量表示的單詞，輸出都是一個特定的target，隱含層都是對多個詞向量的疊加平均。
?
不同的是，CBOW的輸入是目標(biāo)單詞的上下文，fastText的輸入是多個單詞及其n-gram特征，這些特征用來表示單個文檔；CBOW的輸入單詞被onehot編碼過，fastText的輸入特征是被embedding過；CBOW的輸出是目標(biāo)詞匯，fastText的輸出是文檔對應(yīng)的類標(biāo)。
值得注意的是，fastText在輸入時，將單詞的字符級別的n-gram向量作為額外的特征；在輸出時，fastText采用了分層Softmax，大大降低了模型訓(xùn)練時間。這兩個知識點在前文中已經(jīng)講過，這里不再贅述。
fastText相關(guān)公式的推導(dǎo)和CBOW非常類似，這里也不展開了。
現(xiàn)在拋開那些不是很討人喜歡的公式推導(dǎo)，來想一想fastText文本分類的核心思想是什么？
仔細(xì)觀察模型的后半部分，即從隱含層輸出到輸出層輸出，會發(fā)現(xiàn)它就是一個softmax線性多類別分類器，分類器的輸入是一個用來表征當(dāng)前文檔的向量；模型的前半部分，即從輸入層輸入到隱含層輸出部分，主要在做一件事情：生成用來表征文檔的向量。那么它是如何做的呢？疊加構(gòu)成這篇文檔的所有詞及n-gram的詞向量，然后取平均。疊加詞向量背后的思想就是傳統(tǒng)的詞袋法，即將文檔看成一個由詞構(gòu)成的集合。
于是fastText的核心思想就是：將整篇文檔的詞及n-gram向量疊加平均得到文檔向量，然后使用文檔向量做softmax多分類。這中間涉及到兩個技巧：字符級n-gram特征的引入以及分層Softmax分類。
還有個問題，就是為何fastText的分類效果常常不輸于傳統(tǒng)的非線性分類器？
假設(shè)我們有兩段文本：
我 來到 達(dá)觀數(shù)據(jù)
俺 去了 達(dá)而觀信息科技
這兩段文本意思幾乎一模一樣，如果要分類，肯定要分到同一個類中去。但在傳統(tǒng)的分類器中，用來表征這兩段文本的向量可能差距非常大。傳統(tǒng)的文本分類中，你需要計算出每個詞的權(quán)重，比如tfidf值， “我”和“俺” 算出的tfidf值相差可能會比較大，其它詞類似，于是，VSM（向量空間模型）中用來表征這兩段文本的文本向量差別可能比較大。
?
但是fastText就不一樣了，它是用單詞的embedding疊加獲得的文檔向量，詞向量的重要特點就是向量的距離可以用來衡量單詞間的語義相似程度，于是，在fastText模型中，這兩段文本的向量應(yīng)該是非常相似的，于是，它們很大概率會被分到同一個類中。
使用詞embedding而非詞本身作為特征，這是fastText效果好的一個原因；另一個原因就是字符級n-gram特征的引入對分類效果會有一些提升 。
fastText 原理及實踐
keras是一個抽象層次很高的神經(jīng)網(wǎng)絡(luò)API，由python編寫，底層可以基于Tensorflow、Theano或者CNTK。它的優(yōu)點在于：用戶友好、模塊性好、易擴(kuò)展等。所以下面我會用keras簡單搭一個fastText的demo版，生產(chǎn)可用的fastText請移步https://github.com/facebookresearch/fastText。
?
如果你弄懂了上面所講的它的原理，下面的demo對你來講應(yīng)該是非常明了的。
為了簡化我們的任務(wù)：
1. 訓(xùn)練詞向量時，我們使用正常的word2vec方法，而真實的fastText還附加了字符級別的n-gram作為特征輸入；
2. 我們的輸出層使用簡單的softmax分類，而真實的fastText使用的是Hierarchical Softmax。
首先定義幾個常量：
VOCAB_SIZE = 2000
EMBEDDING_DIM =100
MAX_WORDS = 500
CLASS_NUM = 5
VOCAB_SIZE表示詞匯表大小，這里簡單設(shè)置為2000；
?
EMBEDDING_DIM表示經(jīng)過embedding層輸出，每個詞被分布式表示的向量的維度，這里設(shè)置為100。比如對于“達(dá)觀”這個詞，會被一個長度為100的類似于[ 0.97860014, 5.93589592, 0.22342691, -3.83102846, -0.23053935, …]的實值向量來表示；
?
MAX_WORDS表示一篇文檔最多使用的詞個數(shù)，因為文檔可能長短不一（即詞數(shù)不同），為了能feed到一個固定維度的神經(jīng)網(wǎng)絡(luò)，我們需要設(shè)置一個最大詞數(shù)，對于詞數(shù)少于這個閾值的文檔，我們需要用“未知詞”去填充。比如可以設(shè)置詞匯表中索引為0的詞為“未知詞”，用0去填充少于閾值的部分；
?
CLASS_NUM表示類別數(shù)，多分類問題，這里簡單設(shè)置為5。
模型搭建遵循以下步驟：
1. 添加輸入層（embedding層）。Embedding層的輸入是一批文檔，每個文檔由一個詞匯索引序列構(gòu)成。例如：[10, 30, 80, 1000] 可能表示“我 昨天 來到 達(dá)觀數(shù)據(jù)”這個短文本，其中“我”、“昨天”、“來到”、“達(dá)觀數(shù)據(jù)”在詞匯表中的索引分別是10、30、80、1000；Embedding層將每個單詞映射成EMBEDDING_DIM維的向量。于是：input_shape=(BATCH_SIZE, MAX_WORDS), output_shape=(BATCH_SIZE,MAX_WORDS, EMBEDDING_DIM)；
?
2. 添加隱含層（投影層）。投影層對一個文檔中所有單詞的向量進(jìn)行疊加平均。keras提供的GlobalAveragePooling1D類可以幫我們實現(xiàn)這個功能。這層的input_shape是Embedding層的output_shape，這層的output_shape=( BATCH_SIZE, EMBEDDING_DIM)；
?
3. 添加輸出層（softmax層）。真實的fastText這層是Hierarchical Softmax，因為keras原生并沒有支持Hierarchical Softmax，所以這里用Softmax代替。這層指定了CLASS_NUM，對于一篇文檔，輸出層會產(chǎn)生CLASS_NUM個概率值，分別表示此文檔屬于當(dāng)前類的可能性。這層的output_shape=(BATCH_SIZE, CLASS_NUM)
?
4. 指定損失函數(shù)、優(yōu)化器類型、評價指標(biāo)，編譯模型。損失函數(shù)我們設(shè)置為categorical_crossentropy，它就是我們上面所說的softmax回歸的損失函數(shù)；優(yōu)化器我們設(shè)置為SGD，表示隨機(jī)梯度下降優(yōu)化器；評價指標(biāo)選擇accuracy，表示精度。
用訓(xùn)練數(shù)據(jù)feed模型時，你需要：
1. 將文檔分好詞，構(gòu)建詞匯表。詞匯表中每個詞用一個整數(shù)（索引）來代替，并預(yù)留“未知詞”索引，假設(shè)為0；
?
2. 對類標(biāo)進(jìn)行onehot化。假設(shè)我們文本數(shù)據(jù)總共有3個類別，對應(yīng)的類標(biāo)分別是1、2、3，那么這三個類標(biāo)對應(yīng)的onehot向量分別是[1, 0,
0]、[0, 1, 0]、[0, 0, 1]；
?
3. 對一批文本，將每個文本轉(zhuǎn)化為詞索引序列，每個類標(biāo)轉(zhuǎn)化為onehot向量。就像之前的例子，“我 昨天 來到 達(dá)觀數(shù)據(jù)”可能被轉(zhuǎn)化為[10, 30,
80, 1000]；它屬于類別1，它的類標(biāo)就是[1, 0, 0]。由于我們設(shè)置了MAX_WORDS=500，這個短文本向量后面就需要補(bǔ)496個0，即[10, 30, 80, 1000, 0, 0, 0, …, 0]。因此，batch_xs的 維度為( BATCH_SIZE,MAX_WORDS)，batch_ys的維度為（BATCH_SIZE, CLASS_NUM）。
下面是構(gòu)建模型的代碼，數(shù)據(jù)處理、feed數(shù)據(jù)到模型的代碼比較繁瑣，這里不展示。
fastText原理及實踐
fastText作為誕生不久的詞向量訓(xùn)練、文本分類工具，在達(dá)觀得到了比較深入的應(yīng)用。主要被用在以下兩個系統(tǒng)：
1. 同近義詞挖掘。Facebook開源的fastText工具也實現(xiàn)了詞向量的訓(xùn)練，達(dá)觀基于各種垂直領(lǐng)域的語料，使用其挖掘出一批同近義詞；
2. 文本分類系統(tǒng)。在類標(biāo)數(shù)、數(shù)據(jù)量都比較大時，達(dá)觀會選擇fastText 來做文本分類，以實現(xiàn)快速訓(xùn)練預(yù)測、節(jié)省內(nèi)存的目的。
