Actionable and Political Text Classification using Word Embeddings and LSTM
Rao A, Spasojevic N. Actionable and Political Text Classification using Word Embeddings and LSTM[J]. arXiv preprint arXiv:1607.02501, 2016.
關鍵詞
文本分類；社交媒體；深度學習；神經網(wǎng)絡；LSTM模型；可行動性；政治
目標問題
在文本分類領域，大量的研究是關于情感挖掘問題，而其他形式的文本分類則研究得相對較少。在一部分應用場景下，只獲取文本的情感分類不足以提供充分的信息來滿足應用需求。論文考慮使用基于應用上下文標準的文本分類。其中應用的技術包括：詞嵌入和長短期記憶人工神級網(wǎng)絡。具體應用為文本可行動性分類和政治傾向分類。
論文主要貢獻
詞嵌入已經被證明是文本語義特征提取的有效工具，LSTM網(wǎng)絡能有效完成與文本序列有關的任務。論文將兩者結合來解決基于上下文的文本分類問題。
方法與模型
預處理
輸入的信息被分詞（tokenized）后作為神經網(wǎng)絡的輸入。每一個詞例（token）的詞頻作為其索引。詞頻排名前V的詞例組成詞匯庫。每一條信息可以被轉化為詞頻索引序列。論文選擇一個最大允許長度作為每一個索引序列的固定長度，如果索引序列實際長度小于最大允許長度，用數(shù)字0補充多余的索引。
神經網(wǎng)絡架構
遞歸神經網(wǎng)絡（Recurrent Neural Networks，RNNs） 是神經網(wǎng)絡的一類。與傳統(tǒng)升降網(wǎng)絡不同的是，RNNs使用一種具有內部狀態(tài)、能保存前向事件信息的單元（unit），因此非常適用于需要處理連續(xù)信息的場合，比如文本處理。
傳統(tǒng)的RNNs不能保存長期依賴關系，長短期記憶（Long Short Term Memory ，LSTM）神經網(wǎng)絡則能避免這個問題。
論文使用的神經網(wǎng)絡模型應用了詞嵌入和LSTM單元實現(xiàn)基于上下文的文本分類，具體的神經網(wǎng)絡層次結構如下：
嵌入層
網(wǎng)絡的第一層是嵌入層。嵌入層的目的是建立離散詞匯庫中的詞語到低維向量空間的映射。這種詞匯的分布式表示在建立概念之間的關系上具有極大優(yōu)勢。通過嵌入層，實現(xiàn)了文本特征的自動提取，無需手動定義特征。
LSTM層
網(wǎng)絡的第二層是LSTM層。LSTM層由若干個LSTM單元組成。一個LSTM單元相當于一個記憶細胞，由四部分組成：一個輸入門，一個一個自循環(huán)連接，一個遺忘門以及一個輸出門。
退出層
退出（Dropout）是神經網(wǎng)絡中避免過擬合的一種調節(jié)機制，通過隨機中止部分神經單元來避免共同適應。
充分連接層
充分連接層中，上一層所有的激活都充分連接。這一層用來學習高層次特征間的非線性結合。
損失層
這一層用來衡量預測結果和實際結果之間的偏差。論文使用二維交叉熵作為損失函數(shù)。
實驗一：可行動性預測
可行性實驗判斷是將消息劃分為可行動的或者非可行動的兩類。
數(shù)據(jù)集
數(shù)據(jù)集來源于一個社交媒體平臺。該平臺幫助代理代表公司對顧客來信進行回復。平臺整合了多個社交媒體平臺，包括Twitter、Facebook、google+、品牌社區(qū)以及在線論壇。
監(jiān)督訓練的標簽通過以下方式收集：如果代理對一條信息進行了回復，這條信息則被標注為可行動的（Actionable），用1作為標簽；反之則為非可行動性的（Non-Actionable）,用0作為標簽。論文使用了從2014.11.1到2015.05.1為期6個月的數(shù)據(jù)，收集了同等數(shù)量的可行動數(shù)據(jù)集和非可行動性數(shù)據(jù)集。80%的數(shù)據(jù)集用來訓練，余下的20%用來測試。實驗針對多種語言，因此每一種語言都包括一組訓練集和測試集。實驗還包括一組包含所有語言的數(shù)據(jù)集。數(shù)據(jù)集大小隨語言變化，最小的2.7萬條信息（Farsi）到最大的850萬條信息（English）?；旌险Z言數(shù)據(jù)集規(guī)模為170萬。
實驗結果
實驗結果分析
與傳統(tǒng)神經網(wǎng)絡比較，在Arabic以外的其他語種，論文使用的LSTM神經網(wǎng)絡預測精度上表現(xiàn)更佳。具體結果見下表：
模型建立中的一個參數(shù)變量是詞表規(guī)模，記作V。如table 1所示，實驗選取了V的兩個值，20,000和100,000。從整體實驗結果來看，兩個詞表的測試集精度相差不大。這表明較小的數(shù)據(jù)集同樣能有效預測消息的可行動性，并且模型訓練時間開銷更小。
實驗二：政治傾向預測
第二個文本分類任務是判斷與美國政治相關的政治傾向。根據(jù)消息中表現(xiàn)出的觀點，將消息分為民主黨或者共和黨。
數(shù)據(jù)集
數(shù)據(jù)收取方式：根據(jù)twitter上其他用戶創(chuàng)建的twitter 名單，選取Twitter上政治傾向明確的用戶。收集這些用戶從2015.10.12到2016.1.12為期三個月發(fā)布的信息。如果是民主黨，則標記為0，如果是共和黨則標記為1。訓練集和測試集的比例為8:2，規(guī)模分別為336,000和84,000。
訓練與評估
使用與第一個實驗相同的神將網(wǎng)絡模型（嵌入層和LSTM層各有128個單元），得到的結果為：訓練集的精度為88.82%，測試集的精度為87.57%。
模型參數(shù)對訓練結果的影響
嵌入層、LSTM層的單元數(shù)變化對模型精度的影響參考Figure 2。Figure 2(a)顯示當LSTM為固定64個單元時，模型精度隨嵌入層單元數(shù)量的變化情況；Figure 2(b)顯示當嵌入層為固定128個單元時，模型精度隨LSTM單元數(shù)量的變化情況；Figure 3(b)顯示當LSTM層和嵌入層單元數(shù)量同時增長時，模型精度的變化情況。
優(yōu)化器（optimizers）:Adam優(yōu)化器精度最高，為87.57%；其次是Adagrad，為87.12%;RM-Sprop,87.06%
批規(guī)模（batch size）:較小的批規(guī)模會使模型精度稍微提高，但較大的批則使模型收斂的更快。實驗結果表明，當批大小為64時，模型精度達到87.57%，并且相對收斂較快。
激活函數(shù)（activation）：使用sigmoid激活函數(shù)比tanh函數(shù)在準確度上提高了0.5%。
從Figure2可以看出，模型精度隨著LSTM層和嵌入層單元數(shù)量增加呈現(xiàn)增長趨勢，但是關于參數(shù)如何選擇仍然是一個開放問題。但Figure2表明，隨著參數(shù)變化，模型精度在一個較小的區(qū)間浮動，變化總體相對較小。另外，使用規(guī)模較小的網(wǎng)絡在訓練時間和內存限制上存在優(yōu)勢。
