前言
本篇簡略介紹一下 (Kuhn, 1988)[1] 和 (Kuhn, De Mori, 1990)[2] 中的主要思想，即在 n-gram 基礎(chǔ)的馬爾科夫模型中引入 cache 機制的方法。作為討論后續(xù)使用神經(jīng)網(wǎng)絡(luò)方法引入連續(xù) cache 的序列模型的鋪墊。
思想
為序列模型引入 cache 是基于這樣的假設(shè)：近期使用的單詞，出現(xiàn)頻率比全局更高。這是一個受語言學(xué)啟發(fā)的假設(shè)。
原語言模型基于 n-gram ，論文中提出的模型為其增加了 cache 部分。以 Part-of-Speech (POS) 作為線索，改進語言模型。這是基于另一個假設(shè)：一個內(nèi)容詞（a content word），比如特定的名詞或動詞，傾向于集中出現(xiàn)；而功能詞（function words），傾向于平均分布。
模型的核心可以用以下公式概括：
各項含義如下：
-
即第
個位置上的單詞是
-
即第
-
，兩項分別代表全局 Markov 模型部分概率權(quán)重和 cache 部分概率權(quán)重。注意到不同的 POS 對應(yīng)不同的權(quán)重分配。
-
為全局 Markov 模型，這里使用的是 3g-gram 。
-
為從第
個 POS 對應(yīng)的 cache 中所得到第
的概率，代表了語境信息。
進行序列預(yù)測時，每個 POS 維護一個 LRU 的 cache 儲存一定量的單詞。對于第 個位置，預(yù)測其為單詞
的概率由前兩個位置的 POS 產(chǎn)生各種 POS 的概率，乘以由上面公式計算出不同 POS 生成該單詞的概率得到。
以上部分，略去了 trigram 預(yù)測 POS 的模型以及對 out-of-vocabulary 單詞的處理。具體可見論文。
結(jié)果
實驗證明了 cache 的有效性，并為內(nèi)容詞與功能詞的語言學(xué)假設(shè)提供了實驗支持。實驗發(fā)現(xiàn)[2]，功能詞全局部分比重較大，而內(nèi)容詞 cache 部分與全局部分比重相當(dāng)。
評論
對語境信息建模的方式很多，直接用 cache 儲存起來算是很直接的想法。這篇論文[3]將 Kuhn 兩篇中的思想改成了連續(xù)版本，依然保留了無需訓(xùn)練的優(yōu)點。也許有的時候模型偏置（model bias）不需要對處理的過程太過干預(yù)，能為其提供獲得想要信息的方法就好。
-
Kuhn, R. (1988). Speech recognition and the frequency of recently used words: A modified markov model for natural language. Proceedings of the 12th conference on Computational linguistics-Volume 1, Association for Computational Linguistics. ?
-
Kuhn, R. and R. De Mori (1990). "A cache-based natural language model for speech recognition." IEEE transactions on pattern analysis and machine intelligence 12(6): 570-583. ? ?
-
Grave, E., et al. (2016). "Improving neural language models with a continuous cache." arXiv preprint arXiv:1612.04426. ?
