paper來(lái)源：arXiv.org
問(wèn)題：
實(shí)驗(yàn)任務(wù)----屬于機(jī)器翻譯（NMT）任務(wù)，具體來(lái)說(shuō)，本paper實(shí)驗(yàn)任務(wù)為英語(yǔ)翻譯為法語(yǔ)；
paperwork----在傳統(tǒng)NMT的“seq2seq+attention”的基礎(chǔ)上引入先驗(yàn)知識(shí)/工具改進(jìn)了decoder的結(jié)構(gòu)，在一定程度上解決大詞表(Large Vocabulary)和OOV（Out Of Vocabulary）問(wèn)題；
摘要：
首先，作者使用morphological and grammatical analysis（形態(tài)學(xué)與語(yǔ)法分析器）來(lái)獲取單詞的因素表示，lemmas, Part of Speech tag, tense, person, gender and number等；
其次，作者改進(jìn)了傳統(tǒng)的NMT的decoder，把輸出由一個(gè)變成了兩個(gè)，分別表示lemmas和其他的factors，獨(dú)立學(xué)習(xí)，然后重組為word；
由此帶來(lái)的好處是，同樣大的詞表可以表示更多的詞；再者，它可以生產(chǎn)詞表中不存在的新詞，減少OOV詞項(xiàng)的出現(xiàn)頻率；
形態(tài)學(xué)與語(yǔ)法分析器（本文使用的是MACAON）：
舉例：法語(yǔ)詞devient（對(duì)應(yīng)英文詞becomes）可以表示為devenir和“vP3#s”, devenir為lemma，可以理解為詞根；“vP3#s”為factors，可理解為修飾限制詞根的其他因素；v表示verb，P表示Present(時(shí)態(tài))，3表示3rd person(第三人稱),#表示無(wú)關(guān)性別，s表示單數(shù)；
網(wǎng)絡(luò)結(jié)構(gòu)：
傳統(tǒng)的NMT結(jié)構(gòu)圖：
兩個(gè)重要概念：seq2seq，attention
FNMT提出的新的decoder的結(jié)構(gòu)：
P變成獨(dú)立的Lemma和factors向量（由此可能會(huì)帶來(lái)長(zhǎng)度差異，最終翻譯結(jié)果的長(zhǎng)度以lemma長(zhǎng)度為準(zhǔn)）；
將P層輸入給softmax決定lemma和factor后，再將二者輸送給形態(tài)學(xué)分析器來(lái)產(chǎn)生word；
(feedback采用的是lemma向量，根據(jù)如下實(shí)驗(yàn)效果選擇的)：
實(shí)驗(yàn)結(jié)果：
1，詞表比較大的時(shí)候，表現(xiàn)基本持平；詞表縮小的話，F(xiàn)NMT的表現(xiàn)就要好得多；
2，相同的參數(shù)量，F(xiàn)NMT能夠囊括更多的word；
3，在OOV問(wèn)題的解決上，F(xiàn)NMT表現(xiàn)更好；
4，最后一列是忽略factor誤差帶來(lái)的影響，lemma正確就算正確的結(jié)果；
簡(jiǎn)評(píng)：
1，本文利用先驗(yàn)知識(shí)（詞根+限制條件表示詞匯）給解決大詞表和OOV問(wèn)題提供了一種思路；
2，實(shí)驗(yàn)的效果很大一部分依賴于先驗(yàn)的語(yǔ)態(tài)學(xué)分析器的效果，比如目標(biāo)語(yǔ)言如果是中文或者英文就沒(méi)有這樣靠譜的分析器；
3，如有問(wèn)題或建議，歡迎留言交流~
