一、文章有什么貢獻(xiàn)？
- 主要共享是提出了一個新的思路，以CCG (Combinatory Categorial Grammar) Supertag的形式將句法信息引入了，NMT（神經(jīng)機(jī)器翻譯）的解碼器端，對NMT的性能有了一定提高。
- 用兩種方式將CCG Supertag任務(wù)引入解碼器，一種是直接插入輸出的序列，一種是利用了多任務(wù)學(xué)習(xí)，對多任務(wù)學(xué)習(xí)的研究也有一些貢獻(xiàn)。
- 展示了不光是解碼器，當(dāng)同時(shí)在編碼器端輸入語言學(xué)信息的時(shí)候，性能得到進(jìn)一步提高。
- 對其中更多細(xì)節(jié)，如句子種類還有句子長度也進(jìn)行了詳細(xì)的分析。進(jìn)一步理解，引入語言學(xué)信息后對NMT系統(tǒng)的影響。
二、本文研究問題有什么價(jià)值？
首先引入CCG Supertag來對NMT的解碼器加入語法學(xué)信息，而且證明了這種情況下直接插入輸出序列比多任務(wù)學(xué)習(xí)的性能要好。當(dāng)然主要還是證明了，語言學(xué)對NMT系統(tǒng)的影響。
三、研究問題有什么挑戰(zhàn)？
大概就是如何將CCG supertag的語法信息引入編碼器端吧。
之后很多都是對系統(tǒng)的詳細(xì)分析了。
四、本文解決思路？
本文提出了兩個解決思路。
-
一個是interleaving，也就是將CCG supertag直接相間插入目標(biāo)語言的序列中去，也就是將輸出序列長度增加一倍，一個單詞一個相應(yīng)的tag。如這樣 $y{'}=y_1{tag},y_1{word},...,y_T{tag},y_T^{word}$ .
然后就把這個當(dāng)做是原來的目標(biāo)語言序列，進(jìn)行解碼預(yù)測。
interleaving -
還有一種思路是利用多任務(wù)學(xué)習(xí)(Multi-task Learning)，兩個解碼器分別用來翻譯和輸出CCG supertag，這兩個解碼器共享一個編碼器。
multitasking結(jié)果是第一個方案更好一些。
