來(lái)源: AINLPer 微信公眾號(hào)（每日更新...）
編輯: ShuYini
校稿: ShuYini
時(shí)間: 2020-02-27
引言：下面是作者整理的關(guān)于神經(jīng)機(jī)器翻譯（NMT）相關(guān)的論文文章，下面這10篇文章都頂會(huì)ICLR發(fā)表的文章，能找到源碼的作者也直接貼出來(lái)了，如果你對(duì)NMT感興趣或者也在找一些相關(guān)的文章，希望能夠幫助你~~
TILE: Multilingual Neural Machine Translation with Knowledge Distillation
Author: Xu Tan, Yi Ren, Di He, Tao Qin, Zhou Zhao, Tie-Yan Liu
Paper:https://openreview.net/pdf?id=S1gUsoR9YX
Code: None
論文簡(jiǎn)述：多語(yǔ)言機(jī)器翻譯以其離線訓(xùn)練和在線服務(wù)的效率而備受關(guān)注。然而，由于語(yǔ)言多樣性和模型容量的限制，傳統(tǒng)的多語(yǔ)言翻譯通常會(huì)產(chǎn)生較低的準(zhǔn)確性。在本文提出了一種基于提取的方法來(lái)提高多語(yǔ)言機(jī)器翻譯的準(zhǔn)確性。
TILE: Mirror-Generative Neural Machine Translation
Author: Zaixiang Zheng, Hao Zhou, Shujian Huang, Lei Li, Xin-Yu Dai, Jiajun Chen
Paper:https://openreview.net/pdf?id=HkxQRTNYPH
Code: None
論文簡(jiǎn)述：本文提出了鏡像生成NMT架構(gòu) ，這是一個(gè)單一的統(tǒng)一架構(gòu)，同時(shí)集成了源到目標(biāo)翻譯模型、目標(biāo)到源翻譯模型和兩種語(yǔ)言模型。
TILE: Multi-Agent Dual Learning
Author: Yiren Wang, Yingce Xia, Tianyu He, Fei Tian, Tao Qin, ChengXiang Zhai, Tie-Yan Liu
Paper:https://openreview.net/pdf?id=HyGhN2A5tm
Code: None
論文簡(jiǎn)述： 現(xiàn)有的二元學(xué)習(xí)框架形成了一個(gè)包含兩個(gè)主體(一個(gè)原始模型和一個(gè)二元模型)的系統(tǒng)來(lái)利用這種二元性。本文通過(guò)引入多個(gè)原模型和對(duì)偶模型對(duì)該框架進(jìn)行了擴(kuò)展，提出了多智能體對(duì)偶學(xué)習(xí)框架。在神經(jīng)機(jī)器翻譯和圖像翻譯任務(wù)上的實(shí)驗(yàn)證明了該框架的有效性。
TILE: Multilingual Neural Machine Translation With Soft Decoupled Encoding
Author: Xinyi Wang, Hieu Pham, Philip Arthur, Graham Neubig.
Paper:https://openreview.net/pdf?id=Skeke3C5Fm
Code: None
論文簡(jiǎn)述：神經(jīng)機(jī)器翻譯(NMT)系統(tǒng)的多語(yǔ)言訓(xùn)練在低資源語(yǔ)言上帶來(lái)了令人印象深刻的準(zhǔn)確性改進(jìn)。然而，在數(shù)據(jù)缺乏的情況下，有效地學(xué)習(xí)單詞表示仍然面臨著巨大的挑戰(zhàn)。在本文中，我們提出了軟解耦編碼(SDE)，這是一種多語(yǔ)言詞匯編碼框架，專門(mén)設(shè)計(jì)來(lái)智能地共享詞匯級(jí)別的信息，而不需要預(yù)先分割數(shù)據(jù)等啟發(fā)式預(yù)處理。
TILE: Von Mises-Fisher Loss for Training Sequence to Sequence Models with Continuous Outputs
Author:Sachin Kumar, Yulia Tsvetkov
Paper: https://openreview.net/pdf?id=rJlDnoA5Y7
Code: None
論文簡(jiǎn)述： Softmax函數(shù)用于幾乎所有現(xiàn)有的用于語(yǔ)言生成的序列到序列模型的最后一層。然而，它通常是計(jì)算最慢的一層，將詞匯表大小限制為最頻繁類型的子集;它有很大的內(nèi)存占用。為此本文提出了一種用連續(xù)嵌入層替換softmax層的通用技術(shù)。
TILE: Unsupervised Machine Translation Using Monolingual Corpora Only
Author:Guillaume Lample, Alexis Conneau, Ludovic Denoyer, Marc'Aurelio Ranzato.
Paper:https://openreview.net/pdf?id=rkYTTf-AZ
Code: None
論文簡(jiǎn)述： 提出了一種從兩種不同語(yǔ)言的單語(yǔ)語(yǔ)料庫(kù)中提取句子并將其映射到同一潛在空間的模型。通過(guò)學(xué)習(xí)從共享的特征空間中重構(gòu)兩種語(yǔ)言，該模型有效地學(xué)習(xí)了不使用任何標(biāo)記數(shù)據(jù)的翻譯。
TILE: Unsupervised Neural Machine Translation.
Author:Mikel Artetxe, Gorka Labaka, Eneko Agirre, Kyunghyun Cho。
Paper:https://openreview.net/pdf?id=Sy2ogebAW
Code: None
論文簡(jiǎn)述： 針對(duì)神經(jīng)機(jī)器翻譯（NMT）本文完全消除了并行數(shù)據(jù)的需要，并提出了一種新的方法，以完全無(wú)監(jiān)督的方式，僅依靠單語(yǔ)語(yǔ)料庫(kù)來(lái)訓(xùn)練一個(gè)NMT系統(tǒng)。我們的模型建立在最近關(guān)于無(wú)監(jiān)督嵌入映射的工作上，并由一個(gè)稍微修改過(guò)的注意力編譯碼器模型組成，該模型可以單獨(dú)在單語(yǔ)語(yǔ)料庫(kù)上使用去噪和反向翻譯的組合進(jìn)行訓(xùn)練。
TILE: Towards Neural Phrase-based Machine Translation.
Author:Po-Sen Huang, Chong Wang, Sitao Huang, Dengyong Zhou, Li Deng.
Paper:https://openreview.net/pdf?id=HktJec1RZ
Code: None
論文簡(jiǎn)述： 本文提出了一種基于神經(jīng)短語(yǔ)的機(jī)器翻譯方法。該方法使用最近提出的基于分段的序列建模方法Sleep-WAke Networks (SWAN)對(duì)輸出序列中的短語(yǔ)結(jié)構(gòu)進(jìn)行了顯式建模。
TILE: Word translation without parallel data
Author: Guillaume Lample, Alexis Conneau, Marc'Aurelio Ranzato, Ludovic Denoyer, Hervé Jégou
Paper:https://openreview.net/pdf?id=H196sainb
Code: https://github.com/facebookresearch/MUSE
論文簡(jiǎn)述： 學(xué)習(xí)跨語(yǔ)言單詞嵌入的最新方法依賴于雙語(yǔ)詞典或平行語(yǔ)料庫(kù)。本文證明，可以在兩種語(yǔ)言之間建立一個(gè)雙語(yǔ)詞典，而無(wú)需使用任何平行語(yǔ)料庫(kù)，通過(guò)以無(wú)監(jiān)督的方式對(duì)齊單語(yǔ)單詞嵌入空間。在不使用任何字符信息的情況下，我們的模型甚至在一些語(yǔ)言對(duì)的跨語(yǔ)言任務(wù)上優(yōu)于現(xiàn)有的監(jiān)督方法。
TILE: Non-Autoregressive Neural Machine Translation.
Author:Jiatao Gu, James Bradbury, Caiming Xiong, Victor O.K. Li, Richard Socher.
Paper: https://openreview.net/pdf?id=B1l8BtlCb
Code: None
論文簡(jiǎn)述：現(xiàn)有的神經(jīng)機(jī)器翻譯方法將每個(gè)輸出字置于先前生成的輸出之上。本文引入了一個(gè)模型，該模型避免了這種自回歸特性，而是并行地生成其輸出，從而允許在推理期間降低一個(gè)數(shù)量級(jí)的延遲。
Attention
更多自然語(yǔ)言處理相關(guān)知識(shí)，還請(qǐng)關(guān)注AINLPer公眾號(hào)，極品干貨即刻送達(dá)。
