2018年3月1日

Literature Survey: Study of Neural Machine Translation

摘要

訓(xùn)練基于注意力機(jī)制的端到端的翻譯模型，使用詞和用byte Pair Encoding 分詞處理后得到的子詞作為訓(xùn)練數(shù)據(jù)，通過案例研究BPE的效果。

MTL方法 是在平行語料中 學(xué)習(xí)印度語言對的翻譯，我們基于MLT方法解釋了基于多方法多語料模型，與此同時，通過與單對伸進(jìn)機(jī)器翻譯相比，我們還涵蓋了多方法多語言神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯所獲得的性能。

介紹

基于統(tǒng)計機(jī)器翻譯詞組通過類似于語言模型和翻譯模型單獨作用的子組件 解決機(jī)器翻譯的問題。但是神經(jīng)機(jī)器翻譯是建立從end-end 到一個大的神經(jīng)網(wǎng)絡(luò)模型來實現(xiàn)同樣的目標(biāo)。

機(jī)器翻譯系統(tǒng)背后的基礎(chǔ)理論是編碼變長的詞序列成為定長的向量，定長的向量可以總結(jié)整個句子。然后在目標(biāo)語言中解碼這個編碼后的向量，得到源語言的翻譯。整個編碼-解碼模型聯(lián)合被訓(xùn)練使得給定條件概率p（y|x）最大化。

2神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯

2.1 基礎(chǔ)編碼-解碼模型

這個模型被分為編碼和解碼兩個部分，兩者都是使用RNN。編碼端編碼變長的句子成為固定長度的向量，稱為概要向量或者是文本向量。解碼器使用這個句子的矢量表示并生成目標(biāo)語言的翻譯。

編碼器：編碼器是一個RNN，它每次看到一個在句子中的詞就更新，他最后的狀態(tài)歸納了整個句子，成為歸納向量hT

第一步：編碼句子時，在任何時間點輸入的詞，是輸入到編碼器中作為one-hot向量wi。

第二步：現(xiàn)在，輸入的向量wi被轉(zhuǎn)換為低維連續(xù)空間矢量表示si。為了得到低維連續(xù)空間矢量，我們可以使用之前學(xué)過的詞嵌入向量E或者聯(lián)合訓(xùn)練它們。詞嵌入矩陣包含了和詞匯表中單詞一樣數(shù)目的列。詞嵌入矩陣中第i列代表的是連續(xù)向量空間代表的詞匯表中第i個詞。因此當(dāng)作為詞嵌入矩陣和one-hot向量的乘積時，如等式1所示，選擇對應(yīng)詞的連續(xù)空間向量。

第三步：在這個步驟中，RNN隱藏層更新，并且在句子中參與新的si的計算。 其中f是非線性的RNN函數(shù)，取決于RNN的使用的變量（Vanilla、LSTM 和GRU）

在這句話的最后一個詞處理以后，隱藏層hT是編碼器獲得的這句話的歸納向量。它是一個固定維度的向量，代表整句話。

解碼器：解碼器也是一個RNN，采用輸入作為歸納向量，之前產(chǎn)生的為目標(biāo)詞和它的最后一個隱藏層。在處理輸入后，得到每一個詞在目標(biāo)語言中的概率分布。目標(biāo)詞此時通過簡單的從概率分布中取樣。處理解碼過程描述如下：

第一步：首先，解碼器的狀態(tài)計算方法如下：

其中zi和zi-1表示當(dāng)前和前一個解碼器的狀態(tài)。hT是歸納的向量，ui-1是前一個狀態(tài)產(chǎn)生的目標(biāo)詞，f’是RNN非線性轉(zhuǎn)換函數(shù)

第二步：基于當(dāng)前的解碼器的轉(zhuǎn)臺，我們計算每一個在詞典中的詞的得分，最后將分?jǐn)?shù)轉(zhuǎn)化為概率

這里的ek，wk是得分和第k個詞在詞匯表中的表征向量。如果它與解碼器能很好的匹配，那么它的得分很高，否則很低。是第k個詞的概率，對于所有的k屬于1到V

第三步：從第二步中得到的概率分布，我們?nèi)幽繕?biāo)詞。解碼器這個時候重復(fù)步驟一到三。直到所有的句子執(zhí)行完。這樣就產(chǎn)生了對應(yīng)于輸入的源語句的目標(biāo)語句。

這樣邊看邊翻譯閱讀文獻(xiàn)速度太慢，是否繼續(xù)更新看心情，如有心得體會與我交流可留言