Effective Approaches to Attention-based Neural Machine Translation

  • 時(shí)間: 2015 EMNLP
  • 作者&機(jī)構(gòu)： 斯坦福大學(xué)計(jì)算機(jī)科學(xué)學(xué)院

Abstract

Attention機(jī)制在NMT中應(yīng)用，在翻譯時(shí)去關(guān)注部分source端的句子。
這篇文章是對(duì)于attention-based NMT的改進(jìn)。

  • global approach
  • local approach

并且取得了顯著的效果

Model

  • Global Model
    看看圖就行，即是最常見的

    Global Model

  • Local attention model
    即是將attention限制在某個(gè)位置：
    這時(shí)候是以p_t為中心，D為單側(cè)長度,即[p_t - D ,p_t + D]
    如圖:

    Local Model

在這里p_t的選擇就分為2種：

  • local-m ： p_t = t
  • local-p ：p_t = sth. by\ \ h_t
    這時(shí)候權(quán)重的定義為：

END

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡書系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容