論文來源：http://www.aclweb.org/anthology/P/P16/P16-1154.pdf

從輸入句中選擇性的復制certain segments到輸出句中。

本文：encoder-decoder 結合了copying機制，稱為COPYNET。 text summarization tasks

copynet

Encoder：將source sequence轉換成隱狀態(tài)，每個隱狀態(tài)ht與單詞wt相關聯(lián)。source序列的表示為{h1,....hTs} 作為M

Decoder：一個RNN讀取M然后預測目標序列。創(chuàng)新點在于：1. Prediction：通過兩個modes的mixed概率來預測單詞：generate-mode和copy-mode，后者從source序列中挑選詞? ?2. State Update：以前t-1的詞用來更新t的狀態(tài)，但是copynet只使用word-embedding同時也聯(lián)系其在M中的位置信息。? 3. Reading M：“selective read” to M

下面分別介紹這三點：

1. 通過copying和generation來預測：

詞匯： vocabulary? V，? out-of-vocabulary(OOV) 為UNK， 所有unique words 在source sequence中的? X。。。所有詞匯為三個的并集 V U UNK U X

generate-mode和copy mode

這兩個mode的概率分別為：

兩個mode的概率

打分方程，和歸一化

打分函數(shù)分別為：

score

2. state update

yt-1 用如下形式表示：

yt-1

我的理解： e(yt-1)是word embedding， 后者是將yt-1的一些信息與M相關聯(lián)起來，與source text中的詞和詞的位置都相關。如果yt-1沒有在source text中，將后者設置為0

3. hybrid addressing of M

content-based and location-based