閱讀論文—Effective Inter-Clause Modeling for End-to-End Emotion-Cause Pair Extraction

? 發(fā)表：ACL 2020 CCF-A
? 引用：Penghui Wei, Jiahao Zhao, Wenji Mao:
Effective Inter-Clause Modeling for End-to-End Emotion-Cause Pair Extraction. ACL 2020: 3171-3181
? 論文地址：https://aclanthology.org/2020.acl-main.289.pdf

1 背景與問題

Emotion-cause pair extraction 旨在從給定文檔中提取所有情感子句及其原因子句。以前的工作采用兩步法，第一步分別提取情感子句和原因子句，第二步訓練分類器過濾掉負對。但是這種方法面臨著錯誤傳播，并且兩個步驟可能無法很好地相互適應。
了解情緒發(fā)生的原因具有廣泛的應用，例如消費者評論挖掘和輿情監(jiān)控。

2 解決辦法

前置條件：

  1. Coherent document has an underlying structure（Mann 和 Thompson，1988；Marcu，2000），情感-原因?qū)Φ膬蓚€子句之間存在因果關系，將其與文檔中的其他非情感-原因?qū)^(qū)分開來。
  2. 根據(jù) cohesion 和 coherence of discourse（De Beaugrande 和 Dressler，1981），包含兩個距離較遠子句的概率因果關系相對較小。因此，子句對的兩個子句之間的相對位置信息可以被認為是情感-原因?qū)μ崛〉挠行卣鳌?/li>

在本文中，從排名的角度處理情感-原因?qū)μ崛。磳o定文檔中的子句對候選進行排序，并提出了一種兩步法，強調(diào)子句間建模來執(zhí)行端到端提取。
首先通過利用圖注意力來學習子句表示來模擬子句間關系，通過捕獲兩個子句之間的潛在關系來促進對提取。
然后它學習子句對表示并對這些對進行排名以提取情緒-原因?qū)?。提出了一種基于內(nèi)核的相對位置嵌入方案來模擬相對位置之間的相互影響并增強子句對表示以進行有效排名。
本文將這兩個組件集成到一個統(tǒng)一的神經(jīng)網(wǎng)絡中，該網(wǎng)絡是端到端訓練的。

案例
As shown in the following example, an emotion clause c3 and its corresponding cause clausec2 construct an emotion-cause pair (c3, c2):
Example.
He told us that since his illness (c1),his classmates and advisors have given him much help about the schoolwork (c2). He has beentouched (c3), and said that he will repay them (c4).

3 方法

提出了一種一步方法名為 RANKCP。
它對文檔中的子句對候選進行排名以提取情感-原因?qū)Α?br> 整體架構(gòu)如圖1所示，由三個組件組成。
第一個組件學習給定文檔中子句的向量表示。
第二個組件對子句之間的關系進行建模以獲得更好的子句表示。
第三個組件學習通過相對位置建模增強的子句對表示，并對子句對候選進行排序以提取情感-原因?qū)Α?/p>

Figure 1

3.1 Document Encoding

由 |D| 子句組成的文檔D = (c_1, c_2, . . . , c_{|D|})
-> RNN 進行編碼獲取c_i = (w^i_1, w^i_2,., w^i_{|ci|})
-> 雙向RNN獲取隱藏狀態(tài)序列(h^i_1, h^i_2,., h^i_{|ci|})
-> attention 并返回子句 c_i 的狀態(tài)向量 h_i = ∑^{|c_i|}_{j=1} α_j h^i_ j, α_j = Softmax(w^T_a tanh(W_ah^i_ j + b_a))

3.2 Modeling Inter-Clause Relationships with Graph Attention Network

為了增強文檔中子句之間的交互，我們將文檔結(jié)構(gòu)視為全連接子句圖，并采用圖注意網(wǎng)絡 (Veli ˇckovi ?c et al., 2018)對子句間關系進行建模。
具體來說，全連接圖中的每個節(jié)點都是文檔中的子句，每兩個節(jié)點都有一個邊。同時還添加了自環(huán)邊到每個節(jié)點，因為情感子句的原因子句可能是本身。
圖注意力網(wǎng)絡通過堆疊多個圖注意力層來傳播子句之間的信息，其中每一層都是通過使用自注意力聚合相鄰子句的信息來學習更新的子句表示(Vaswani et al., 2017)。在第 t 個圖注意力層，讓 {h^{(t?1)}_1 , h^{(t?1)}_2 , . . . , h^{(t?1)}_{|D|} } 表示該層的輸入子句表示，其中子句 c_i 的子句表示為 h^{(t?1)}_i ∈ R^{d_{t-1}}。
進一步采用多頭注意力，其中每個頭都可以根據(jù)圖注意力的保序?qū)傩圆东@ global pattern（Qiu et al., 2018）。在實踐中，我們在每兩個相鄰層之間添加了a highway connection (Srivastava et al., 2015) 來控制 information flow。
基于使用多個圖注意力層組成的圖注意力網(wǎng)絡對子句之間的交互進行建模，每個子句表示 h_i 是通過自適應地融合其他子句的信息產(chǎn)生的，并且可以充分學習文檔中的子句間關系。在獲得更新的子句表示
\{{h_i}\}^{|D|}_{i=1} 后，我們將它們輸入兩個預輸出層以預測子句是否是情感/原因子句。

類似地，子句 c_i 是一個原因子句 (\hat{y}^{cau}_i ) 的概率由另一層獲得。

3.3 Clause Pair Ranking with Kernel-based Relative Position Embedding

通過相對位置嵌入學習將相對位置信息注入到子句對表示學習過程中。
假設如果兩個子句的相對位置太大，它們形成情感-原因?qū)Φ母怕史浅Ｐ?。因此，給定文檔 D = (c1,., c|D|)，我們考慮每個子句對 (c_i, c_j )，其中兩個子句的相對位置（絕對值）|j - i|小于或等于某個值 M 作為情感-原因?qū)Φ暮蜻x者。我們從文檔 D 構(gòu)建了一組子句對候選：P′ = {(c_i, c_j ) | ?M ≤ j ? i ≤ +M }.

Learning Clause Pair Representations
對于每個子句對候選 pij = (ci, cj ) ∈ P′，其初始化表示是通過連接三個向量獲得的：子句 c_i 的表示 h_i、子句 c_j 的表示 h_j 及其相對位置 j ? i 的embeding r_{j?i}。
采用單層 MLP 來學習其表示：
p_{ij} = ReLU(W_p[h_i; h_j ; r_{j?i}] + b_p)

Vanilla relative position embedding
對于每個相對位置 通過從均勻分布中采樣隨機初始化嵌入器。然后將每個相對位置嵌入與模型訓練過程一起學習。

Kernel-based relative position embedding
基于上面的 vanilla 方案，其中每個相對位置嵌入部分相互獨立，對不同相對位置之間的相互影響進行建模，以進一步提高相對位置嵌入。使用 RBF 核函數(shù) K_m(·) 來模擬 m 與其他相對位置的影響：
K_m(j) = exp( - \frac{\left( j-m \right)^2}{σk^2} )
圖 2 顯示了說明形式 m = -1。當 σ_K → 0 時，基于內(nèi)核的嵌入演變?yōu)槠胀ㄇ度?。因此，基于?nèi)核的嵌入方案可以看作是 vanilla 嵌入的正則化版本。

Figure 2

Ranking Clause Pairs
對 ranking layer（由 w_r 和 b_r 參數(shù)化 ），采用激活函數(shù) f_{act}(·) 為每個子句對候選 pij ∈ P' 生成排名分數(shù) \hat{y}_{ij}。

3.4 Optimization

本網(wǎng)絡RANKCP 是端到端優(yōu)化的。
輸入文檔 D 的損失函數(shù)由兩部分組成。
第一部分衡量子句對的排名分數(shù) L_{pair} 。
第二部分測量圖注意力的輸入輸出 \hat{y}^{emo}_i和\hat{y}^{cau}_i 。
使用上述兩個部分的總和作為文檔 D: L = L_{pair} + (L_{emo} + L_{cau}) 的最終損失函數(shù) L。

3.5 Lexicon-based Extraction

采用基于詞典的提取方案從前 N 個排名列表 {p^^1, p^2,., p^N } 測試文檔。我們首先提取前對 p^1（得分最高的）作為情感-原因?qū)ΑＨ缓?，對于每個剩余的子句對 p^i = (c^{i,1}, c^{i,2}) ∈ {p^2,., p^N }，我們使用情感詞典來確定子句 c^{i,1} 是否包含情感詞。如果是這樣，我們將對 p^i 提取為情感原因?qū)ΑＲ虼?，我們的模型能夠從給定的文檔中提取多個情感原因?qū)Α?/p>

4 實驗

數(shù)據(jù)集
1,945 Chinese documents from SINA NEWS website. Table 1 shows the summary statistics.

Table 1

評估
P , recall R and F-score F1

對比方法
Xia and Ding (2019) 提出了三個兩步系統(tǒng)。第一步分別提取情感子句和原因子句，第二步是一個二元分類器，過濾掉負對。

實驗結(jié)果
表 2 表明了情緒原因?qū)μ崛『蛢蓚€子任務的比較結(jié)果，即情感子句提取和原因子句提取。最后兩行結(jié)果之間的比較證明了基于詞典的提取的有效性。

Table 2

將 each fold's test set 分為兩個子集：一個子集僅包含一個情感-原因?qū)Φ奈臋n，另一個子集包含具有兩個或多個情感-原因?qū)Φ奈臋n。如表 3 結(jié)果。
Table 3

表 4 最近提出的情緒原因提取任務方法的結(jié)果。
Table 4

5 討論

Effect of Two-level Supervision

  • a low-level signal L_{emo} + L_{cau} on clause representation learning at the output of graph attention network
  • a high-level signal L_{pair} on clause pair representation learning and ranking.

為了驗證低級別監(jiān)督的效果，我們僅使用L_{pair}訓練我們的模型，表5中給出了與我們的完整模型的結(jié)果相比較的結(jié)果。使用兩級監(jiān)督進行訓練可以提高提取性能。

Table 5

Effect of Graph Attention Layers
通過改變圖注意力層的數(shù)量（范圍從 0 到 3）來測試它的效果，情感-原因?qū)μ崛『驮蜃泳涮崛〉慕Y(jié)果如圖 3 所示。表明可以在此任務中堆疊大量層的情況下充分建模子句間關系。

Figure 3

Effect of Clause Pair Representation Learning
進一步測試是否可以直接使用子句表示來預測情感子句和原因子句。本文刪除了子句對表示學習和排名組件，并利用圖注意力網(wǎng)絡的預測來生成情感-原因?qū)?。在預測文檔中的情感從句和原因從句后，我們將預測情緒和原因的所有組合視為提取的情感-原因?qū)?，該變體模型和我們的完整模型的比較結(jié)果如圖 4 所示。
Figure 4

Effect of Relative Position Embedding
同時刪除了RANKCP中的相對位置嵌入部分來驗證其影響。我們還比較了 vanilla 和基于內(nèi)核的相對位置嵌入方案。結(jié)果如表 6 所示。去除相對位置嵌入會導致性能下降，表明子句對之間的相對位置確實對預測有用。

Table 6

Case Analysis
On April 11th (c1),
a netizen posted her complains on the Internet (c2),
she has a wacko boyfriend (c3),
he never goes to a restaurant without discounts (c4),
this makes her feel bad (c5),
and very embarrassed (c6).
在圖 5 中可視化了兩個子句 c4 和 c5 的注意權重。表明圖注意力有效地捕獲了兩個子句之間的關系.

Figure 5

6 貢獻

  • 本文首次提出 end-to-end approach for emotion-cause pair extraction，這是一種從排序的角度強調(diào)子句間建立處理此任務的統(tǒng)一模型。
  • 有效地對子句間關系進行建模以學習子句表示，并將相對位置增強子句對排名集成到一個統(tǒng)一的神經(jīng)網(wǎng)絡中，以端到端的方式提取情感原因?qū)Α?/li>
  • 實驗結(jié)果表明這種方法明顯優(yōu)于當前方法，特別是在在一個文檔中提取多個對的情況下。
最后編輯于 ：
?著作權歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務。

相關閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容