姓名：謝童? 學(xué)號：16020188008? 轉(zhuǎn)自微信公眾號 機(jī)器之心

自然語言處理的預(yù)訓(xùn)練任務(wù)該選哪一個？語言模型真的是一種通用的預(yù)訓(xùn)練方法嗎？這篇論文告訴我們，通用的 NLP 預(yù)訓(xùn)練模型是我們想多了。不同的目標(biāo)任務(wù)需要不同的預(yù)訓(xùn)練模型，而預(yù)訓(xùn)練語言模型甚至?xí)p傷某些任務(wù)的性能。不過在沒有更好的方案前，預(yù)訓(xùn)練語言模型還是最好的選擇。

用于自然語言處理任務(wù)（如翻譯、問答和解析）的最先進(jìn)模型都具有旨在提取每個輸入句子含義和內(nèi)容表征的組件。這些句子編碼器組件通常直接針對目標(biāo)任務(wù)進(jìn)行訓(xùn)練。這種方法可以在數(shù)據(jù)豐富的任務(wù)上發(fā)揮作用，并在一些狹義定義的基準(zhǔn)上達(dá)到人類水平，但它只適用于少數(shù)具有數(shù)百萬訓(xùn)練數(shù)據(jù)樣本的 NLP 任務(wù)。這引起人們對預(yù)訓(xùn)練句子編碼的興趣：我們有充分的理由相信，可以利用外部數(shù)據(jù)和訓(xùn)練信號來有效地預(yù)訓(xùn)練這些編碼器，因?yàn)樗鼈冎饕糜诓东@句子含義而不是任何特定于任務(wù)的技能。并且我們已經(jīng)看到了預(yù)訓(xùn)練方法在詞嵌入和圖像識別相關(guān)領(lǐng)域中獲得的成功。

更具體地說，最近的四篇論文表明，預(yù)訓(xùn)練句子編碼器可以在 NLP 任務(wù)上獲得非常強(qiáng)的性能。首先，McCann 等人 (2017) 表明來自神經(jīng)機(jī)器翻譯系統(tǒng)的 BiLSTM 編碼器可以在其他地方有效地重用。Howard & Ruder (2018)、Peters 等 (2018)、 Radford 等 (2018) 表明，通過生成式語言建模（LM）以無監(jiān)督方式預(yù)訓(xùn)練的各種編碼器也是有效的。然而，每篇論文都使用自己的評估方法，不清楚哪個預(yù)訓(xùn)練任務(wù)最有效，或者是否可以有效地組合多個預(yù)訓(xùn)練任務(wù)；在句子到向量編碼的相關(guān)設(shè)置中，使用多個標(biāo)注數(shù)據(jù)集的多任務(wù)學(xué)習(xí)已經(jīng)產(chǎn)生了魯棒的當(dāng)前最佳結(jié)果。

本文試圖系統(tǒng)地解決這些問題。研究者在 17 種不同的預(yù)訓(xùn)練任務(wù)、幾個簡單的基線以及這些任務(wù)的幾種組合上訓(xùn)練可重用的句子編碼器，所有這些都使用受 ELMo 擴(kuò)展的單個模型架構(gòu)和過程，用于預(yù)訓(xùn)練和遷移。然后，研究者根據(jù) GLUE 基準(zhǔn)測試中的 9 個目標(biāo)語言理解任務(wù)評估這些編碼器，他們共得到了 40 個句子編碼器和 360 個已訓(xùn)練模型。然后，研究者測量目標(biāo)任務(wù)的性能相關(guān)性，并繪制了評估訓(xùn)練數(shù)據(jù)量對每個預(yù)訓(xùn)練和目標(biāo)任務(wù)的影響的學(xué)習(xí)曲線。

實(shí)驗(yàn)結(jié)果表明語言建模是其中最有效的一個預(yù)訓(xùn)練任務(wù)，預(yù)訓(xùn)練期間的多任務(wù)學(xué)習(xí)可以提供進(jìn)一步的增益，并在固定句子編碼器上得到新的當(dāng)前最佳結(jié)果。然而，ELMo 式的預(yù)訓(xùn)練也有令人擔(dān)憂的地方，研究者預(yù)訓(xùn)練模型并將其用于目標(biāo)任務(wù)時沒有進(jìn)一步微調(diào)，這是脆弱的并且存在嚴(yán)重限制： (i) 一般的基線表征和最好的預(yù)訓(xùn)練編碼器幾乎能達(dá)到相同的表現(xiàn)，不同的預(yù)訓(xùn)練任務(wù)之間的差別可能非常小。(ii) 不同的目標(biāo)任務(wù)在它們受益最多的預(yù)訓(xùn)練方面存在顯著差異，并且多任務(wù)預(yù)訓(xùn)練不足以避免這個問題并提供通用的預(yù)訓(xùn)練編碼器。

圖 1：本研究的通用模型設(shè)計：在預(yù)訓(xùn)練期間，為每個預(yù)訓(xùn)練任務(wù)訓(xùn)練共享編碼器和任務(wù)特定模型。然后，固定共享編碼器，并為每個目標(biāo)評估任務(wù)重新訓(xùn)練任務(wù)特定模型。任務(wù)可能涉及多個句子。

論文：Looking for ELMo's friends: Sentence-Level Pretraining Beyond Language Modeling

論文鏈接：https://arxiv.org/abs/1812.10860

摘要：關(guān)于語境化詞表征問題的研究（用于句子理解的可重用神經(jīng)網(wǎng)絡(luò)組件的開發(fā)），近期最近出現(xiàn)了一系列進(jìn)展，主要是使用 ELMo 等方法進(jìn)行語言建模的無監(jiān)督預(yù)訓(xùn)練任務(wù)。本文提供了第一個大規(guī)模系統(tǒng)研究，比較了在這種背景下不同的預(yù)訓(xùn)練任務(wù)，既作為語言建模的補(bǔ)充，也作為潛在的替代方案。該研究的主要結(jié)果支持使用語言建模作為預(yù)訓(xùn)練任務(wù)，并在使用語言模型進(jìn)行多任務(wù)學(xué)習(xí)的可比模型中得到了新的當(dāng)前最佳結(jié)果。然而，仔細(xì)觀察這些結(jié)果可以發(fā)現(xiàn)跨目標(biāo)任務(wù)中的模型性能出現(xiàn)了令人擔(dān)憂的變化，這表明廣泛使用的預(yù)訓(xùn)練和凍結(jié)句子編碼器的范式可能不是進(jìn)一步研究的理想基礎(chǔ)。

表 1 展示了我們所有預(yù)訓(xùn)練編碼器在 GLUE 開發(fā)集上的結(jié)果，每個編碼器有或者沒有使用預(yù)訓(xùn)練的 ELMo BiLSTM 層（上標(biāo) E）。N/A 基線是具有隨機(jī)初始化的未經(jīng)訓(xùn)練的編碼器。Single-Task 基線是來自 9 個 GLUE 的結(jié)果的聚合：給定 GLUE 任務(wù)的該行中的結(jié)果使用僅在該任務(wù)上預(yù)訓(xùn)練的編碼器。為了與其他結(jié)果保持一致，我們將預(yù)訓(xùn)練任務(wù)和目標(biāo)任務(wù)視為所有情況下的兩個單獨(dú)任務(wù)（包括此處），并為它們提供獨(dú)立的任務(wù)特定參數(shù)，盡管它們使用相同的數(shù)據(jù)。我們使用上標(biāo) S 和 C 分別表示 Reddit 任務(wù)的 Seq2Seq 和分類兩個變體。

表 1：GLUE 基準(zhǔn)測試結(jié)果，除非另有說明，否則它都是使用的開發(fā)集。其中 E 表示 ELMo 用作輸入層，C 和 S 分別為兩種 Reddit 任務(wù)的變體。加粗的結(jié)果在總體上是最好的，加下劃線的結(jié)果表示在沒有 ELMo 的情況下是最好的。

觀察其它目標(biāo)任務(wù)，和語法相關(guān)的 CoLA 任務(wù)從 ELMo 預(yù)訓(xùn)練中受益明顯：沒有語言建模預(yù)訓(xùn)練的最佳結(jié)果不到有預(yù)訓(xùn)練結(jié)果的一半。相比之下，含義導(dǎo)向的文本相似性基準(zhǔn) STS 在多種預(yù)訓(xùn)練方法上取得了很好的結(jié)果，但并沒有從 ELMo 的使用中獲得顯著收益。

單獨(dú)對比沒有使用 ELMo 的預(yù)訓(xùn)練任務(wù)，語言建模的性能最佳，然后是 MNLI。剩余的預(yù)訓(xùn)練任務(wù)只能得到和隨機(jī)基線相當(dāng)?shù)慕Y(jié)果。即使只直接在每個目標(biāo)任務(wù)上進(jìn)行訓(xùn)練（Single-Task），也只能得到相對于簡單基線的很少提升。添加 ELMo 可以在所有預(yù)訓(xùn)練任務(wù)上取得性能改善。MNLI 和英-德翻譯在此設(shè)置下性能最佳，SkipThought、Reddit 分類和 DisSent 也超越了 ELMo-增強(qiáng)的隨機(jī)基線。

使用 ELMo，一個多任務(wù)模型表現(xiàn)最佳，但如果沒有它，所有三個多任務(wù)模型都會被其中一個組成任務(wù)的模型追平或超越，這表明我們的多任務(wù)學(xué)習(xí)方法無法可靠地得到很好地利用每個訓(xùn)練任務(wù)教的知識的模型。但是，兩個非 ELMo 模型在開發(fā)集上表現(xiàn)最佳，在測試數(shù)據(jù)上多任務(wù)模型比單任務(wù)模型更好地泛化了 STS 等任務(wù)，其中測試集包含新的域外數(shù)據(jù)。

跨任務(wù)相關(guān)性：表 2 展示了主要實(shí)驗(yàn)結(jié)果（表 1）的另一種視角，它顯示了預(yù)訓(xùn)練編碼器空間中任務(wù)對之間的相關(guān)性。這些相關(guān)性反映了在使用某種編碼器且知道在特定任務(wù)上的性能后，我們能預(yù)測相同編碼器在另一種目標(biāo)任務(wù)上的性能。

很多相關(guān)性都非常低，這表明不同任務(wù)在很大程度上都受益于不同形式的預(yù)訓(xùn)練，且不會觀察到一個預(yù)訓(xùn)練任務(wù)能在所有目標(biāo)任務(wù)上都能表現(xiàn)出很好的性能。如上所述，總體上表現(xiàn)最好的模型在 WNLI 訓(xùn)練集上過擬合最嚴(yán)重，因此 WNLI 和整體 GLUE 分?jǐn)?shù)之間的相關(guān)性為負(fù)。STS 同樣也有一些負(fù)的相關(guān)性，也許是因?yàn)樗]有受益于 ELMo 的預(yù)訓(xùn)練。相比之下，CoLA 與整體 GLUE 分?jǐn)?shù)顯示出很強(qiáng)的相關(guān)性：0.93，但與其它任務(wù)有弱的或負(fù)的相關(guān)性，這表示使用 ELMo 或語言模型可顯著提升 CoLA 的性能，但其它類型的預(yù)訓(xùn)練任務(wù)幫助不大。

表 2：不同目標(biāo)任務(wù)性能間的皮爾森相關(guān)性，它們都是基于表 1 中的所有實(shí)驗(yàn)而進(jìn)行度量的。Avg 列為各種獨(dú)立任務(wù)上的預(yù)訓(xùn)練模型與整體 GLUE 分?jǐn)?shù)的相關(guān)性。對于有多種度量的任務(wù)，我們會在每一行的抬頭中注明使用的度量方法。負(fù)的相關(guān)性會使用下劃線標(biāo)注出來。

學(xué)習(xí)曲線圖 2 展示了兩種類型的學(xué)習(xí)曲線，第一組度量了整體 GLUE 指標(biāo)的性能，其中編碼器在每一個預(yù)訓(xùn)練任務(wù)中使用不同的樣本數(shù)而獲得收斂。第二組重點(diǎn)關(guān)注三個預(yù)訓(xùn)練編碼器，并獨(dú)立地在每一個 GLUE 目標(biāo)任務(wù)上使用不同的數(shù)據(jù)量而度量性能。

若只看預(yù)訓(xùn)練任務(wù)（左上），大多數(shù)任務(wù)都會隨著預(yù)訓(xùn)練數(shù)據(jù)的增加而緩慢地提升性能，LM 和 MT 任務(wù)是最大化性能最具潛力的組合。通過 ELMo（右上）結(jié)合這些預(yù)訓(xùn)練任務(wù)，產(chǎn)生了難以解釋的結(jié)果：訓(xùn)練數(shù)據(jù)量和性能之間的相關(guān)性變?nèi)酰虼吮疚拿枋龅淖罴呀Y(jié)果都是預(yù)訓(xùn)練 ELMo 模型結(jié)合其它預(yù)訓(xùn)練任務(wù)（例如 MNLI 和 QQP）的受限數(shù)據(jù)的版本而實(shí)現(xiàn)的。

觀察隨著訓(xùn)練數(shù)據(jù)量改變時目標(biāo)任務(wù)的性能變化，我們發(fā)現(xiàn)所有的任務(wù)都從數(shù)據(jù)量增加中獲益，沒有明顯的收益遞減，并且大多數(shù)任務(wù)都從預(yù)訓(xùn)練中獲得了常量的性能提升，無論是使用了 ELMo（中）還是多任務(wù)學(xué)習(xí)（右）。

圖 2：頂部：沒有使用 ELMo（左）和使用了 ELMo（右）的 GLUE 分?jǐn)?shù)的預(yù)訓(xùn)練學(xué)習(xí)曲線。底部：每個 GLUE 任務(wù)上 3 個編碼器的目標(biāo)任務(wù)訓(xùn)練的學(xué)習(xí)曲線。沒有使用 ELMo 的隨機(jī)編碼器（左），使用了 ELMo 的隨機(jī)編碼器（中），和沒有使用 ELMo 的 Outside MTL。

在 GLUE Diagnostic Set 上的結(jié)果：從 GLUE 的輔助診斷分析數(shù)據(jù)集中，我們發(fā)現(xiàn) ELMo 和其它形式的無監(jiān)督預(yù)訓(xùn)練可以幫助提升涉及世界知識和詞匯-語義知識的任務(wù)，但對于強(qiáng)調(diào)復(fù)雜句子結(jié)構(gòu)的任務(wù)改善很少。參見表 6 查看更多細(xì)節(jié)。

表 6：GLUE 診斷集結(jié)果，以 R_3 關(guān)聯(lián)系數(shù)（x100）表示，其將由不知情模型（uninformed model）的隨機(jī)猜測標(biāo)準(zhǔn)化為 0。人類性能在總體診斷集上大約為 80。粗體表示總體最佳結(jié)果，加下劃線的結(jié)果表示在沒有 ELMo 的情況下是最好的。