0. 寫在前面

?google發(fā)布了BERT模型，刷榜了各類NLP任務(wù)，成為NLP領(lǐng)域的ImageNet，并隨后公開了源碼與多種語言的預(yù)訓(xùn)練模型。
?我們算法組也一直跟進(jìn)該論文與模型，并將其應(yīng)用于現(xiàn)有的項(xiàng)目中?，F(xiàn)在對(duì)其進(jìn)行一下總結(jié)。

paper：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

1. 論文貢獻(xiàn)

• 論文證明雙向預(yù)訓(xùn)練對(duì)語言的表示學(xué)習(xí)具有重要作用。
  近期兩個(gè)代表性的語言預(yù)訓(xùn)練模型中，OpenAI GPT是單向語言模型，而 Peters的ELMo模型也僅是對(duì)兩個(gè)淺層left-to-right和right-to-left獨(dú)立模型的級(jí)聯(lián)；而BERT通過引入Masked LM(遮蔽語言模型) 構(gòu)建了一種深度雙向語言表示模型，使語言的表示學(xué)習(xí)過程中可以同時(shí)利用上下文信息且不造成信息泄漏。
• 論文證明預(yù)訓(xùn)練的表示學(xué)習(xí)可以替代具有復(fù)雜架構(gòu)的工程模型，在許多token-level和sentenc-level任務(wù)中，利用BERT進(jìn)行微調(diào)可以獲得等效甚至更好的結(jié)果。
• BERT刷新了許多NLP任務(wù)，論文也會(huì)公開源碼與預(yù)訓(xùn)練好的模型供研究人員使用。

未完待續(xù)......