本文檔主要用于歸納總結(jié)與預(yù)訓(xùn)練語言模型相關(guān)的知識(shí)點(diǎn)。

核心主體來自，復(fù)旦大學(xué)邱錫鵬等研究者發(fā)的一篇論文，該文以巨大的篇幅展示了預(yù)訓(xùn)練語言模型的方方面面，不論是新奇的預(yù)訓(xùn)練任務(wù)，還是各種模型針對(duì)領(lǐng)域知識(shí)的擴(kuò)展，我們都能快速 Get 到。

論文：Pre-trained Models for Natural Language Processing: A Survey論文地址：https://arxiv.org/pdf/2003.08271.pdf

另還有，ALBERT的作者，藍(lán)振中博士對(duì)預(yù)訓(xùn)練語言模型的相關(guān)觀點(diǎn)，一并整理在冊(cè)。

【騰訊文檔】預(yù)訓(xùn)練語言模型
https://docs.qq.com/mind/DVG1HZk1CS1Z2c1hL