開個坑，打算收羅一波自己看過的自然語言處理經(jīng)典論文(Natural Language Process, 簡稱NLP)。這幾年來，NLP領(lǐng)域呈爆炸式增長，論文數(shù)量猛漲，其中魚龍混雜，我自己把這種現(xiàn)象稱作論文通脹“paper inflation“。抵御論文通脹的最好辦法當(dāng)然就是投入時間到經(jīng)典論文了 —— 也就是經(jīng)過時間考驗(yàn)的、對這個領(lǐng)域又基礎(chǔ)性貢獻(xiàn)的論文。

這個坑，我打算慢慢填，畢竟手頭還有正在進(jìn)行的項(xiàng)目，多多包涵哈。以下是我認(rèn)為的經(jīng)典NLP論文

• Neural Machine Translation of Rare Words with Subword Units 幾乎任何深度學(xué)習(xí)NLP模型都會用到分詞器（tokeniser），而sentencepiece是非常經(jīng)典的分詞器。sentencepiece的原理是找出語料庫中出現(xiàn)最頻繁的字節(jié)對，并且將它們合并成一個新的詞單元（也就是常說的BPE，byte-pair-encoding)。它能夠有效地處理那些不在詞匯表中的單詞（比如罕見的單詞、品牌名、人名等）。Google有一個漂亮的代碼實(shí)現(xiàn)在這里。

• Zero-Shot Text-to-Image Generation 如何使用文本自動生成圖片？OpenAI的這篇論文算是奠基了跨模態(tài)研究的熱潮，這也是著名的DALLE系統(tǒng)背后的論文。在這篇文章中，我個人覺得最震撼的點(diǎn)在于他們把圖片也進(jìn)行了“分詞”。每一個小圖塊被映射成一個符號，相當(dāng)于自然語言處理中的一個詞單元，我們就管它叫做圖單元好了（image tokens)。整個圖庫包含8192個這樣的圖單元，相當(dāng)于一個8192的詞表。這樣文本生成圖片的任務(wù)就被巧妙地轉(zhuǎn)化為從詞單元到圖單元的翻譯任務(wù)，整個問題變?yōu)橐粋€Seq2Seq問題！