2018年,對于NLP領(lǐng)域來說是最讓人激動的一年。先后誕生的ELMo、GPT、BERT在預(yù)訓(xùn)練語言模型方面的成功給NLP領(lǐng)域的研究帶來了新的姿勢...
GPT(Generative Pre-Training)出自2018年論文《Improving Language Understanding b...
之前簡單寫過一個iOS自動打包腳本,在實際使用過程中逐步增加了一些新的feature: 為方便使用,將部分參數(shù)做成可選并提供默認值; 打adho...
Transformer由google在2017年發(fā)表的論文《Attention is All You Need》中提出。從當前的時間節(jié)點來看,毫...
2014年,Google Mind發(fā)表的《Recurrent Models of Visual Attention》論文點燃了Attention...
ELMo(Embedding from Language Models),出自NAACL 2018的一篇論文"Deep contextualiz...
GloVe:Global Vectors for Word Representation,它是一個基于全局詞頻統(tǒng)計的詞表征工具。通過GloVe計...
詞向量技術(shù)將自然語言中的詞轉(zhuǎn)化為稠密向量,使得相近的詞有相似的向量表示,方便后續(xù)在向量的基礎(chǔ)上做運算,進一步挖掘文本之間的潛在關(guān)系。 在傳統(tǒng)的機...
反向傳播算法(Backpropagation Algorithm,簡稱BP算法)是深度學(xué)習(xí)的重要思想基礎(chǔ),本文將介紹該算法的原理。 上圖是一個簡...