當(dāng)前,在BERT等預(yù)訓(xùn)練模型的基礎(chǔ)上進(jìn)行微調(diào)已經(jīng)成了NLP任務(wù)的一個(gè)定式了。為了了解BERT怎么用,在這次實(shí)踐中,我實(shí)現(xiàn)了一個(gè)最簡單的NLP任務(wù)...
1.數(shù)據(jù)集準(zhǔn)備 本例采用了pytorch教程提供的蜜蜂、螞蟻二分類數(shù)據(jù)集(點(diǎn)擊可直接下載)[https://download.pytorch.o...
機(jī)器學(xué)習(xí)簡單來講就是要在數(shù)據(jù)中訓(xùn)練出一個(gè)模型,能夠?qū)⑤斎胗成涑珊侠淼妮敵觥K?,在?xùn)練模型之前,我們首先準(zhǔn)備好輸入、輸出對;然后再利用這些輸入、...
1 元學(xué)習(xí)概述 元學(xué)習(xí)的意思即“學(xué)會(huì)如何學(xué)習(xí)” 。 在機(jī)器學(xué)習(xí)中,工作量最大也是最無聊的事情就是調(diào)參。我們針對每一個(gè)任務(wù)從頭開始進(jìn)行這種無聊的...
1 題外話:人類棋手的最后贊禮 2016年3月15日,AlphaGo以4:1的比分擊敗了人類的傳奇棋手李世石。在李世石折戟沉沙的當(dāng)晚,一個(gè)名叫柯...
領(lǐng)域自適應(yīng)(Domain adaption)——實(shí)現(xiàn)模型的自適應(yīng)遷移 1 領(lǐng)域自適應(yīng)網(wǎng)絡(luò)概述 有時(shí)候我們在某個(gè)領(lǐng)域訓(xùn)練出的一個(gè)模型,想遷移到另一...
1 生成對抗網(wǎng)絡(luò)概述 有時(shí)候我們希望網(wǎng)絡(luò)具有一定的創(chuàng)造力,比如畫畫、編曲等等,能否實(shí)現(xiàn)呢?是可以實(shí)現(xiàn)的,大家可以鑒別一下下面這幾張照片,哪些是真...
1 自監(jiān)督學(xué)習(xí)的概念 在機(jī)器學(xué)習(xí)中,最常見的是監(jiān)督學(xué)習(xí)(Supervised learning)。假設(shè)模型的輸入是,輸出是,我們?nèi)绾问鼓P洼敵鑫?..
1 Transformer 概述 在機(jī)器學(xué)習(xí)中,我們有很多任務(wù)都是 “序列to序列” 的形式,比如語音識(shí)別、機(jī)器翻譯、文本標(biāo)注等等。而且在這些任...