文本情感分類(lèi) 作為nlp的常見(jiàn)任務(wù),屬于詞嵌入模型的下游應(yīng)用,情感分析應(yīng)用場(chǎng)景廣泛(也是我想寫(xiě)的方面) 使用CNN 一層卷積 時(shí)序最大池化層 TextCNN模型 TextCN...
首先回顧下前面的知識(shí)點(diǎn)梯度下降的迭代公式如下其中是待訓(xùn)練的網(wǎng)絡(luò)參數(shù),是學(xué)習(xí)率(有時(shí)也用表示),是一個(gè)常數(shù),是梯度。以上是梯度下降法的最基本形式,在此基礎(chǔ)上,為了使梯度下降法收...
批量歸一化(BatchNormalization) 對(duì)輸入的標(biāo)準(zhǔn)化(淺層模型) 處理后的任意一個(gè)特征在數(shù)據(jù)集中所有樣本上的均值為0、標(biāo)準(zhǔn)差為1。標(biāo)準(zhǔn)化處理輸入數(shù)據(jù)使各個(gè)特征的...
機(jī)器翻譯 機(jī)器翻譯(MT):將一段文本從一種語(yǔ)言自動(dòng)翻譯為另一種語(yǔ)言,用神經(jīng)網(wǎng)絡(luò)解決這個(gè)問(wèn)題通常稱(chēng)為神經(jīng)機(jī)器翻譯(NMT)。 主要特征:輸出是單詞序列而不是單個(gè)單詞。 輸出序...
錯(cuò)題回顧 測(cè)試數(shù)據(jù)集不可以用來(lái)調(diào)整模型參數(shù),如果使用測(cè)試數(shù)據(jù)集調(diào)整模型參數(shù),可能在測(cè)試數(shù)據(jù)集上發(fā)生一定程度的過(guò)擬合,此時(shí)將不能用測(cè)試誤差來(lái)近似泛化誤差。 知識(shí)點(diǎn)總結(jié) 訓(xùn)練誤差...
語(yǔ)言模型 一段語(yǔ)言模型可以看成一個(gè)離散時(shí)間序列 N-gram 假設(shè)序列, ,... 中的每個(gè)詞是依次生成的,我們有 = = n元語(yǔ)法 序列長(zhǎng)度增加,計(jì)算和存儲(chǔ)多個(gè)詞共同出現(xiàn)的...
知識(shí)點(diǎn)歸納 DP神經(jīng)網(wǎng)絡(luò)里應(yīng)該避免使用sigmoid或者tanh函數(shù)——>這兩個(gè)激活函數(shù)會(huì)把元素轉(zhuǎn)移到[0,1]和[-1,1]之間,加速梯度消失 協(xié)變量偏移:雖然輸入的分布可...
錯(cuò)題回顧 測(cè)試數(shù)據(jù)集不可以用來(lái)調(diào)整模型參數(shù),如果使用測(cè)試數(shù)據(jù)集調(diào)整模型參數(shù),可能在測(cè)試數(shù)據(jù)集上發(fā)生一定程度的過(guò)擬合,此時(shí)將不能用測(cè)試誤差來(lái)近似泛化誤差。 知識(shí)點(diǎn)總結(jié) 訓(xùn)練誤差...
挖坑 ??在家準(zhǔn)備論文,看到Datawhale發(fā)了14天動(dòng)手學(xué)習(xí)AI的宣傳,雖然沒(méi)帶筆記本回家,網(wǎng)也不太好,還是決定試一下。話不多說(shuō),現(xiàn)在開(kāi)始。??首先,Task 1是 線性...