發(fā)簡(jiǎn)信
IP屬地：上海
-
-
Task08: 文本分類(lèi)；數(shù)據(jù)增強(qiáng)；模型微調(diào)文本情感分類(lèi) 作為nlp的常見(jiàn)任務(wù)，屬于詞嵌入模型的下游應(yīng)用，情感分析應(yīng)用場(chǎng)景廣泛（也是我想寫(xiě)的方面） 使用CNN 一層卷積 時(shí)序最大池化層 TextCNN模型 TextCN...
-
Task07：優(yōu)化算法進(jìn)階；word2vec；詞嵌入進(jìn)階
首先回顧下前面的知識(shí)點(diǎn)梯度下降的迭代公式如下其中是待訓(xùn)練的網(wǎng)絡(luò)參數(shù)，是學(xué)習(xí)率（有時(shí)也用表示），是一個(gè)常數(shù)，是梯度。以上是梯度下降法的最基本形式，在此基礎(chǔ)上，為了使梯度下降法收...
-
Task06：批量歸一化和殘差網(wǎng)絡(luò)；凸優(yōu)化；梯度下降批量歸一化（BatchNormalization） 對(duì)輸入的標(biāo)準(zhǔn)化（淺層模型） 處理后的任意一個(gè)特征在數(shù)據(jù)集中所有樣本上的均值為0、標(biāo)準(zhǔn)差為1。標(biāo)準(zhǔn)化處理輸入數(shù)據(jù)使各個(gè)特征的...
-
Task04：機(jī)器翻譯及相關(guān)技術(shù)；注意力機(jī)制與Seq2seq模型；Transformer機(jī)器翻譯 機(jī)器翻譯（MT）：將一段文本從一種語(yǔ)言自動(dòng)翻譯為另一種語(yǔ)言，用神經(jīng)網(wǎng)絡(luò)解決這個(gè)問(wèn)題通常稱(chēng)為神經(jīng)機(jī)器翻譯（NMT）。 主要特征：輸出是單詞序列而不是單個(gè)單詞。 輸出序...
-
Task03：過(guò)擬合、欠擬合及其解決方案；梯度消失、梯度爆炸；循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)階錯(cuò)題回顧 測(cè)試數(shù)據(jù)集不可以用來(lái)調(diào)整模型參數(shù)，如果使用測(cè)試數(shù)據(jù)集調(diào)整模型參數(shù)，可能在測(cè)試數(shù)據(jù)集上發(fā)生一定程度的過(guò)擬合，此時(shí)將不能用測(cè)試誤差來(lái)近似泛化誤差。 知識(shí)點(diǎn)總結(jié) 訓(xùn)練誤差...
-
Day 4 語(yǔ)言模型語(yǔ)言模型 一段語(yǔ)言模型可以看成一個(gè)離散時(shí)間序列 N-gram 假設(shè)序列, ,... 中的每個(gè)詞是依次生成的，我們有 = = n元語(yǔ)法 序列長(zhǎng)度增加，計(jì)算和存儲(chǔ)多個(gè)詞共同出現(xiàn)的...
-
Day 3 梯度消失、梯度爆炸
知識(shí)點(diǎn)歸納 DP神經(jīng)網(wǎng)絡(luò)里應(yīng)該避免使用sigmoid或者tanh函數(shù)——>這兩個(gè)激活函數(shù)會(huì)把元素轉(zhuǎn)移到[0,1]和[-1,1]之間，加速梯度消失 協(xié)變量偏移：雖然輸入的分布可...
-
Day2 過(guò)擬合、欠擬合以及解決方案
錯(cuò)題回顧 測(cè)試數(shù)據(jù)集不可以用來(lái)調(diào)整模型參數(shù)，如果使用測(cè)試數(shù)據(jù)集調(diào)整模型參數(shù)，可能在測(cè)試數(shù)據(jù)集上發(fā)生一定程度的過(guò)擬合，此時(shí)將不能用測(cè)試誤差來(lái)近似泛化誤差。 知識(shí)點(diǎn)總結(jié) 訓(xùn)練誤差...
-
Day 1 線性回歸；Softmax與分類(lèi)模型、多層感知機(jī)挖坑 ??在家準(zhǔn)備論文，看到Datawhale發(fā)了14天動(dòng)手學(xué)習(xí)AI的宣傳，雖然沒(méi)帶筆記本回家，網(wǎng)也不太好，還是決定試一下。話不多說(shuō)，現(xiàn)在開(kāi)始。??首先，Task 1是 線性...
-
-
-
-
-
微信公眾號(hào)（ ID : dabaixuetang ）<br><br>高級(jí)產(chǎn)品經(jīng)理<br>
-
-
-
-
歡迎關(guān)注公眾號(hào)：老男孩的架構(gòu)路；后臺(tái)私信【資料】領(lǐng)取《Java面試寶典Plus》版
-
