發(fā)簡信
IP屬地：上海
-
Task08: 文本分類；數(shù)據(jù)增強；模型微調文本情感分類 作為nlp的常見任務，屬于詞嵌入模型的下游應用，情感分析應用場景廣泛（也是我想寫的方面） 使用CNN 一層卷積 時序最大池化層 T...
-
Task07：優(yōu)化算法進階；word2vec；詞嵌入進階
首先回顧下前面的知識點梯度下降的迭代公式如下其中是待訓練的網(wǎng)絡參數(shù)，是學習率（有時也用表示），是一個常數(shù)，是梯度。以上是梯度下降法的最基本形式，...
-
Task06：批量歸一化和殘差網(wǎng)絡；凸優(yōu)化；梯度下降批量歸一化（BatchNormalization） 對輸入的標準化（淺層模型） 處理后的任意一個特征在數(shù)據(jù)集中所有樣本上的均值為0、標準差為1。...
-
Task04：機器翻譯及相關技術；注意力機制與Seq2seq模型；Transformer機器翻譯 機器翻譯（MT）：將一段文本從一種語言自動翻譯為另一種語言，用神經(jīng)網(wǎng)絡解決這個問題通常稱為神經(jīng)機器翻譯（NMT）。 主要特征：輸出是單...
-
Task03：過擬合、欠擬合及其解決方案；梯度消失、梯度爆炸；循環(huán)神經(jīng)網(wǎng)絡進階錯題回顧 測試數(shù)據(jù)集不可以用來調整模型參數(shù)，如果使用測試數(shù)據(jù)集調整模型參數(shù)，可能在測試數(shù)據(jù)集上發(fā)生一定程度的過擬合，此時將不能用測試誤差來近似泛...
-
Day 4 語言模型語言模型 一段語言模型可以看成一個離散時間序列 N-gram 假設序列, ,... 中的每個詞是依次生成的，我們有 = = n元語法 序列長度增...
-
Day 3 梯度消失、梯度爆炸
知識點歸納 DP神經(jīng)網(wǎng)絡里應該避免使用sigmoid或者tanh函數(shù)——>這兩個激活函數(shù)會把元素轉移到[0,1]和[-1,1]之間，加速梯度消失...
-
Day2 過擬合、欠擬合以及解決方案
錯題回顧 測試數(shù)據(jù)集不可以用來調整模型參數(shù)，如果使用測試數(shù)據(jù)集調整模型參數(shù)，可能在測試數(shù)據(jù)集上發(fā)生一定程度的過擬合，此時將不能用測試誤差來近似泛...
-
Day 1 線性回歸；Softmax與分類模型、多層感知機挖坑 ??在家準備論文，看到Datawhale發(fā)了14天動手學習AI的宣傳，雖然沒帶筆記本回家，網(wǎng)也不太好，還是決定試一下。話不多說，現(xiàn)在開始。...