圖像增廣 圖像增廣（image augmentation）技術(shù)通過對(duì)訓(xùn)練圖像做一系列隨機(jī)改變，來產(chǎn)生相似但又不同的訓(xùn)練樣本，從而擴(kuò)大訓(xùn)練數(shù)據(jù)集的規(guī)模 常用的圖像增廣方法 翻轉(zhuǎn)...
發(fā)簡信
IP屬地：上海
-
數(shù)據(jù)增強(qiáng)
-
模型微調(diào)
在源數(shù)據(jù)集（如ImageNet數(shù)據(jù)集）上預(yù)訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)模型，即源模型 創(chuàng)建一個(gè)新的神經(jīng)網(wǎng)絡(luò)模型，即目標(biāo)模型。它復(fù)制了源模型上除了輸出層外的所有模型設(shè)計(jì)及其參數(shù)，假設(shè)這些模...
-
詞嵌入進(jìn)階
全局向量的詞嵌入（GloVe） GloVe模型采用了平方損失，并基于該損失對(duì)跳字模型做了3點(diǎn)改動(dòng) 在有些情況下，交叉熵?fù)p失函數(shù)有劣勢，GloVe模型采用了平方損失，并通過詞向...
-
機(jī)器翻譯及相關(guān)技術(shù)
機(jī)器翻譯（MT）：將一段文本從一種語言自動(dòng)翻譯為另一種語言，用神經(jīng)網(wǎng)絡(luò)解決這個(gè)問題通常稱為神經(jīng)機(jī)器翻譯（NMT） 主要特征：輸出是單詞序列而不是單個(gè)單詞。 輸出序列的長度可能...
-
優(yōu)化算法進(jìn)階動(dòng)量法 設(shè)時(shí)間步t的自變量為xt，學(xué)習(xí)率為ηt。在時(shí)間步0，動(dòng)量法創(chuàng)建速度變量v0，并將其元素初始化成0。在時(shí)間步t>0，動(dòng)量法對(duì)每次迭代的步驟做如下修改，其中，動(dòng)量超參數(shù)γ...
-
批量歸一化和殘差網(wǎng)絡(luò)
批量歸一化層 對(duì)全連接層做批量歸一化 對(duì)卷積層做批量歸一化 對(duì)卷積層來說，批量歸一化發(fā)生在卷積計(jì)算之后、應(yīng)用激活函數(shù)之前。如果卷積計(jì)算輸出多個(gè)通道，我們需要對(duì)這些通道的輸出分...
-
卷積神經(jīng)網(wǎng)絡(luò)進(jìn)階
深度卷積神經(jīng)網(wǎng)絡(luò)（AlexNet） AlexNet跟LeNet結(jié)構(gòu)類似，但使用了更多的卷積層和更大的參數(shù)空間來擬合大規(guī)模數(shù)據(jù)集ImageNet 它是淺層神經(jīng)網(wǎng)絡(luò)和深度神經(jīng)網(wǎng)絡(luò)...
-
卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ)
二維卷積層 二維卷積層的核心計(jì)算是二維互相關(guān)運(yùn)算 在最簡單的形式下，它對(duì)二維輸入數(shù)據(jù)和卷積核做互相關(guān)運(yùn)算然后加上偏差 我們可以設(shè)計(jì)卷積核來檢測圖像中的邊緣 我們可以通過數(shù)據(jù)來...
-
循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)階
門控循環(huán)單元（GRU） 門控循環(huán)神經(jīng)網(wǎng)絡(luò)可以更好地捕捉時(shí)間序列中時(shí)間步距離較大的依賴關(guān)系 門控循環(huán)單元引入了門的概念，從而修改了循環(huán)神經(jīng)網(wǎng)絡(luò)中隱藏狀態(tài)的計(jì)算方式 它包括重置門...
-
循環(huán)神經(jīng)網(wǎng)絡(luò)基礎(chǔ)
使用循環(huán)計(jì)算的網(wǎng)絡(luò)即循環(huán)神經(jīng)網(wǎng)絡(luò) 循環(huán)神經(jīng)網(wǎng)絡(luò)的隱藏狀態(tài)可以捕捉截至當(dāng)前時(shí)間步的序列的歷史信息 循環(huán)神經(jīng)網(wǎng)絡(luò)模型參數(shù)的數(shù)量不隨時(shí)間步的增加而增長 可以基于字符級(jí)循環(huán)神經(jīng)網(wǎng)絡(luò)來...
-
語言模型與數(shù)據(jù)集
語言模型是自然語言處理的重要技術(shù) 語言模型可用于提升語音識(shí)別和機(jī)器翻譯的性能 （1）同音詞選擇——eg.廚房里食油用完了 食油or石油 （2）詞序調(diào)整——eg.you go ...
-
過擬合欠擬合及其解決方案
模型選擇、欠擬合和過擬合 由于無法從訓(xùn)練誤差估計(jì)泛化誤差，一味地降低訓(xùn)練誤差并不意味著泛化誤差一定會(huì)降低 機(jī)器學(xué)習(xí)模型應(yīng)關(guān)注降低泛化誤差。 可以使用驗(yàn)證數(shù)據(jù)集來進(jìn)行模型選擇 ...