CNN學(xué)習(xí)筆記（二）

一、經(jīng)典CNN網(wǎng)絡(luò)結(jié)構(gòu)

1.LeNet

LeNet-5是一種用于手寫體字符識別的非常高效的卷積神經(jīng)網(wǎng)絡(luò)。

網(wǎng)絡(luò)包括七層結(jié)構(gòu)：

  • C1卷積層
  • S2下采樣層
  • C3卷積層
  • S4下采樣層
  • C5卷積層
  • F6全連接層
  • F7輸出層
LeNet網(wǎng)絡(luò)結(jié)構(gòu).png

2. AlexNet

?AlexNet是在LeNet的基礎(chǔ)上加深了網(wǎng)絡(luò)的結(jié)構(gòu)，可以學(xué)習(xí)到更高維的圖像特征。AlexNet包括8層權(quán)值網(wǎng)絡(luò)層：五層卷積+三層全連接，使用了兩塊顯卡訓(xùn)練了6天，在2012年ImageNet大賽上取得了冠軍。

AlexNet網(wǎng)絡(luò)在結(jié)構(gòu)上的優(yōu)化：

  • 引入了一種特殊的網(wǎng)絡(luò)層次：Local Response Normalization(LRN，局部響應(yīng)歸一化)，主要是對Relu激活后的輸出進行局部歸一化操作。

  • 每個卷積層使用了不同的濾波器進行卷積計算：
    第一層卷積核尺寸：11*11
    第二層卷積核尺寸：5*5
    第3~5層卷積核尺寸：3*3

  • 增加了Max Pooling層

  • 使用ReLu作為激活函數(shù)，替換了之前的sigmoid函數(shù)

  • 使用Dropout抑制過擬合

  • 使用了數(shù)據(jù)增強

  • 使用了帶動量的SGD（momentum）

  • 多GPU訓(xùn)練

AlexNet絡(luò)結(jié)構(gòu).png

3.ZFNet

在AlexNet的基礎(chǔ)上，進行了微調(diào)：

  • 修改了濾波器尺寸和步長：
    第一層的濾波器- 尺寸從11*11 減小為 7*7
    第一層的步長（stride）從4降到2
  • 使用單GPU代替了AlexNet的雙GPU結(jié)構(gòu)

4.VGGNet

使用了非常統(tǒng)一的串行結(jié)構(gòu)，是傳統(tǒng)CNN神經(jīng)網(wǎng)絡(luò)中最優(yōu)的模型。

網(wǎng)絡(luò)特點：

  • 使用了更小的濾波器
  • 參數(shù)非常多：包含了1億3千8百萬參數(shù)
  • 使用了4個GPU訓(xùn)練了3個星期
  • 雖然是亞軍，但是卻非常普遍的用于特征提取/圖像表達

總結(jié)：
\color{green}{VGG16網(wǎng)絡(luò)就是：更小的卷積核尺寸，更深的網(wǎng)絡(luò)結(jié)構(gòu)。}

VGG網(wǎng)絡(luò)結(jié)構(gòu).png

5.GoogleNet

?GoogleNet是基于Inception模塊的深度神經(jīng)網(wǎng)絡(luò)模型。在2014年的ImageNet競賽中奪得了冠軍，在隨后的兩年中一直在改進，形成了Inception V2、Inception V3、Inception V4等版本。

網(wǎng)絡(luò)特點：

  • 改變了CNN網(wǎng)絡(luò)的串行結(jié)構(gòu)，變?yōu)椴⑿?/li>
  • 使用了Batch Normalization
  • 使用了Inception模塊
  • 使用了圖像增強、RMSprop優(yōu)化器
  • 使用了比較小的濾波器，雖然有22層，但總參數(shù)只有4百萬

\color{red}{Inception結(jié)構(gòu)：}
?使用較大的卷積核往往意味著巨大的運算量，理論已經(jīng)證明，往往可以通過幾個較小的卷積核來代替較大的卷積核，從而使得計算量的下降。

1）Inception原始網(wǎng)絡(luò)結(jié)構(gòu)，將1x1，3x3，5x5的conv和3x3的pooling堆疊在一起，一方面增加了網(wǎng)絡(luò)的寬度，另一方面增加了網(wǎng)絡(luò)對尺度的適應(yīng)性。

原始結(jié)構(gòu).png

2）Inception改進后的網(wǎng)絡(luò)結(jié)構(gòu)，借鑒了\color{purple}{NIN}的思想，在原先的卷積過程中使用1*1的卷積，通過減少通道數(shù)，以期達到減少參數(shù)計算量的目的。

改進的結(jié)構(gòu).png

* NIN（network-in-network）
?1*1的卷積可以用來進行降維打破計算的瓶頸，同時也能增加網(wǎng)絡(luò)的寬度，保持網(wǎng)絡(luò)較高的性能。

* Inception結(jié)構(gòu)參考鏈接：http://www.itdecent.cn/p/d214112771b9

6.ResNet

  • 解決了深度神經(jīng)網(wǎng)絡(luò)的‘網(wǎng)絡(luò)退化’問題
  • 解決了深度神經(jīng)網(wǎng)絡(luò)的梯度消失問題

殘差結(jié)構(gòu)：

殘差結(jié)構(gòu).png

ResNet模塊：

ResNet模塊.png

ResNet網(wǎng)絡(luò)結(jié)構(gòu)：

ResNet網(wǎng)絡(luò).png

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容