全連接網(wǎng)絡(luò)VS卷積網(wǎng)絡(luò)
1、全連接網(wǎng)絡(luò)不適合圖像識(shí)別任務(wù)的原因:
? ? ? 參數(shù)數(shù)量太多?考慮一個(gè)輸入1000*1000像素的圖片(一百萬像素，現(xiàn)在已經(jīng)不能算大圖了)，輸入層有1000*1000=100萬節(jié)點(diǎn)。假設(shè)第一個(gè)隱藏層有100個(gè)節(jié)點(diǎn)(這個(gè)數(shù)量并不多)，那么僅這一層就有(1000*1000+1)*100=1億參數(shù)，這實(shí)在是太多了！我們看到圖像只擴(kuò)大一點(diǎn)，參數(shù)數(shù)量就會(huì)多很多，因此它的擴(kuò)展性很差。
? ? ? ?沒有利用像素之間的位置信息?對(duì)于圖像識(shí)別任務(wù)來說，每個(gè)像素和其周圍像素的聯(lián)系是比較緊密的，和離得很遠(yuǎn)的像素的聯(lián)系可能就很小了。如果一個(gè)神經(jīng)元和上一層所有神經(jīng)元相連，那么就相當(dāng)于對(duì)于一個(gè)像素來說，把圖像的所有像素都等同看待，這不符合前面的假設(shè)。當(dāng)我們完成每個(gè)連接權(quán)重的學(xué)習(xí)之后，最終可能會(huì)發(fā)現(xiàn)，有大量的權(quán)重，它們的值都是很小的(也就是這些連接其實(shí)無關(guān)緊要)。努力學(xué)習(xí)大量并不重要的權(quán)重，這樣的學(xué)習(xí)必將是非常低效的。
? ? ? ? 網(wǎng)絡(luò)層數(shù)限制?我們知道網(wǎng)絡(luò)層數(shù)越多其表達(dá)能力越強(qiáng)，但是通過梯度下降方法訓(xùn)練深度全連接神經(jīng)網(wǎng)絡(luò)很困難，因?yàn)槿B接神經(jīng)網(wǎng)絡(luò)的梯度很難傳遞超過3層。因此，我們不可能得到一個(gè)很深的全連接神經(jīng)網(wǎng)絡(luò)，也就限制了它的能力。
2、卷積網(wǎng)絡(luò)解決這些問題
? ? ? ? 局部連接 （局部感受野）這個(gè)是最容易想到的，每個(gè)神經(jīng)元不再和上一層的所有神經(jīng)元相連，而只和一小部分神經(jīng)元相連。這樣就減少了很多參數(shù)。
? ? ? ? 權(quán)值共享?一組連接可以共享同一個(gè)權(quán)重，而不是每個(gè)連接有一個(gè)不同的權(quán)重，這樣又減少了很多參數(shù)。
? ? ? ? ? 下采樣?可以使用Pooling來減少每層的樣本數(shù)，進(jìn)一步減少參數(shù)數(shù)量，同時(shí)還可以提升模型的魯棒性。
? ? ? ?對(duì)于圖像識(shí)別任務(wù)來說，卷積神經(jīng)網(wǎng)絡(luò)通過盡可能保留重要的參數(shù)，去掉大量不重要的參數(shù)，來達(dá)到更好的學(xué)習(xí)效果。
3、卷積網(wǎng)絡(luò)架構(gòu)
網(wǎng)絡(luò)架構(gòu)
如圖1所示，一個(gè)卷積神經(jīng)網(wǎng)絡(luò)由若干卷積層、Pooling層、全連接層組成。你可以構(gòu)建各種不同的卷積神經(jīng)網(wǎng)絡(luò)，它的常用架構(gòu)模式為：
INPUT -> [[CONV]*N -> POOL?]*M -> [FC]*K
也就是N個(gè)卷積層疊加，然后(可選)疊加一個(gè)Pooling層，重復(fù)這個(gè)結(jié)構(gòu)M次，最后疊加K個(gè)全連接層。
對(duì)于圖1展示的卷積神經(jīng)網(wǎng)絡(luò)：
INPUT -> CONV -> POOL -> CONV -> POOL -> FC -> FC
如圖1所示，一個(gè)卷積神經(jīng)網(wǎng)絡(luò)由若干卷積層、Pooling層、全連接層組成。你可以構(gòu)建各種不同的卷積神經(jīng)網(wǎng)絡(luò)，它的常用架構(gòu)模式為：
INPUT -> [[CONV]*N -> POOL?]*M -> [FC]*K
也就是N個(gè)卷積層疊加，然后(可選)疊加一個(gè)Pooling層，重復(fù)這個(gè)結(jié)構(gòu)M次，最后疊加K個(gè)全連接層。
對(duì)于圖1展示的卷積神經(jīng)網(wǎng)絡(luò)：
INPUT -> CONV -> POOL -> CONV -> POOL -> FC -> FC
4、卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練
? ? ? 和全連接神經(jīng)網(wǎng)絡(luò)相比，卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練要復(fù)雜一些。但訓(xùn)練的原理是一樣的：利用鏈?zhǔn)角髮?dǎo)計(jì)算損失函數(shù)對(duì)每個(gè)權(quán)重的偏導(dǎo)數(shù)（梯度），然后根據(jù)梯度下降公式更新權(quán)重。訓(xùn)練算法依然是反向傳播算法。
5、RNN和LSTRM
? ? ?增加了一個(gè)隱層狀態(tài)，從而使得RNN能夠?qū)?dāng)前輸入與歷史輸入進(jìn)行有效的融合。隱層狀態(tài)是歷史信息的載體。
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
