現(xiàn)在神經(jīng)網(wǎng)絡(luò)基本一上就是深度神經(jīng)網(wǎng)路，而深度神經(jīng)網(wǎng)路就像個(gè)黑箱一樣，對于什么樣的場景該設(shè)計(jì)什么樣的結(jié)構(gòu)還沒有理論支持，都是全憑經(jīng)驗(yàn)，所以本文也僅限于經(jīng)驗(yàn)之談。

一、論文：A practical theory for designing very deep convolutional neural networks

論文大意：雖然人們的直覺是網(wǎng)絡(luò)越深越好，但是隨意地增加深度可能會(huì)適得其反。論文將卷積網(wǎng)絡(luò)分為分類器和特征提取兩個(gè)層次。

分類器層：

? ? 分類層通常是兩層全連接加dropout，但是這樣的數(shù)據(jù)量不夠的時(shí)候容易過擬合。我們發(fā)現(xiàn)將特征映射進(jìn)行下采樣，然后過兩層卷積，再做maxpool，最后再加上dropout會(huì)更好。

特征層：

????卷積層的感受域應(yīng)該隨著網(wǎng)絡(luò)深度的增加而增加，當(dāng)感受域達(dá)到圖片大小時(shí)，特征層不再加深。