1 卷積網(wǎng)絡(luò)層次類型

卷積層，通過多個卷積核進行特征提取

激活層，非線性激活函數(shù)處理濾波結(jié)果，常用的有ReLu，sigmoid

池化層，通過降采樣降低輸出維度，賦予模型對輕度形變的容忍性，提高模型泛化能力

歸一化層，非典型層。在LeNet中用到，用于提高模型準(zhǔn)確率，增加泛化能力。

2 CNN特點

局部連接，基于人的感受野，每個神經(jīng)元只會對小塊區(qū)域激活，通過卷積核可以降低參數(shù)維度

權(quán)值共享，每個隱層對應(yīng)的卷積核參數(shù)一致，進一步降低參數(shù)維度

池化層降采樣，降低輸出維度，賦予模型對輕度形變的容忍性，提高模型泛化能力

3經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)

早期比較著名的卷積神經(jīng)網(wǎng)絡(luò)是1994年由Yann Lecun提出的LeNet5，包括3個卷積層，1個全連接層和1個高斯連接層，這個模型用到的很多方法在當(dāng)前最先進的網(wǎng)絡(luò)依然有效。包括卷積層的構(gòu)成，使用卷積提取特征，降采樣，使用MLP作為分類器，使用tanh和sigmoid函數(shù)激活。

2012年，由Hinton的學(xué)生Alex提出的更大規(guī)模的卷積神經(jīng)網(wǎng)絡(luò)在ILSVRC一鳴驚人，取得了遠低于其他模型的分類錯誤率。后續(xù)的ILSVRC，更大規(guī)模的神經(jīng)網(wǎng)絡(luò)取得了更低的分類錯誤率，甚至超過了人類。

Tensorflow實戰(zhàn)（黃文堅，唐源著）