一. 理解卷積和子采樣
卷積過(guò)程：用一個(gè)可訓(xùn)練的濾波器fx去卷積一個(gè)輸入的圖像（第一階段是輸入的圖像，后面的階段就是卷積特征map），然后加一個(gè)偏置bx，得到卷積層Cx;
子采樣過(guò)程：鄰域四個(gè)像素求和變?yōu)橐粋€(gè)像素，然后通過(guò)標(biāo)量W加權(quán)，再增加偏置b，然后通過(guò)一個(gè)sigmoid激活函數(shù)，產(chǎn)生一個(gè)縮小四倍的特征映射圖Sx+1
二. 理解用卷積代替全連接
三. 通過(guò)基本的神經(jīng)元模型理解可訓(xùn)練參數(shù)與連接數(shù)
四. 各層參數(shù)詳解
LeNet-5共有7層，不包含輸入，每層都包含可訓(xùn)練參數(shù)；每個(gè)層有多個(gè)Feature Map，每個(gè)FeatureMap通過(guò)一種卷積濾波器提取輸入的一種特征，然后每個(gè)FeatureMap有多個(gè)神經(jīng)元。
1. C1層是一個(gè)卷積層
輸入圖片：32*32
卷積核大?。?*5
卷積核種類：6
神經(jīng)元數(shù)量：28*28*6
可訓(xùn)練參數(shù)：（5*5+1）*6（每個(gè)濾波器5*5=25個(gè)unit參數(shù)和一個(gè)bias參數(shù)，一共6個(gè)濾波器）
連接數(shù)：（5*5+1）*6*28*28
2. S2層是一個(gè)下采樣層
輸入：28*28
采樣區(qū)域：2*2
采樣方式：4個(gè)輸入相加，乘以一個(gè)可訓(xùn)練參數(shù)，再加上一個(gè)可訓(xùn)練偏置。結(jié)果通過(guò)sigmoid
采樣種類：6
輸出featureMap大小：14*14（28/2）
神經(jīng)元數(shù)量：14*14*6
可訓(xùn)練參數(shù)：2*6（和的權(quán)+偏置）
連接數(shù)：（2*2+1）*6*14*14
S2中每個(gè)特征圖的大小是C1中特征圖大小的1/4
3. C3層也是一個(gè)卷積層
輸入：S2中所有6個(gè)或者幾個(gè)特征map組合
卷積核大?。?*5
卷積核種類：16
輸出featureMap大?。?0*10
C3中的每個(gè)特征map是連接到S2中的所有6個(gè)或者幾個(gè)特征map的，表示本層的特征map是上一層提取到的特征map的不同組合
存在的一個(gè)方式是：C3的前6個(gè)特征圖以S2中3個(gè)相鄰的特征圖子集為輸入。接下來(lái)6個(gè)特征圖以S2中4個(gè)相鄰特征圖子集為輸入。然后的3個(gè)以不相鄰的4個(gè)特征圖子集為輸入。最后一個(gè)將S2中所有特征圖為輸入。
則：可訓(xùn)練參數(shù)：6*（3*25+1）+6*（4*25+1）+3*（4*25+1）+（25*6+1）=1516
連接數(shù)：10*10*1516=151600
4. S4層是一個(gè)下采樣層
輸入：10*10
采樣區(qū)域：2*2
采樣方式：4個(gè)輸入相加，乘以一個(gè)可訓(xùn)練參數(shù)，再加上一個(gè)可訓(xùn)練偏置。結(jié)果通過(guò)sigmoid
采樣種類：16
輸出featureMap大小：5*5（10/2）
神經(jīng)元數(shù)量：5*5*16=400
可訓(xùn)練參數(shù)：2*16=32（和的權(quán)+偏置）
連接數(shù)：16*（2*2+1）*5*5=2000
S4中每個(gè)特征圖的大小是C3中特征圖大小的1/4?
5. C5層是一個(gè)卷積層
輸入：S4層的全部16個(gè)單元特征map（與s4全相連）
卷積核大?。?*5
卷積核種類：120
輸出featureMap大?。?*1（5-5+1）
可訓(xùn)練參數(shù)/連接：120*（16*5*5+1）=48120
6. F6層全連接層
輸入：c5 120維向量
計(jì)算方式：計(jì)算輸入向量和權(quán)重向量之間的點(diǎn)積，再加上一個(gè)偏置，結(jié)果通過(guò)sigmoid函數(shù)
可訓(xùn)練參數(shù):84*(120+1)=10164
