1.Le Net-5的提出
Le Net-5 模型最早是計(jì)算機(jī)科學(xué)家 Yann LeCun 于 1998?年在論文 《Gradient-based?learning applied to?document recognitionr 》中提出的，當(dāng)時(shí)被廣泛應(yīng)用于銀行支票的手寫(xiě)數(shù)字識(shí)別系統(tǒng)中。它是早期卷積神經(jīng)網(wǎng)絡(luò)中最有代表性的實(shí)驗(yàn)系統(tǒng)之一，在 MNIST 數(shù)據(jù)集上， LeNet-5 模型的正確率可以達(dá)到99%以上。
2. Le Net-5的結(jié)構(gòu)
該網(wǎng)絡(luò)共有8層（包括輸入+輸出層）
輸入層（Input）
輸入層圖片的大小為32×32，只有一個(gè)通道，為黑白圖像。
卷積層C1（ Convolutions）：特征提取
濾波器filter大小為5×5，個(gè)數(shù)（深度）為6，padding=0（不使用0填充），步長(zhǎng)stride=1，因此輸出圖像大小為28×28×6（6個(gè)大小為28×28的特征平面）。
池化層S2（subsampling）： 數(shù)據(jù)降維
池化層又稱下采樣層，目的是降低數(shù)據(jù)維度（特征平面沒(méi)有變）。在該層作者采用平均池化（average pooling），濾波器filter 大小取 2×2，步長(zhǎng) stride=2，不使用0填充（padding=0），輸出圖像大小為 14×14×6。
卷積層C3（ Convolutions ）:打破對(duì)稱性，提取深層特征
在卷積層C3中，濾波器filter 大小 為5×5，filter 個(gè)數(shù)為 16，padding =0， 卷積步長(zhǎng)?stride=1，輸出矩陣大小為 10×10×16，這層輸出共有16個(gè)特征平面。
在S2中，我們注意到共有6個(gè)特征平面，而在C3中卻有16個(gè)特征平面，那這其中是如何對(duì)應(yīng)的呢？
其實(shí)，作者是這樣設(shè)計(jì)的：利用C3中每個(gè)特征平面的卷積核與S2中的多個(gè)平面進(jìn)行卷積運(yùn)算，換句話說(shuō)，就是卷積層（C3）的每一個(gè)特征平面對(duì)應(yīng)了多個(gè)池化層（S2）的采樣數(shù)據(jù)。如下圖所示：
左邊第一列代表了池化層S2的6個(gè)特征平面，上邊第一行代表了卷積層C3的16個(gè)特征平面。以卷積層0號(hào)特征平面為例，其對(duì)應(yīng)了池化層的前三個(gè)特征平面0，1 和 2，可以看出，卷積層C3將池化層的特征平面進(jìn)行了不同維度的組合，在作者看來(lái)，這樣的設(shè)計(jì)有助于打破特征對(duì)稱性，提取深層特征。
池化層S4
濾波器filter大小為5×5，步長(zhǎng)stride=2，平均池化，不填充，輸出矩陣大小為5×5×16。在該層結(jié)束需要將矩陣5×5×16展成一個(gè)400維向量。
全連接層C5
該層輸入節(jié)點(diǎn)為400，輸出節(jié)點(diǎn)為120，共產(chǎn)生權(quán)值48120（400×120+120）個(gè)。
全連接層F6
該層輸入節(jié)點(diǎn)120，輸出節(jié)點(diǎn)84，共產(chǎn)生權(quán)值10164（120×84+84）個(gè)。
輸出層
該層輸入節(jié)點(diǎn)84，輸出節(jié)點(diǎn)10，代表0~9十個(gè)數(shù)字。該層共有權(quán)值850（84×10+10）個(gè)。
