一、手寫數(shù)字識別神經(jīng)網(wǎng)絡總體??? 結(jié)構(gòu)
1.卷積層C1：
? ??輸入為28*28的灰度圖像，灰度圖像分別同6個5*5的模板進行卷積操作，分別得到了6個24*24的卷積圖像，圖像里面每個像素加上一個權(quán)重，并經(jīng)過一個激活函數(shù)得到該層的輸出。
激活函數(shù)的作用：第一是將數(shù)據(jù)鉗制在一定范圍內(nèi)，比如本網(wǎng)絡用的Sigmoid函數(shù)將數(shù)據(jù)壓縮在-1到1之間，不太高不太低。第二是用來加入非線性因素的，因為線性模型的表達能力不夠。
2.采樣層S2及采樣層S4
??? 采樣層S又名池化層，池化層主要是為了減少數(shù)據(jù)處理的維度，常見的pooling方法有max pooling和average pooling
??? max pooling 就是選擇當前塊內(nèi)最大像素值來表示當前局部快
??? average pooling 就是選擇當前塊的像素值平均值來代替
3.卷積層C3
在卷積層C3中輸入為6個12*12的圖像，輸出為12個8*8的圖像。
4.輸出層O5：
??? 采樣層S4后，我們將得到12張4*4的圖像，將圖像展開成一維，就得到了12*4*4=192的向量。輸出層是由輸入192位，輸出10位的全連接單層神經(jīng)網(wǎng)絡，共有10個神經(jīng)元組成，每個神經(jīng)元都與192位輸入向量，即都有192位的輸入和1位輸出，其處理公式如下，這里j表示輸出神經(jīng)元的序號，i表示輸入的序號。
二、相關(guān)數(shù)據(jù)結(jié)構(gòu)。
這個卷積網(wǎng)絡主要有五層網(wǎng)絡，主要結(jié)構(gòu)是卷積層、采樣層（Pooling）、卷積層、采樣層（Pooling）和全連接的單層神經(jīng)網(wǎng)絡層（輸出層），建立了三個基本層的結(jié)構(gòu)及一個總的卷積網(wǎng)絡結(jié)構(gòu)。
這里結(jié)構(gòu)內(nèi)除了必要的權(quán)重參數(shù)，而需要記錄該層輸入輸出數(shù)據(jù)y，及需要傳遞到下一層的局部梯度d。
（1）卷積層
（2）采樣層
（3）全連接的單層神經(jīng)網(wǎng)絡
（4）各層共同組成的完整卷及網(wǎng)絡
（5）存放訓練參量的結(jié)構(gòu)
三、前向傳播過程
前向傳播過程實際上就是指輸入圖像數(shù)據(jù)，得到輸出結(jié)果的過程，而后向傳播過程就是將輸出結(jié)果的誤差由后向前傳遞給各層，各層依次調(diào)整權(quán)重的過程。
C1層的相關(guān)代碼，cov函數(shù)是卷積函數(shù)，activation_Sigma是激活函數(shù)。
