參考文獻(xiàn)：
http://blog.csdn.net/lu597203933/article/details/46575779
http://ufldl.stanford.edu/wiki/index.php/%E6%B1%A0%E5%8C%96
|||||
|---
1、卷積：
<1> 提取特征：
如下圖所示，展示了一個(gè)3*3的卷積核在55的圖像上做卷積的過程。每個(gè)卷積都是一種特征提取方式，就像一個(gè)篩子，將圖像中符合條件（激活值越大越符合條件）的部分篩選出來。
- 在輸出圖像中每一個(gè)像素是輸入圖像中一個(gè)小區(qū)域中像素的其中權(quán)值由一個(gè)函數(shù)定義,這個(gè)函數(shù)稱為卷積核。
提取特征單一怎么辦？
一種卷積核就是提出圖像的一種特征，那么多幾個(gè)函數(shù)（卷積核），抽取不同的特征即可。
<2> 擁有全局觀還有局部觀：
左邊就是全連接網(wǎng)絡(luò)，每個(gè)隱藏神經(jīng)元與每個(gè)像素進(jìn)行連接。右邊就是部分連接網(wǎng)絡(luò)，每個(gè)隱神經(jīng)元只與一部分區(qū)域相連接。
2、池化（池化層位于兩個(gè)卷積層之間）
利用卷積提取的特征去做分類
但是(Imge_width-convolution_width+1)*(Image_height-convolution_height+1) * (卷積核數(shù)量 即 特征數(shù)量) 的結(jié)果太龐大，學(xué)習(xí)一個(gè)擁有超過 3 百萬特征輸入的分類器十分不便，并且容易出現(xiàn)過擬合 (over-fitting)。
池化綜合了（過濾核范圍內(nèi)的）全部鄰居的反饋，即通過k個(gè)像素的統(tǒng)計(jì)特性而不是單個(gè)像素來提取特征，自然這種方法能夠大大提高神經(jīng)網(wǎng)絡(luò)的性能
3、全連接
全連接層，通俗的說就是前面一層的每個(gè)單元都與后面一層的相連接
將前面各個(gè)層學(xué)習(xí)到的“分布式特征表示”，映射到樣本標(biāo)記空間，然后利用損失函數(shù)來調(diào)控學(xué)習(xí)過程，最后給出對象的分類預(yù)測。一般采用Softmax函數(shù)作為激活函數(shù)。
Softmax函數(shù)又稱歸一化指數(shù)函數(shù)：
Softmax函數(shù)把這些分值實(shí)施規(guī)則化（regularization），也就是說，將這些實(shí)分值轉(zhuǎn)換為一系列的概率值（信任度）
由于全連接層的參數(shù)冗余（差不多80%），導(dǎo)致該層的參數(shù)個(gè)數(shù)占據(jù)整個(gè)網(wǎng)絡(luò)參數(shù)的絕大部分。這樣一來，稍有不慎，全連接層就容易陷入過擬合的窘境，導(dǎo)致網(wǎng)絡(luò)的泛化能力難盡人意。
全連接層是簡單的將特征映射變成矢量按順序編排輸入到softmax回歸中，這種方法破壞了卷積層中提取特征時(shí)保留下來的位置信息
插個(gè)小廣告：
一些性能優(yōu)異的網(wǎng)絡(luò)模型如ResNet和GoogLeNet等全局均值池化策略（global average pooling，GAP）取代FC來融合學(xué)到的深度特征，最后仍用softmax等損失函數(shù)作為網(wǎng)絡(luò)目標(biāo)函數(shù)來指導(dǎo)學(xué)習(xí)過程。
- GAP:
GAP來源于由現(xiàn)任360公司首席科學(xué)家顏水成博士團(tuán)隊(duì)發(fā)表的論文“網(wǎng)中網(wǎng)（Network In Network，NIN）[10]”。文中提出了用全局均值池化策略（Global Average Pooling，GAP），取代全連接層的想法。
4、梯度下降法
5、softmax做歸一化
