1. LeNet-5
2. AlexNet
（圖中第一層的輸出被分為了兩部分，因為作者在做實驗使用GTX580，放不下這么大的網(wǎng)絡(luò)，所以用了兩個GPU，分別放一半的網(wǎng)絡(luò)結(jié)構(gòu)）
即如下結(jié)構(gòu)：
輸入：227 x 227 x 3的圖像
第一層：(CONV1)：96個 11 x 11的卷積核，步長為4。?
????????輸出為 55 x 55 x 96（Hint：(227 - 11)/4 + 1 = 55）。參數(shù)個數(shù)為(11*11*3)*96 = 35K。
第二層：（POOL1）：3 x 3的filter，步長為2。輸出為：27 x 27 x 96。參數(shù)個數(shù)為0。
3. VGGNet
使用更深的網(wǎng)絡(luò)，更小的filter
使用更小filter(3 x 3 conv)的原因：stack of three 3 x 3 conv (stride 1) layers has same effective receptive field as one 7 x 7 conv layer。但是參數(shù)個數(shù)更少
effective receptive field：http://blog.csdn.net/gengsijing4459/article/details/78522997
AlexNet有6000萬個參數(shù)
4. GoogleNet
計算很高效，沒有全聯(lián)接層。只有500萬的參數(shù)，AlexNet是它的12倍。
"Inception module": design a good local network topology(network with a network) and then stack these modules on top of each other.
平行計算，所以能提升計算效率。
這種方法的問題：
5. ResNet
residual connection
各種方法的結(jié)果：
