具體方法：

1. Shuffle Net：
   將feature map按照channel進(jìn)行分組。每個(gè)卷積核只對(duì)某一組進(jìn)行運(yùn)算，從而降低了參數(shù)量和計(jì)算量。為了防止由于分組導(dǎo)致局部特征得不到共享，每經(jīng)過(guò)一次卷積操作，就將channel進(jìn)行隨機(jī)打亂。

2. Mobile Net:
   標(biāo)準(zhǔn)的卷積層，參數(shù)是KKMN，其中M,N分別是輸入和輸出的channel數(shù)目。采用Depthwise Conv和PointWise Conv相結(jié)合的方式，代替標(biāo)準(zhǔn)卷積核。 需要參數(shù)是KKM + 11MN

計(jì)算量 MACC (multiply-accumulate operation 乘法累加運(yùn)算)

標(biāo)準(zhǔn)卷積： KKMNHoutWout
Mobile Net: KKMHoutWout + 11MNHoutWout

3. 分解卷積：
   將KK的卷積核分解成1K和K*1的

4. BottleNeck
   以ResNet為例，降維、卷積、升維

5. SqueezeNet：分為Squeeze和Expand兩部分，Squeeze聽(tīng)起來(lái)像是降維，因?yàn)橐螅⊿queeze層的輸出S11 < input map number)，Expand層分為兩個(gè)分支，1×1的卷積和3*3的卷積，最后將兩個(gè)分支的輸出拼接起來(lái)。

參考鏈接：
https://zhuanlan.zhihu.com/p/67871864