• 保證精度不損失的同時，將原始AlexNet壓縮至原來的510倍
  在網(wǎng)絡結(jié)構設計方面主要采取以下三種方式：

38.1 網(wǎng)絡結(jié)構設計

• 用1*1卷積核替換3*3卷積
  • 理論上一個1*1卷積核的參數(shù)是一個3*3卷積核的1/9，可以將模型尺寸壓縮9倍。
• 減小3*3卷積的輸入通道數(shù)
  • 根據(jù)上述公式，減少輸入通道數(shù)不僅可以減少卷積的運算量，而且輸入通道數(shù)與輸出通道數(shù)相同時還可以減少MAC。
• 延遲降采樣
  • 分辨率越大的輸入能夠提供更多特征的信息，有利于網(wǎng)絡的訓練判斷，延遲降采樣可以提高網(wǎng)絡精度。

38.2 網(wǎng)絡架構

• SqueezeNet提出一種多分支結(jié)構——fire model，其中是由Squeeze層和expand層構成
  • Squeeze層是由s1個1*1卷積組成，主要是通過1*1的卷積降低expand層的輸入維度
  • expand層利用e1個1*1和e3個3*3卷積構成多分支結(jié)構提取輸入特征，以此提高網(wǎng)絡的精度(其中e1=e3=4*s1)

• SqueezeNet整體網(wǎng)絡結(jié)構：

  
  

38.3 實驗結(jié)果

• 不同壓縮方法在ImageNet上的對比實驗結(jié)果

  
  
• SqueezeNet不僅保證了精度，而且將原始AlexNet從240M壓縮至4.8M，壓縮50倍

大數(shù)據(jù)視頻推薦：
網(wǎng)易云課堂
CSDN
人工智能算法競賽實戰(zhàn)
AIops智能運維機器學習算法實戰(zhàn)
ELK7 stack開發(fā)運維實戰(zhàn)
PySpark機器學習從入門到精通
AIOps智能運維實戰(zhàn)
騰訊課堂
大數(shù)據(jù)語音推薦：
ELK7 stack開發(fā)運維
企業(yè)級大數(shù)據(jù)技術應用
大數(shù)據(jù)機器學習案例之推薦系統(tǒng)
自然語言處理
大數(shù)據(jù)基礎
人工智能：深度學習入門到精通