- 旨在設(shè)計(jì)一個(gè)輕量級(jí)但是保證精度、速度的深度網(wǎng)絡(luò)
43.1 設(shè)計(jì)思想
- 影響神經(jīng)網(wǎng)絡(luò)速度的4個(gè)因素：
- a. FLOPs(FLOPs就是網(wǎng)絡(luò)執(zhí)行了多少multiply-adds操作)
- b. MAC(內(nèi)存訪問成本)
- c. 并行度(如果網(wǎng)絡(luò)并行度高，速度明顯提升)
- d. 計(jì)算平臺(tái)(GPU，ARM)
- ShuffleNet-v2 提出了4點(diǎn)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)策略：
- G1.輸入輸出的channel相同時(shí)，MAC最小
- G2.過度的組卷積會(huì)增加MAC
- G3.網(wǎng)絡(luò)碎片化會(huì)降低并行度
- G4.元素級(jí)運(yùn)算不可忽視
43.2 網(wǎng)絡(luò)結(jié)構(gòu)
- depthwise convolution 和 瓶頸結(jié)構(gòu)增加了 MAC，用了太多的 group，跨層連接中的 element-wise Add 操作也是可以優(yōu)化的點(diǎn)
- 所以在 shuffleNet V2 中增加了幾種新特性。
- 所謂的 channel split 其實(shí)就是將通道數(shù)一分為2，化成兩分支來代替原先的分組卷積結(jié)構(gòu)（G2），并且每個(gè)分支中的卷積層都是保持輸入輸出通道數(shù)相同（G1），其中一個(gè)分支不采取任何操作減少基本單元數(shù)（G3），最后使用了 concat 代替原來的 elementy-wise add，并且后面不加 ReLU 直接（G4），再加入channle shuffle 來增加通道之間的信息交流
- 對(duì)于下采樣層，在這一層中對(duì)通道數(shù)進(jìn)行翻倍
-
在網(wǎng)絡(luò)結(jié)構(gòu)的最后，即平均值池化層前加入一層 1x1 的卷積層來進(jìn)一步的混合特征
- 網(wǎng)絡(luò)結(jié)構(gòu)
43.3 ShuffleNet-v2具有高精度的原因
- 由于高效，可以增加更多的channel，增加網(wǎng)絡(luò)容量
- 采用split使得一部分特征直接與下面的block相連，特征復(fù)用(DenseNet)
大數(shù)據(jù)視頻推薦：
網(wǎng)易云課堂
CSDN
人工智能算法競(jìng)賽實(shí)戰(zhàn)
AIops智能運(yùn)維機(jī)器學(xué)習(xí)算法實(shí)戰(zhàn)
ELK7 stack開發(fā)運(yùn)維實(shí)戰(zhàn)
PySpark機(jī)器學(xué)習(xí)從入門到精通
AIOps智能運(yùn)維實(shí)戰(zhàn)
騰訊課堂
大數(shù)據(jù)語音推薦：
ELK7 stack開發(fā)運(yùn)維
企業(yè)級(jí)大數(shù)據(jù)技術(shù)應(yīng)用
大數(shù)據(jù)機(jī)器學(xué)習(xí)案例之推薦系統(tǒng)
自然語言處理
大數(shù)據(jù)基礎(chǔ)
人工智能：深度學(xué)習(xí)入門到精通
