31.1 壓縮效果評(píng)價(jià)指標(biāo)
- 網(wǎng)絡(luò)壓縮評(píng)價(jià)指標(biāo)包括運(yùn)行效率、參數(shù)壓縮率、準(zhǔn)確率
- 與基準(zhǔn)模型比較衡量性能提升時(shí),可以使用提升倍數(shù)(speedup)或提升比例(ratio)。
| 評(píng)價(jià)指標(biāo) | 特點(diǎn) |
|---|---|
| 準(zhǔn)確率 | 目前,大部分研究工作均會(huì)測(cè)量 Top-1 準(zhǔn)確率,只有在 ImageNet 這類大型數(shù)據(jù)集上才會(huì)只用 Top-5 準(zhǔn)確率.為方便比較 |
| 參數(shù)壓縮率 | 統(tǒng)計(jì)網(wǎng)絡(luò)中所有可訓(xùn)練的參數(shù),根據(jù)機(jī)器浮點(diǎn)精度轉(zhuǎn)換為字節(jié)(byte)量綱,通常保留兩位有效數(shù)字以作近似估計(jì). |
| 運(yùn)行效率 | 可以從網(wǎng)絡(luò)所含浮點(diǎn)運(yùn)算次數(shù)(FLOP)、網(wǎng)絡(luò)所含乘法運(yùn)算次數(shù)(MULTS)或隨機(jī)實(shí)驗(yàn)測(cè)得的網(wǎng)絡(luò)平均前向傳播所需時(shí)間這 3 個(gè)角度來(lái)評(píng)價(jià) |
31.2 幾種輕量化網(wǎng)絡(luò)結(jié)構(gòu)對(duì)比
| 網(wǎng)絡(luò)結(jié)構(gòu) | TOP1 準(zhǔn)確率/% | 參數(shù)量/M | CPU運(yùn)行時(shí)間/ms |
|---|---|---|---|
| MobileNet V1 | 70.6 | 4.2 | 123 |
| ShuffleNet(1.5) | 69.0 | 2.9 | - |
| ShuffleNet(x2) | 70.9 | 4.4 | - |
| MobileNet V2 | 71.7 | 3.4 | 80 |
| MobileNet V2(1.4) | 74.7 | 6.9 | 149 |
31.3 網(wǎng)絡(luò)壓縮未來(lái)研究方向
- 網(wǎng)絡(luò)剪枝、網(wǎng)絡(luò)精餾和網(wǎng)絡(luò)分解都能在一定程度上實(shí)現(xiàn)網(wǎng)絡(luò)壓縮的目的.回歸到深度網(wǎng)絡(luò)壓縮的本質(zhì)目的上,即提取網(wǎng)絡(luò)中的有用信息,以下是一些值得研究和探尋的方向.
(1) 權(quán)重參數(shù)對(duì)結(jié)果的影響度量
(2) 學(xué)生網(wǎng)絡(luò)結(jié)構(gòu)的構(gòu)造
(3) 參數(shù)重建的硬件架構(gòu)支持
(4) 任務(wù)或使用場(chǎng)景層面的壓縮
(5) 網(wǎng)絡(luò)壓縮效用的評(píng)價(jià)
大數(shù)據(jù)視頻推薦：
網(wǎng)易云課堂
CSDN
人工智能算法競(jìng)賽實(shí)戰(zhàn)
AIops智能運(yùn)維機(jī)器學(xué)習(xí)算法實(shí)戰(zhàn)
ELK7 stack開發(fā)運(yùn)維實(shí)戰(zhàn)
PySpark機(jī)器學(xué)習(xí)從入門到精通
AIOps智能運(yùn)維實(shí)戰(zhàn)
騰訊課堂
大數(shù)據(jù)語(yǔ)音推薦：
ELK7 stack開發(fā)運(yùn)維
企業(yè)級(jí)大數(shù)據(jù)技術(shù)應(yīng)用
大數(shù)據(jù)機(jī)器學(xué)習(xí)案例之推薦系統(tǒng)
自然語(yǔ)言處理
大數(shù)據(jù)基礎(chǔ)
人工智能：深度學(xué)習(xí)入門到精通
