李宏毅 network compression https://www.youtube.com/watch?v=dPp8rCAnU_A

因為現(xiàn)在訓(xùn)練出來的模型過多參數(shù)的，所以可以剪枝且準(zhǔn)確率變化不大。

首先先訓(xùn)練好一個大模型，再看權(quán)重/神經(jīng)元接近于0（計算l1或l2）就是不重要的權(quán)重/神經(jīng)元，移除它. 再重新訓(xùn)練，finetune. 多次移除少量，更容易把準(zhǔn)確率訓(xùn)練回來。

權(quán)值剪枝不好處理，剪枝之后網(wǎng)絡(luò)不規(guī)則，不再是全連接，gpu也不好加速不規(guī)則的形狀，不好做矩陣運算。如果只把需要剪枝的權(quán)值設(shè)為0，那參數(shù)量沒改變，不能加速。

神經(jīng)元剪枝比較好處理，比較好加速。