Training Skinny Deep Neural Networks with Iterative Hard Thresholding Methods
https://openaccess.thecvf.com/content_ECCV_2018/papers/Zehao_Huang_Data-Driven_Sparse_Structure_ECCV_2018_paper.pdf
background
DNN在各個(gè)領(lǐng)域應(yīng)用取得巨大成功的同時(shí)，也因其巨大的參數(shù)量而帶來(lái)了兩個(gè)嚴(yán)重的問(wèn)題：1、過(guò)擬合嚴(yán)重； 2、端側(cè)部署困難。
related work and the limit
現(xiàn)有的Dropout等解決了過(guò)擬合問(wèn)題，卻不能降低參數(shù)量；各種pruning方法可以提升速率卻是以精度下降為代價(jià)
novel points
提出了一種迭代硬閾值法（IHT, iterative hard thresholding）來(lái)訓(xùn)練稀疏網(wǎng)絡(luò)（SDNNs, Skinny Deep Neural Networks）
IHT的思想來(lái)自于GHT（參考文獻(xiàn)30）， 使用迭代的硬閾值操作（保留top k的部分權(quán)重而將其他參數(shù)直接置為0），在mild conditions下，GHT算法能夠保證模型很大概率上收縮于全局最優(yōu)的領(lǐng)域內(nèi)。It is proved that under mild conditions, the GHT algorithm converges geometrically to the point with bounded deviation from global optimum, with a high probability
此外，本文相對(duì)于GHT的改進(jìn)還包括，將GHT算法推廣到了DNN中；實(shí)現(xiàn)多步更新，多個(gè)迭代后再使用一次 hard thresholding 操作；訓(xùn)練中去掉了稀疏約束等
methodology
整體算法分為兩階段：
Phase 1: Hard thresholding over connections and sub-network fine-tuning。硬閾值操作加子網(wǎng)絡(luò)fine-tune。硬閾值方法：保留前k個(gè)權(quán)值較大的weight而把其他的權(quán)重置為0，各層的稀疏比例設(shè)置都一致。
Phase 2: Connection restoration and training the entire network. 將之前置為0的參數(shù)也加入正常訓(xùn)練中。該部分有針對(duì)hard thresholding 和 random thresholding的討論，文中發(fā)現(xiàn)隨機(jī)閾值操作導(dǎo)致模型發(fā)散，因?yàn)椴糠种匾膮?shù)困難被刪除了。
evaluation(benchmark, experiments design)
weights-wise的稀疏，總是有很驚人的結(jié)果。cifar-10上，80%的參數(shù)被稀疏都能得到超過(guò)baseline的結(jié)果。
Thoughts:
1、 is this problem very meaningful? is the idea interesting and inspired?
在非結(jié)構(gòu)性裁剪的工作中，結(jié)構(gòu)效果是較為突出的。但目前看普及度和受重視程度并不高/(ㄒoㄒ)/~~
2、 does the paper clearly explained the considerations and implement?
figure 2中的change ratio實(shí)驗(yàn)，沒有給出詳細(xì)的說(shuō)明。第三部分最后給出了恢復(fù)被置零的連接，有利于學(xué)習(xí)到表征能力更強(qiáng)的特征，SDNN有在大參數(shù)空間中搜索更好的局部最優(yōu)的能力，但未給出數(shù)學(xué)分析，實(shí)驗(yàn)驗(yàn)證的說(shuō)明也不夠清晰。
3、 what’s the tradeoff?
…
4、 other consideration.
文中將GHT擴(kuò)展到DNN上，并且放松了稀疏約束，但并沒有給出數(shù)學(xué)上最優(yōu)化及收斂性等問(wèn)題的證明，雖然實(shí)驗(yàn)結(jié)果依然優(yōu)秀。
