提升深度學(xué)習(xí)性能的幾個方向

共分為4個層面，數(shù)據(jù)層面、算法層面、算法調(diào)優(yōu)層面、模型融合層面

1、數(shù)據(jù)方向

收集或生成更多的數(shù)據(jù)；對數(shù)據(jù)進(jìn)行縮放或變換；特征選擇；重新定義問題

2、算法方向

算法的篩選；從文獻(xiàn)中“竊取”思路；重采樣的方法

3、算法調(diào)優(yōu)方向

模型的可診斷性（只有知道為何模型的性能不再有提升了，才能達(dá)到最好的效果，一般情況下模型總是處于過擬合、欠擬合兩種狀態(tài)之間，只是程度不同罷了，如果訓(xùn)練集的效果好于驗證集，可能存在過擬合的現(xiàn)象，試一試增加正則項，如果訓(xùn)練集和驗證集的準(zhǔn)確率都很低，說明可能存在欠擬合，如果訓(xùn)練集和驗證集的曲線有一個焦點，可能需要用到early stopping的技巧了）；權(quán)重的初始化；學(xué)習(xí)率；激活函數(shù)；網(wǎng)絡(luò)結(jié)構(gòu)；batch and epoch（深度學(xué)習(xí)模型常常使用最小的batch和大的epoch以及反復(fù)多次的訓(xùn)練）；正則項；優(yōu)化目標(biāo)

4、模型融合方向

一般單一的模型很難達(dá)到好的效果，可以采用將各個模型的結(jié)果相融合或者stacking的方式