(1)增大batch size
這在gpu/cpu 存儲(chǔ)容量有限的情況下可以增大iter_size實(shí)現(xiàn)
(2)人工檢測(cè)learning rate policy
when error plateau, /=10
(3)Initialization
for ReLU
每一層應(yīng)該服從正太分布（0,2/nl）nl=k * k * c
Delving Deep into Rectifiers:Surpassing Human-Level Performance on ImageNet Classification
(4)Gradient Descend method
Now SGD
(5)Data Pre-Processing
PCA 、Whiting
Subtract the mean image (e.g. AlexNet)(mean image = [32,32,3] array)
Subtract per-channel mean (e.g. VGGNet)(mean along each channel = 3 numbers)
（6）BN
already Batch Normal
How to make a Neural Network converg(as fast as possible)
最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。
相關(guān)閱讀更多精彩內(nèi)容
- 問(wèn)題描述 一個(gè)只包含正負(fù)數(shù)的數(shù)組，求出連續(xù)元素之和最大的子數(shù)組。 解決1：暴力求解方法 嘗試每個(gè)元素的組合，最終選...
- 1 某城的大劇院里，某幼兒園的小朋友們正在舞臺(tái)上表演著舞蹈，小朋友們隨著音樂(lè)，歡快地跳著、笑著。 亮亮也在小朋友當(dāng)...
