是正則化,而且還不是一般的正則化,更不是優(yōu)化的假設,也不是邊際分布所能解釋的。是某種特殊的先驗分布帶來的正則化。而且這種正則化項,和early stopping以及semi-superviesed的原理比較相似。
深度神經網絡預訓練的本質
最后編輯于 :
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
【社區(qū)內容提示】社區(qū)部分內容疑似由AI輔助生成,瀏覽時請結合常識與多方信息審慎甄別。
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發(fā)布,文章內容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務。
【社區(qū)內容提示】社區(qū)部分內容疑似由AI輔助生成,瀏覽時請結合常識與多方信息審慎甄別。
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發(fā)布,文章內容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務。
相關閱讀更多精彩內容
- Neil Zhu,簡書ID Not_GOD,University AI 創(chuàng)始人 & Chief Scientist...
- 1. 交叉熵代價函數(shù) 采用MSE作為代價函數(shù)存在一個問題,那么就是當人工神經元在其犯錯比較大的情況下學習很有難度。...
- 本系列文章面向深度學習研發(fā)者,希望通過Image Caption Generation,一個有意思的具體任務,深入...