隨機(jī)初始化(Random initialization)

在一些算法中,我們需要給θ初始化,例如梯度下降算法。

在一些算法中,不能初始化參數(shù)為全零,例如神經(jīng)網(wǎng)絡(luò)。
在神經(jīng)網(wǎng)絡(luò)中,如果初始化所有的參數(shù)(也就是權(quán)重)相同,那么所有輸入都相同,神經(jīng)網(wǎng)絡(luò)就失去了它的作用了。
所以我們需要隨機(jī)初始化。


Octave中:

為了訓(xùn)練神經(jīng)網(wǎng)絡(luò),我們需要對權(quán)重進(jìn)行隨機(jī)初始化。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容