幾個優(yōu)化方法

  • 梯度下降法(Gradient Desence)不用多說
  • 然后就是Deep Learning中常用的Stochastic Gradient, 提出這個是因為每一次更新計算全部樣本對應梯度不劃算。而且實驗表明每次隨機選甚至結(jié)果比直接全部算出來要好。
  • 接著就是NSG，從算法來看是隨機梯度每次加了一點噪聲

  • PNSG，比起NSG多了個投影的步驟


    Noisy Stochastic Gradient

    Projected Noisy Stochastic Gradient

之前的都屬于線性搜索，一般步驟是先確定一個方向，然后確定最優(yōu)步長。
而信賴域方法(Trust Region Method)則是不斷改變搜索區(qū)域，使得優(yōu)化方向也改變，進而使下降盡可能多。

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務(wù)。

友情鏈接更多精彩內(nèi)容