L1 , L2正則化

相同點(diǎn):都用于避免過(guò)擬合

不同點(diǎn):L1可以讓一部分特征的系數(shù)縮小到0,從而間接實(shí)現(xiàn)特征選擇。所以L1適用于特征之間有關(guān)聯(lián)的情況。

          L2讓所有特征的系數(shù)都縮小,但是不會(huì)減為0,它會(huì)使優(yōu)化求解穩(wěn)定快速。所以L2適用于特征之間沒(méi)有關(guān)聯(lián)的情況
image.png
image.png
image.png

這兩種類型的正則化都使權(quán)重向零靠近,使其分布在零附近。L2 正則化對(duì)分布尾端的影響比較大,可消除極端權(quán)重。L1 正則化生成更多確切的零值,在本示例中,它將 ~200 設(shè)置為零值。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 正則化是一種回歸的形式,它將系數(shù)估計(jì)(coefficient estimate)朝零的方向進(jìn)行約束、調(diào)整或縮小。也...
    suwi閱讀 57,489評(píng)論 0 20
  • 文章內(nèi)容來(lái)源:CSDN 需要正則化的原因: 監(jiān)督機(jī)器學(xué)習(xí)問(wèn)題無(wú)非就是“minimize your error wh...
    Even_Wang閱讀 1,525評(píng)論 0 1
  • (1)什么是正則化 1、從結(jié)構(gòu)風(fēng)險(xiǎn)化角度,解釋什么是正則化 經(jīng)驗(yàn)風(fēng)險(xiǎn)其實(shí)就是樣本本身帶來(lái)的誤差。結(jié)構(gòu)風(fēng)險(xiǎn)就是學(xué)習(xí)器...
    只為此心無(wú)垠閱讀 2,314評(píng)論 0 2
  • 正則化主要是用于降低過(guò)擬合的風(fēng)險(xiǎn)。 L1 引入稀疏性,刪除影響較少的參數(shù),可減少計(jì)算量。拉普拉斯分布(背靠...
    頑皮的石頭7788121閱讀 494評(píng)論 0 0
  • 簡(jiǎn)單來(lái)說(shuō)就是既有L1的稀疏效果,也有L2使權(quán)重趨于0的效果。比如:L1的效果: 100x1+ 0.1x2 + 0...
    菜鳥瞎編閱讀 271評(píng)論 0 0

友情鏈接更多精彩內(nèi)容