相同點(diǎn):都用于避免過(guò)擬合
不同點(diǎn):L1可以讓一部分特征的系數(shù)縮小到0,從而間接實(shí)現(xiàn)特征選擇。所以L1適用于特征之間有關(guān)聯(lián)的情況。
L2讓所有特征的系數(shù)都縮小,但是不會(huì)減為0,它會(huì)使優(yōu)化求解穩(wěn)定快速。所以L2適用于特征之間沒(méi)有關(guān)聯(lián)的情況

image.png

image.png

image.png
這兩種類型的正則化都使權(quán)重向零靠近,使其分布在零附近。L2 正則化對(duì)分布尾端的影響比較大,可消除極端權(quán)重。L1 正則化生成更多確切的零值,在本示例中,它將 ~200 設(shè)置為零值。