一、過擬合

模型復(fù)雜度太高的表現(xiàn)，模型的泛化能力十分重要，交叉驗(yàn)證是識別過擬合的好方法。

1、主要原因

數(shù)據(jù)有噪聲，無法避免，會影響訓(xùn)練集的數(shù)據(jù)分布。

訓(xùn)練數(shù)據(jù)有限，樣本無法反映整體分布。

2、解決方案

Early stopping，迭代k次驗(yàn)證誤差無改善，則停止訓(xùn)練。

增加數(shù)據(jù)集，data expending，數(shù)據(jù)決定模型上限，算法只是逼近。

正則化方法，在目標(biāo)函數(shù)中增加包含參數(shù)的正則化項(xiàng)，本質(zhì)是控制模型復(fù)雜度。

DroupOut，神經(jīng)網(wǎng)絡(luò)中使用，隨機(jī)性。

二、L1正則化 vs L2正則化

略。

三、結(jié)論

Start from a simple model !

附，參考資料：

1、【機(jī)器學(xué)習(xí)算法系列之二】淺析Logistic Regression，https://chenrudan.github.io/blog/2016/01/09/logisticregression.html