過(guò)擬合(over-fitting)
過(guò)擬合：過(guò)于強(qiáng)調(diào)擬合原始數(shù)據(jù)，而丟失了算法的本質(zhì)：預(yù)測(cè)新數(shù)據(jù)。
欠擬合 恰好 過(guò)擬合 三者對(duì)比
分類問(wèn)題中也存在類似的問(wèn)題：
解決辦法：
- 丟棄一些不能幫助正確預(yù)測(cè)的特征
手工選擇保留哪些特征或者使用一些模型選擇的算法（例如PCA） - 正則化(magnitude)
保留所有的特征，但是減少參數(shù)的大小。
調(diào)整代價(jià)函數(shù)
回歸模型
正是高次項(xiàng)導(dǎo)致了過(guò)擬合的產(chǎn)生。
目標(biāo)：讓高次項(xiàng)系數(shù)接近于0。
修改代價(jià)函數(shù)：
為和
設(shè)置懲罰
問(wèn)題：并不知道其中哪些特征需要懲罰
思路：對(duì)所有特征進(jìn)行懲罰，讓代價(jià)函數(shù)最優(yōu)化的軟件來(lái)選擇這些懲罰的程度。
注：通常不對(duì)
進(jìn)行懲罰。
分析：
-
過(guò)大，除
，是一條平行于
的直線，導(dǎo)致欠擬合。
正則化線性回歸
- 梯度下降求解
可以看到，每次除了以外
均在原有的算法更新規(guī)則的基礎(chǔ)上減少了一個(gè)額外的值。
- 正規(guī)方程求解
正則化的邏輯回歸模型
對(duì)于邏輯回歸，也給代價(jià)函數(shù)增加一個(gè)正則化的表達(dá)式，得到：
增加一項(xiàng)
計(jì)算過(guò)程同上文的線性回歸，但是由于模型不同，所以二者有本質(zhì)不同。
注意：
