1. 什么是欠擬合和過擬合

先看三張圖片，這三張圖片是線性回歸模型 擬合的函數(shù)和訓(xùn)練集的關(guān)系

第一張圖片擬合的函數(shù)和訓(xùn)練集誤差較大，我們稱這種情況為?欠擬合

第二張圖片擬合的函數(shù)和訓(xùn)練集誤差較小，我們稱這種情況為?合適擬合

第三張圖片擬合的函數(shù)完美的匹配訓(xùn)練集數(shù)據(jù)，我們稱這種情況為?過擬合

2. 如何解決欠擬合和過擬合問題

欠擬合問題，根本的原因是特征維度過少，導(dǎo)致擬合的函數(shù)無法滿足訓(xùn)練集，誤差較大。

欠擬合問題可以通過增加特征維度來解決。

過擬合問題，根本的原因則是特征維度過多，導(dǎo)致擬合的函數(shù)完美的經(jīng)過訓(xùn)練集，但是對新數(shù)據(jù)的預(yù)測結(jié)果則較差。

解決過擬合問題，則有2個途徑：

1. ?? 減少特征維度; 可以人工選擇保留的特征，或者模型選擇算法

2. ?? 正則化; 保留所有的特征，通過降低參數(shù)θ的值，來影響模型

3. 正則化

回到前面過擬合例子, h(x) = θ0 + θ1x1 + θ2x2 + θ3x3 + θ4x4

這樣在求解最小化代價函數(shù)的時候使得參數(shù)θ3, θ4接近于0。正則化其實就是通過對參數(shù)θ的懲罰來影響整個模型?