特征歸一化
在基于梯度下降的算法中，使用特征歸一化方法將特征統(tǒng)一量綱，能夠提高模型收斂速度和最終的模型精度。
特征歸一化方法
線性歸一化將特征線性映射到 [0, 1] 區(qū)間上，零均值歸一化假設(shè)特征分布是正態(tài)分布，通過方差和均值，將特征映射到標(biāo)準(zhǔn)正態(tài)分布上。
-
Min-Max Scaling（線性歸一化）
-
Z-Score Normalization（零均值歸一化）
為什么要進(jìn)行特征歸一化
簡書對(duì)LaTeX支持太不友好了…而且我又挺懶的……于是，手寫公式上傳，錯(cuò)誤歡迎指正。
????在使用梯度下降更新參數(shù)的算法中，不進(jìn)行歸一化會(huì)導(dǎo)致在不同參數(shù)上具有不同的學(xué)習(xí)速率。上圖中，w[s] 的學(xué)習(xí)速率相當(dāng)于 w[t] 的100倍。而我們知道，過大的學(xué)習(xí)速率會(huì)導(dǎo)致參數(shù)在最優(yōu)解附近震蕩，無法進(jìn)一步降低損失，不使用歸一化方法處理輸入數(shù)據(jù)，會(huì)導(dǎo)致模型不能更好的擬合。
