參數(shù)學(xué)習(xí)算法，非參數(shù)學(xué)習(xí)算法
參數(shù)學(xué)習(xí)算法，用固定的明確的參數(shù)進(jìn)行數(shù)據(jù)的擬合。比如線性回歸。
非參數(shù)學(xué)習(xí)算法，使用的參數(shù)隨著訓(xùn)練樣本的增多而增多。比如：局部加權(quán)回歸
局部加權(quán)回歸
局部加權(quán)回歸的損失函數(shù)為
其中w(i)是權(quán)重，它根據(jù)要預(yù)測(cè)的點(diǎn)與數(shù)據(jù)集中的點(diǎn)的距離來(lái)為數(shù)據(jù)集中的點(diǎn)賦權(quán)值。當(dāng)某點(diǎn)離要預(yù)測(cè)的點(diǎn)越遠(yuǎn)，其權(quán)重越小，否則越大。一個(gè)比較好的權(quán)重函數(shù)如下：
該函數(shù)稱為指數(shù)衰減函數(shù)，其中k為波長(zhǎng)參數(shù)，它控制了權(quán)值隨距離下降的速率。
特征量標(biāo)準(zhǔn)化
數(shù)值計(jì)算是通過(guò)計(jì)算來(lái)迭代逼近的，如果特征量數(shù)量級(jí)相差太大，則很容易在運(yùn)算過(guò)程中丟失。
出于這樣的原因，我們需要通過(guò)預(yù)處理，讓初始的特征量具有同等的地位，才能讓機(jī)器學(xué)習(xí)算法更快地學(xué)習(xí)得到它們的權(quán)重θ，這個(gè)預(yù)處理的過(guò)程我們稱之為數(shù)據(jù)標(biāo)準(zhǔn)化（Normalization）
方法1：特征縮放
通過(guò)這個(gè)公式，我們可以將數(shù)據(jù)縮放為[-1,1]的范圍。
方法2：均值歸一化
吳恩達(dá)“機(jī)器學(xué)習(xí)”——學(xué)習(xí)筆記二
【機(jī)器學(xué)習(xí)】局部加權(quán)線性回歸
吳恩達(dá)《機(jī)器學(xué)習(xí)》課程學(xué)習(xí)筆記（三）—— 多元線性回歸與多項(xiàng)式回歸
