Kernel Ⅰ

對于上圖的數(shù)據(jù)集，我們之前使用的是多項式模型來對數(shù)據(jù)集進行分類操作。我們可能使用的模型為θ₀ + θ₁x₁ + θ₂x₂ + θ₃x₁x₂ + θ₄x₁² + θ₅x₂² + ...

對于該模型當(dāng)θ₀ + θ₁x₁ + θ₂x₂ + θ₃x₁x₂ + θ₄x₁² + θ₅x₂² + ... ≥ 0時，我們可以預(yù)測y = 1。因此，該模型的假設(shè)函數(shù)為：

上述模型中，我們使用高階項來更好地擬合數(shù)據(jù)集。但我們通常不清楚這些高階項是否滿足我們的需求，而且高階項其計算量過大。因此，我們尋求使用新的特征變量來替代這些高階項。例如：令f₁ = x₁，f₂ = x₂，f₃ = x₁x₂，f₄ = x₁²，f₅ = x₂²，...，從而我們的模型變?yōu)棣?sub>0 + θ₁f₁ + θ₂f₂ + θ₃f₃ + θ₄f₄ + θ₅f₅ + ...

除此之外，我們可以利用核函數(shù)（Kernel Function）來計算出新的特征。

給定一個訓(xùn)練實例x，我們利用x的各個特征與我們預(yù)先選定的地標（landmark）l⁽¹⁾，l⁽²⁾，l⁽³⁾距離大小來構(gòu)造新的特征變量f₁，f₂，f₃。

通過使用核函數(shù)我們可以構(gòu)建新的特征變量。

圖中similarity(x, l)函數(shù)即為高斯核函數(shù)（Gaussian Kernel Function）。

其中

表示實例x中所有特征與地標l⁽¹⁾之間的距離的和。因此，我們以f₁為例，將其改寫為：

我們根據(jù)x與地標距離的大小，可得出如下結(jié)論：

其中，關(guān)于σ²的取值，我們可以根據(jù)下圖得出相關(guān)結(jié)論。

即σ²的值越大，特征變量f_i的變化曲線就越平滑，模型出現(xiàn)低方差高偏差問題；σ²的值越小，特征變量f_i變化曲線就越陡峭，模型出現(xiàn)高方差低偏差問題。

假設(shè)對于下圖數(shù)據(jù)集，我們使用的模型為θ₀ + θ₁f₁ + θ₂f₂ + θ₃f₃，當(dāng)其大于等于零時，我們可以預(yù)測y = 1，其中θ₀ = -0.5，θ₁ = 1，θ₂ = 1，θ₃ = 0。

圖中紫紅色x與地標l⁽¹⁾的距離小，因此我們可以認為f₁ ≈ 1；而x與地標l⁽²⁾和l⁽³⁾距離較大，我們可以認為f₂ ≈ 0，f₃ ≈ 0。從而我們可以計算出θ₀ + θ₁f₁ + θ₂f₂ + θ₃f₃ = 0.5 ≥ 0，因此我們可以預(yù)測在紫紅色x處y = 1。同理，我們可以預(yù)測天藍色x處y = 0，綠色x處y = 1。因此，我們可以畫出紅色線條表示的判定邊界，其內(nèi)的我們都可以預(yù)測y = 1，其外則y = 0。

Kernel Ⅱ

給定一個數(shù)據(jù)集為(x⁽¹⁾, y⁽¹⁾)，(x⁽²⁾, y⁽²⁾)，···，(x^(m), y^(m))，我們令l⁽¹⁾ = x⁽¹⁾，l⁽²⁾ = x⁽²⁾，···，l^(m) = x^(m)。通常我們利用上述方法選擇相應(yīng)的地標，然后我們再利用核函數(shù)構(gòu)建新的特征變量f₁，f₂，···，f_m。因此，我們可將代價函數(shù)J(θ)改寫為：