Kernel Method

非線性分類

輸入空間中有由x_1^2+x_2^2-1=0分割的數(shù)據(jù)集，圓內(nèi)為正例，圓外為負(fù)例，此時(shí)用超平面是無法正確分離數(shù)據(jù)集的。

定義映射\phi(x)=(x_1^2,x_2^2),在新空間中數(shù)據(jù)集可以用超平面x+y-1=0,x=x_1^2,y=x_2^2分離。

核函數(shù)

設(shè)X是輸入空間，H是特征空間。假設(shè)存在一個(gè)從X到H的映射\phi(x) ：X\rightarrow H,使得對(duì)所有的x,z\in X,函數(shù)K(x,z)滿足

K(x,z)=\phi(x)\cdot \phi(z),

則稱K(x,z)為核函數(shù)，\phi(x)為映射函數(shù)。

X \in R^2,H \in R^3,for \ x\in X, \phi(x)=(x_1^2,\sqrt 2 x_1x_2,x_2^2),則\\K(x,z)=\phi(x) \cdot \phi(z)=(x_1^2 z_1^2,2x_1z_1x_2z_2, x_2^2 z_2^2)=((x_1,x_2)\cdot (z_1,z_2))^2=(x\cdot z)^2

核方法

核技方法（核技巧）的思路是只定義核函數(shù)K(x,z),而不顯式地定義\phi(x)。因?yàn)檎业胶线m的\phi(x)比較難，找到合適的\phi(x)后，H空間通常是高維或者無窮維的，在H空間計(jì)算內(nèi)積很不容易。使用核技巧可以直接在X空間使用核函數(shù)計(jì)算H空間的內(nèi)積，避免這個(gè)問題。對(duì)于特定的問題，特征空間H和映射函數(shù)的\phi的取法并不是唯一的，即使對(duì)于同一個(gè)特征空間，映射函數(shù)的取法也可能有很多種。

正定核

通常所說的核函數(shù)是正定核函數(shù)，即對(duì)給出的核函數(shù)K(x,z)，一定存在映射\phi滿足k(x,z)=\phi(x)\cdot \phi(z).

可以通過下面的充要條件來判斷任意給出的函數(shù)是不是正定核函數(shù)：

正定核的充要條件：設(shè)K:X\times X\rightarrow R是對(duì)稱函數(shù)，則K(x,z)是正定核的充要條件是對(duì)任意x_i\in X,i=1,2,\ldots,m,K(x,z)對(duì)應(yīng)的Gram矩陣

K=[K(x_i,x_j)]_{m\times m}

是半正定矩陣。

Gram矩陣：n維歐式空間中的m個(gè)向量\alpha_1,\alpha_2,\ldots,\alpha_m的內(nèi)積所組成的矩陣

\left[\begin{matrix} \alpha_1\cdot \alpha_1 & \alpha_1\cdot \alpha_2 & \cdots & \alpha_1\cdot \alpha_m \\ \alpha_2\cdot \alpha_1 & \alpha_2\cdot \alpha_2 & \cdots & \alpha_2\cdot \alpha_m \\ \vdots & \vdots & \ddots & \vdots \\ \alpha_m\cdot \alpha_1 & \alpha_m\cdot \alpha_2 & \cdots & \alpha_m\cdot \alpha_m \\\end{matrix}\right]

稱為m個(gè)向量的Gram矩陣。

半正定矩陣：x^TAx\geq0或特征值全為非負(fù)數(shù)

常用核函數(shù)

多項(xiàng)式核函數(shù)

K(x,z)=(x\cdot z+1)^p

高斯核函數(shù)

K(x,z)=exp(\frac{||x-z||^2}{2\sigma^2})

字符串核函數(shù)

【待】

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡書系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 【Kernel Method】Kernel Method核方法介紹 引言 核方法是20世紀(jì)90年代模式識(shí)別與機(jī)器學(xué)...
    MapleLeaff閱讀 1,646評(píng)論 1贊 1
  • 引言 核方法是20世紀(jì)90年代模式識(shí)別與機(jī)器學(xué)習(xí)領(lǐng)域興起的一場技術(shù)性革命。其優(yōu)勢在于允許研究者在原始數(shù)據(jù)對(duì)應(yīng)的高維...
    JasonDing閱讀 4,604評(píng)論 0贊 10
  • 到底什么是kernel method？在一個(gè)空間內(nèi)，線性不可分，然后通過一個(gè)函數(shù)，映射到高維空間（不一定非得是高維...
    HelloOctopus閱讀 1,091評(píng)論 0贊 0
  • 你活了嗎？ 最近一直在被這個(gè)問題硌得慌！ 一來是因?yàn)楹茉缰熬椭雷罱K都是灰后一缽?fù)? 二則是這幾個(gè)月明顯覺得日子...
    女俠K的解憂年畫鋪閱讀 533評(píng)論 0贊 0

友情鏈接更多精彩內(nèi)容