西瓜書擴(kuò)展_支持向量機(jī)_間隔與支持向量

二分類問題

這里我們考慮的是一個(gè)兩類的分類問題，數(shù)據(jù)點(diǎn)用x來表示，這是一個(gè)n維向量，而類別用y來表示，可以取+1或者-1，分別代表兩個(gè)不同的類：

? ??????????????????????????????????????????????????????y_{i}\left\{\begin{matrix}+1 \quad 紅色點(diǎn)\\ -1 \quad 藍(lán)色點(diǎn)\end{matrix}\right.

劃分超平面方程

一個(gè)線性分類器就是要在n維的數(shù)據(jù)空間中找到一個(gè)分離超平面，其方程可以表示為：

? ?????????????????????????????????????????????????????????? w^Tx+b=0

其中w為法向量（控制超平面的旋轉(zhuǎn)方向），b為截距（控制超平面離原點(diǎn)的位置）

我們令?f(x)=w^Tx+b，在進(jìn)行分類的時(shí)候，我們將數(shù)據(jù)點(diǎn)x代入 f(x) 中，如果得到的結(jié)果<0，則賦予其類別-1，如果>0則賦予類別+1：

幾何間隔

取任一樣本點(diǎn)x_{i}到超平面的垂直距離為γ，因向量w垂直于超平面，單位法向量為\frac{w}{||w||}。

我們有：x_{0}=x_{i}-γ\frac{w}{||w||}，且點(diǎn)x_{0}在超平面上，滿足f(x_{0})=0，代入超平面方程：

w^T(x_{i}-γ\frac{w}{||w||})+b=0；解得γ=\frac{w^Tx_{i}+b}{||w||}

如果樣本點(diǎn)x_{i}在分類+1這一側(cè)的話，距離為γ，如果在分類-1一側(cè)，距離表示為-γ。

如果分類正確，則y_{i}與w^Tx_{i}+b的符號(hào)一致（同正號(hào)或者同負(fù)號(hào)），把-γ的負(fù)號(hào)消去。

統(tǒng)一用γ表示任一樣本點(diǎn)到超平面的幾何距離：γ=y_{i}\frac{w^Tx_{i}+b}{||w||}或者γ=\frac{|w^Tx_{i}+b|}{||w||}

約束條件

我們希望樣本全部分類正確，并且分類間隔邊界(下圖虛線)上的樣本點(diǎn)為支持向量。

? ???????????????????????????????????????????\left\{\begin{matrix} w^Tx_{i}+b \geq +1, \quad y_{i}=+1\\ w^Tx_{i}+b \leq -1, \quad y_{i}=-1\end{matrix}\right.

如果分類正確，則y_{i}與w^Tx_{i}+b的符號(hào)一致（同正號(hào)或者同負(fù)號(hào)），上式可以合并為：

? ????????????????????????????????????????????????????????y_{i}(w^Tx_{i}+b)\geq1

最大化分類間隔

對(duì)數(shù)據(jù)點(diǎn)進(jìn)行分類的時(shí)候，當(dāng)它的間隔越大的時(shí)候，置信度就越好。于是，我們希望能夠最大化這個(gè)間隔。

支持向量x_{i}到劃分超平面的距離：

? ?????????????????????????????????????????????????γ=\frac{|w^Tx_{i}+b|}{||w||}=\frac{1}{||w||}

因劃分超平面是間隔的中軸線：

? ??????????????????????????????????????????????????????????????γ=\frac{2}{||w||}

我們希望最大間隔，并同時(shí)滿足于1.把兩個(gè)類正確給分開，2.分類間隔邊界上的樣本點(diǎn)為支持向量；這兩條約束：?

? ?????????????????????????????????????????????????????????????\underset{w,b}{\ max} \ \frac{2}{||w||}

? ??????????????????????????????s.t. \ y_{i}(w^Tx_{i}+b)\geq1,\quad i=1,2,...,n

注意最大化間隔，僅需最大化\ \frac{1}{||w||}，等價(jià)于最小化\ \frac{1}{2}||w||^2（我在這里加上了平方和系數(shù)，是為了以后進(jìn)行最優(yōu)化的過程中對(duì)目標(biāo)函數(shù)求導(dǎo)時(shí)比較方便，因?yàn)槲覀儾⒉魂P(guān)心最優(yōu)情況下目標(biāo)函數(shù)的具體數(shù)值）

? ?????????????????????????????????????????????????????????????\underset{w,b}{\ min} \ \frac{1}{2}||w||^2

? ?????????????????????????????????s.t. \ y_{i}(w^Tx_{i}+b)\geq1,\quad i=1,2,...,n

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容