機器學習算法_支持向量機SVM(2)

線性支持向量機

一、產(chǎn)生

通常在數(shù)據(jù)中有些特異點（outlier），將特異點去掉，剩下的大部分數(shù)據(jù)組成的集合是線性可分的。線性不可分意味著某些點(x_i,y_i)不滿足間隔大于或者等于的約束條件
尤爾小屋

解決辦法：

  • 對每個樣本點引入松弛變量\xi_i \geq 0，使得間隔加上松弛變量之后可以滿足大于等于1的約束條件，此時真正的約束條件變成：y_i(w \bullet x_i+b) \geq 1 - \xi_i，同時對每個松弛變量一個懲罰項C，此時目標函數(shù)從\frac{1}{2}||w||^2變成了\frac{1}{2}||w||^2+C\sum ^N_{i=1} \xi_i
  • 懲罰參數(shù)C越大，對誤差分類的乘法增大；反之C越小，對誤差分類的懲罰減小
  • 目標函數(shù)兩層含義
    • 使\frac{1}{2}||w||^2盡量小，也就是間隔盡量大
    • 誤分類點的個數(shù)盡量少，通過C進行調(diào)和

二、線性不可分模型支持向量機的原始問題

原始問題是凸二次規(guī)劃問題\mathop \min _{w,b,\xi}\frac{1}{2}||w||^2+C\sum ^N_{i=1} \xi_i

s.t. y_i(w \bullet x_i+b) \geq 1-\xi_i,i=1,2,...,N

\xi_i \geq 0, i=1,2,...,N

通過上述3式子可以求出w^*,b^*，從而得到分離超平面w^* \bullet x+b=0決策函數(shù)為f(x)=sign(w^* \bullet x+b)
這樣的模型稱之為訓練樣本不可分時的線性支持向量機。線性支持向量機包含線性可分支持向量機。

三、學習的對偶算法

上面3個式子的對偶問題是\mathop \min _\alpha \frac{1}{2}\sum^N_{i=1}\sum^N_{j=1}\alpha_i\alpha_jy_iy_j(x_i \bullet x_j)-\sum^N_{i=1}\alpha_i

s.t. \sum^N_{i=1}\alpha_iy_i=0

0\leq \alpha_i \leq C, i=1,2,...,N

原始最優(yōu)化問題的拉格朗日函數(shù)為L(w,b,\xi,\alpha,\mu)=\frac{1}{2}||w||^2+C\sum ^N_{i=1} \xi_i-\sum^N_{i=1}\alpha_i(y_i(w\bullet x_i+b)-1+\xi_i)-\sum^N_{i=1}\mu_i\xi_i其中\alpha_i \geq 0,\mu_i \geq 0

學習的對偶問題轉(zhuǎn)變成拉格朗日的極大極小值問題。

  • L函數(shù)分別對w,b,\xi求導，令導數(shù)為0，求出三個值
    • w=\sum^N_{i=1}\alpha_iy_ix_i
    • \sum^N_{i=1}\alpha_iy_i=0
    • C-\alpha_i-\mu_i=0
  • 再對\alpha求出極大值，可以得到對偶問題：P_{127}-P_{128}，求解出\alpha^*=(\alpha^*_1,\alpha^*_2,\alpha^*_3,...,\alpha^*_N)^T

四、對偶形式超平面和決策函數(shù)

分離超平面\sum^N_{i=1}\alpha^*_iy_i(x \bullet x_i)+b^*=0
決策函數(shù)為f(x)=sign(\sum^N_{i=1}\alpha^*_iy_i(x \bullet x_i)+b^*)

五、支持向量

軟間隔的支持向量x_i或者在間隔邊界上，或者在間隔邊界和分離超平面之間，或者在分離超平面的誤分一側(cè)

  • \alpha^*_i < C，則\xi_i=0，支持向量剛好落在了間隔邊界上
  • \alpha^*_i = C,0 < \xi_i < 1，則分類正確，支持向量位于間隔邊界和分離超平面之間
  • \alpha^*_i = C,\xi_i > 1，則x_i位于分離超平面誤分一側(cè)

線性支持向量機的三要素

  • 模型：分離超平面和決策函數(shù)
  • 學習策略：軟間隔最大化
  • 學習方法：凸二次規(guī)劃問題

合頁函數(shù)

線性支持向量機學習的另一種解釋為最小化目標函數(shù)\sum^N_{i=1}[1-y_i(w \bullet x_i+b)]_{+}+\lambda||w||^2上式中，第一項是經(jīng)驗損失或者稱之為經(jīng)驗風險，函數(shù)L(y(w \bullet x+b)=[1-y(w \bullet x+b)]_+稱之為合頁函數(shù)下標"+"表示如下取正值的函數(shù)
[z]_+=\begin{cases} z,\quad z > 0 \\ 0,\quad z \leq 0 \end{cases}

當樣本點被正確分類且函數(shù)間隔（確信度）y_i(w \bullet x_i+b)>1時，損失函數(shù)是0；否則是1-y_i(w\bullet x_i+b)。目標函數(shù)的第二項是系數(shù)為lambda的w的L_2范數(shù)，是正則化項。

最后編輯于 ：
?著作權歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時請結合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務。

相關閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容