1.如何為一個訓練集找到可以劃分不同類別樣本的劃分超平面
? ? ? ? 劃分超平面那可以通過一個線性方程來描述
? ? ? ? 使劃分超平面的劃分結(jié)果正確的訓練樣例稱為 支持向量
? ? ? ? 兩個異類（超平面兩邊的）支持向量（訓練樣例）到超平面的距離之和為 間隔
找到使訓練樣本具有最大間隔的劃分超平面，也就是找到滿足條件的參數(shù)w b，使間隔最大
2
訓練完成后只需保留支持向量（被正確劃分的向量）
對偶問題
3.如何處理非線性問題
1）高維映射
為了簡化高維映射后對偶問題的求解，我們構(gòu)造一個核函數(shù)
2）
為劃分超平面限定一個模型
X是多個不同屬性的值構(gòu)成的向量
W是為每個屬性賦予的權(quán)重值所構(gòu)成的向量
b為位移項，決定了超平面與原點之間的距離
所以這個超平面可擴展為
在能將訓練樣本分類正確的前提下找到對訓練樣本局部擾動容忍性(最魯棒)的超平面
我們需要運算一個條件極值
當這個超平面使各類訓練樣本集到它的距離之和最大時，該超平面作為閾值最合適，但為了使樣本被正確分類我們還需要一個約束條件。
樣本空間中任意點到超平面的距離可由平面內(nèi)點到直線的距離公式推廣而來
分母為向量w的模
我們?nèi)藶橐?guī)定被劃分為正類的標志值為1，負類為-1
所以兩個異類支持向量到超平面的距離和
被劃分正確的訓練樣本滿足
(一個訓練集線性可分）
當我們令
該目標超平面滿足條件
為了方便計算，等價于
（svm的基本型）
求解這個基本型可得到滿足條件的參數(shù)w和b，即正確且唯一的模型
二次規(guī)劃：目標函數(shù)二次項，限制條件一次項
而svm的基本型很明顯就是一個二次規(guī)劃問題，我們采用拉格朗日乘子法求解
因此我們可以得到關系式
把關系式代入原拉格朗日函數(shù)
因此求解原問題就變成了求解對偶問題
由于原問題有不等式約束，所以其對偶問題需要增加KKT條件
顯然，這個條件的解為
通用的二次規(guī)劃算法不夠高效，在這里我們
采用SMO：先固定兩個乘子之外的所有參數(shù)，然后求這兩個乘子上的極值.為什么是兩個而不是一個，因為我們之前計算出 當原函數(shù)值最大時所有乘子和其對應標志值的乘積之和為0，所以如果每次選擇一個作為變量，則這個乘子可由其他已經(jīng)被固定的乘子導出。
如何選取這兩個參數(shù)
直觀來看，KKT 條件違背的程度越大，則 變量更新后可能導致的目標函數(shù)值減幅越大.也就是逼近解的速度越快，
用約束條件
消去其中一個變量，得到一個關于ai的單變量二次規(guī)劃問題，求解得到ai aj
處理非線性問題
如果樣本空間非線性可分，則svm基本型的限制條件不成立
將樣本高維映射可使樣本在這個特征空間內(nèi)線性可分(降維打擊）
例如：
映射后的模型可表示為
例如：
而我們要找的超平面則也從二維變成五維
針對處理非線性問題改造svm基本型
同理可得其對偶問題
為了簡化運算，我們用核函數(shù)替換
核函數(shù):用一個函數(shù)通過低維的向量值直接計算出高維向量的內(nèi)積 而不需要知道高維向量的具體形態(tài)
核函數(shù)使高維映射又變回低維運算
怎么確定核函數(shù)?
核函數(shù)成立的充要條件：
1.可替換
2.半正定
常用的核函數(shù)
由于在現(xiàn)實任務 中 往往很難確定合適的核函數(shù)使得訓 練樣本在特征空 間 中線性可分;退一步說，
即使恰好找到了 某個核函數(shù)使訓 練集在特征空 間中 線性可分?也很難斷 定這個 貌似線性可分的 結(jié)果不是由于過擬合所造成的
所以我們允許支持向量機在一些樣本上出錯.
這種不要求所有樣本被正確分類的向量機形式被稱為軟間隔，即不滿足約束
因此我們原來構(gòu)造的拉格朗日函數(shù)就不適用，但為了使優(yōu)化目標變?yōu)?在最大化間隔的同時，不滿足約束的樣本也要盡可能少，我們將原來的條件函數(shù)映射成一個損失函數(shù)，使其大小與不被正確分類的標志數(shù)量成正比
因此優(yōu)化目標可寫為
顯然，求解該函數(shù)需要綜合考慮間隔大，出錯少兩個條件，分別稱為結(jié)構(gòu)風險(間隔）和經(jīng)驗風險（誤差）
為了易求解，我們通常采用數(shù)學性質(zhì)更好的函數(shù)替代，稱為"替代損失"
被劃分錯誤的樣本距離超平面越遠 損失函數(shù)的自變量z越小，1-z越大
這個約束條件由損失函數(shù)的定義推導而來
這同樣是一個二次規(guī)劃問題，同理可得到它的對偶問題及KKT條件
由KKT條件用同樣的方法可推出軟間隔支持向量機的 最終模型僅與支持向量有關。
同樣用smo求解得到超平面
優(yōu)化目標由間隔大小和誤差程度構(gòu)成，可寫為更一般的形式
稱為正則化問題
支持向量回歸
假設我們能容忍 f(x) 與 y之間最多有 一定 的偏差，即僅當 f(x) 與 y 之間的差別絕對值大于 E 時才計算損 失
用不敏感損失函數(shù)衡量損失程度，SVR 問題可形式化為
引入松弛變量
同樣用拉格朗日乘子法得到對偶問題和其KKT條件
由求偏導得到的關系式可將超平面擴展為
考慮上面提到的非線性可分情況下的特征映射形式，則表示為
I
）
核方法
