感知機是SVM的基礎(chǔ)嘛，兩者都有線性二分類模型，感知機原理比較簡單，就是自變量是wx+b的符號函數(shù)，優(yōu)化函數(shù)就是所有誤分類點的幾何距離;SVM擴展就多一些，優(yōu)化函數(shù)是參數(shù)的L2范數(shù)，也就是結(jié)構(gòu)風(fēng)險最小化的，可以通過核函數(shù)把低維不可分?jǐn)?shù)據(jù)映射到高維，從而線性可分，所以SVM也有非線性分類器。
支持向量機(Support Vector Machine)是Cortes和Vapnik于1995年首先提出的，它在解決小樣本、非線性及高維模式識別中表現(xiàn)出許多特有的優(yōu)勢，并能夠推廣應(yīng)用到函數(shù)擬合等其他機器學(xué)習(xí)問題中[10]。
支持向量機方法是建立在統(tǒng)計學(xué)習(xí)理論的VC 維理論和結(jié)構(gòu)風(fēng)險最小原理基礎(chǔ)上的，根據(jù)有限的樣本信息在模型的復(fù)雜性（即對特定訓(xùn)練樣本的學(xué)習(xí)精度，Accuracy）和學(xué)習(xí)能力（即無錯誤地識別任意樣本的能力）之間尋求最佳折衷，以期獲得最好的推廣能力[14]（或稱泛化能力）。
Vapnik是統(tǒng)計機器學(xué)習(xí)的大牛，這想必都不用說，他出版的《Statistical Learning Theory》是一本完整闡述統(tǒng)計機器學(xué)習(xí)思想的名著。在該書中詳細的論證了統(tǒng)計機器學(xué)習(xí)之所以區(qū)別于傳統(tǒng)機器學(xué)習(xí)的本質(zhì)，就在于統(tǒng)計機器學(xué)習(xí)能夠精確的給出學(xué)習(xí)效果，能夠解答需要的樣本數(shù)等等一系列問題。與統(tǒng)計機器學(xué)習(xí)的精密思維相比，傳統(tǒng)的機器學(xué)習(xí)基本上屬于摸著石頭過河，用傳統(tǒng)的機器學(xué)習(xí)方法構(gòu)造分類系統(tǒng)完全成了一種技巧，一個人做的結(jié)果可能很好，另一個人差不多的方法做出來卻很差，缺乏指導(dǎo)和原則。
所謂VC維是對函數(shù)類的一種度量，可以簡單的理解為問題的復(fù)雜程度，VC維越高，一個問題就越復(fù)雜。正是因為SVM關(guān)注的是VC維，后面我們可以看到，SVM解決問題的時候，和樣本的維數(shù)是無關(guān)的（甚至樣本是上萬維的都可以，這使得SVM很適合用來解決文本分類的問題，當(dāng)然，有這樣的能力也因為引入了核函數(shù)）。
感知機是將線性二分類問題視為在特征空間中尋找切分面(線)，根據(jù)不同的初始值會有很多種結(jié)果，但是如何找到最優(yōu)的切分面？
最大化分類間隔
?直觀上最有效
?概率的角度，就是使得置信度最小的點置信度最大
?即使我們在選邊界的時候犯了小錯誤，使得邊界有偏移，仍 然有很大概率保證可以正確分類絕大多數(shù)樣本 然有很大概率保證可以正確分類絕大多數(shù)樣本 ?
很容易實現(xiàn)交叉驗證，因為邊界只與極少數(shù)的樣本點有關(guān) ?
有一定的理論支撐(如VC維) ?
實驗結(jié)果驗證了其有效性
SVM主要用在線性可分支持向量機，線性支持向量機，非線性支持向量機。線性支持向量機的思路是是的誤分類點最小。非線性支持向量機將原始數(shù)據(jù)向高維特征空間映射，使得數(shù)據(jù)在新空 間內(nèi)線性可分。?最初想解決線性不可分（非線性）問題的思路是向高維空間轉(zhuǎn)化，使其變得線 性可分而轉(zhuǎn)化最關(guān)鍵的部分就在于找到映射方法可是如何找 性可分。而轉(zhuǎn)化最關(guān)鍵的部分就在于找到映射方法?？墒?，如何找 到這個映射，沒有系統(tǒng)性的方法。而且高維空間和映射函數(shù)也并不 是唯一的，過于復(fù)雜，并且會導(dǎo)致維度災(zāi)難！ ?在線性SVM中的對偶形式中，目標(biāo)函數(shù)和分離超平面都只需要計算 內(nèi)積，只關(guān)心計算那個高維空間里內(nèi)積的值。不必顯式的給出映射 函數(shù)和值 函數(shù)和值。有沒有什么辦法只得到高維空間中向量的內(nèi)積呢？答案是核函數(shù)(Kernel Function)。
SVM(支持向量機）的一般流程：
選擇一個核函數(shù)K（用以計算樣本內(nèi)積）
?選擇一個C值(參數(shù)，控制軟間隔程度以及防止過擬合)
?利用訓(xùn)練樣本，求解二次規(guī)劃問題(可以使用大量軟件 ?利用訓(xùn)練樣本，求解二次規(guī)劃問題(可以使用大量軟件 包)
?根據(jù)支持向量與切分面構(gòu)造切分函數(shù)sign()
?根據(jù)切分函數(shù)，對測試樣本進行分類
SVM優(yōu)點
?有堅實理論基礎(chǔ)的新穎的小樣本學(xué)習(xí)方法 ?
平均而言，在各類應(yīng)用中表現(xiàn)最佳 ?結(jié)果穩(wěn)定、可重復(fù)，且不依賴于特定的優(yōu)化算法、數(shù)據(jù) ?
結(jié)果穩(wěn)定、可重復(fù)，且不依賴于特定的優(yōu)化算法、數(shù)據(jù) ?
使用凸優(yōu)化可以得到全局解，且使用2范數(shù)防止過擬合 ?
缺點 ?
?需要調(diào)節(jié)參數(shù)
核函數(shù)高維映射使得結(jié)果有時難以直觀理解 ?
有一定的計算復(fù)雜度
