SVM

• SVM有很多種實現(xiàn)，本文只關(guān)注其中最流行的一種實現(xiàn)，即序列最小優(yōu)化（SMO）算法。
• 支持向量機是一種分類器，叫“機”是因為它會產(chǎn)生一個二值決策結(jié)果
• 當(dāng)然，基于SVM構(gòu)建多類別分類器也有很多研究和對比，這個可以網(wǎng)上查資料了解

支持向量

• 拿二維數(shù)據(jù)散點舉例，如果很容易在坐標(biāo)圖畫出一條直線將兩組數(shù)據(jù)點分開，這組數(shù)據(jù)就被稱為線性可分
• 上面說的直線稱為分隔超平面(數(shù)據(jù)大多是多維的)
• 支持向量，就是離分隔超平面最近的那些點

尋找最大間隔

• 一旦找到具有最小間隔的數(shù)據(jù)點（支持向量），我們就需要對該間隔最大化
• 優(yōu)化目標(biāo)函數(shù)
• 支持向量的數(shù)目存在一個最優(yōu)值，如果支持向量太少，就可能得到一個很差的決策邊界；向量太多，就相當(dāng)于利用了整個數(shù)據(jù)集來分類，這種分類就成為K近鄰算法了

在復(fù)雜數(shù)據(jù)上應(yīng)用核函數(shù)

• 利用核函數(shù)將數(shù)據(jù)映射到高維空間
• 通過轉(zhuǎn)換，將低維空間的非線性問題轉(zhuǎn)為高維空間的線性問題

• 徑向基核函數(shù)，是SMV常用的一個核函數(shù)

  
  
  徑向基核函數(shù)