- SVM是一種監(jiān)督學(xué)習(xí)方法，可以用來(lái)分類(lèi)，回歸，及異常檢測(cè)。
- 分類(lèi)器通過(guò)尋找合適的linear decision boundary（或hyperplane）來(lái)分類(lèi)所有數(shù)據(jù)。
- 最佳hyperplane擁有兩類(lèi)間的最大margin，同時(shí)數(shù)據(jù)被線(xiàn)性分割。
- SVM適用于
a. 只有兩類(lèi)的數(shù)據(jù)
b. 高維，非線(xiàn)性分割的數(shù)據(jù)
c. 需要簡(jiǎn)單的分類(lèi)器，解釋起來(lái)很簡(jiǎn)單，且結(jié)果準(zhǔn)確
- 一個(gè)問(wèn)題，當(dāng)數(shù)據(jù)是非線(xiàn)性可分時(shí)，怎么辦？
- 用kernel，將非線(xiàn)性可分?jǐn)?shù)據(jù)轉(zhuǎn)換成線(xiàn)性可分?jǐn)?shù)據(jù)；
具體說(shuō)，將低維數(shù)據(jù)轉(zhuǎn)成高維的線(xiàn)性可分?jǐn)?shù)據(jù) - 這也是設(shè)計(jì)非線(xiàn)性分類(lèi)器的技巧
- SVM優(yōu)點(diǎn)
- SVM訓(xùn)練相對(duì)簡(jiǎn)單，無(wú)本地優(yōu)化（neural network需要）
- non-linear SVM能夠檢測(cè)到數(shù)據(jù)之間更復(fù)雜的關(guān)系，且不需要很難得轉(zhuǎn)換；但與此同時(shí)，訓(xùn)練時(shí)間更長(zhǎng)；
- SVM有正則化參數(shù)，能避免overfit
- 高維空間有效
- 當(dāng)維度數(shù)大于樣本數(shù)時(shí)， 仍然有效；
- 使用了訓(xùn)練集的子集，在內(nèi)存上有效率
- SVM缺點(diǎn)
- 就分類(lèi)而言，SVM只能分兩類(lèi)，因此就多類(lèi)問(wèn)題而言，還要額外將多類(lèi)劃分成若干個(gè)兩類(lèi)；
- 與邏輯回歸分類(lèi)器不同，SVM不能直接給出概率估算；往往分類(lèi)問(wèn)題也需要此處的概率；
- 參數(shù)很難解釋
- 訓(xùn)練時(shí)間很長(zhǎng)
- 如何找到一個(gè)好的kernel很難
