無論之前的軟間隔還是硬間隔模型，都是針對SVM線性可分模型而言的。
軟間隔模型和硬間隔模型的損失函數一樣，只是多了兩個條件。
軟間隔并沒有真正解決線性不可分的問題，只是防止模型過擬合，忽略了異常值罷了。
05 SVM - 支持向量機 - 概念、線性可分
06 SVM - 線性可分SVM算法和案例
07 SVM - 軟間隔模型
08 SVM - 軟間隔模型算法流程
九、線性不可分問題的思路
不管是線性可分SVM還是加入懲罰系數后的軟間隔線性可分SVM，其實都要求數據本身是線性可分的。
對于完全不可以線性可分的數據，這兩種算法模型就沒法解決這個問題了。如下圖：在二維平面上，我們無法找到一條直線完美分割叉叉和圈圈。
但是我們可以將二維的數據映射到三維的空間中，如右圖所示。通過在三維空間中尋找一個曲面，在更高的維度上解決低維度無法直接線性分割的問題。
多項式回歸的回顧
在線性回歸中，我們可以通過多項式擴展將低維度的數據擴展成為高維度的數據，從而可以使用線性回歸模型來解決問題。也就是說對于二維空間中不是線性可分的數據，將其映射到高維空間中后，變成了線性可分的數據。
結合多項式回歸在處理非線性可分數據時候的作用，在SVM的線性不可分的數據上，如果將數據映射到高維空間中，那么數據就會變成線性可分的，從而就可以使用線性可分SVM模型或者軟間隔線性可分SVM模型。
也就是說，對于線性不可分SVM模型來講，重點在于低維特征數據到高維特征數據之間的映射。
十、線性不可分SVM
定義一個從低維特征空間到高維特征空間的映射函數Ф，非線性可分SVM的優(yōu)化目標函數：
可以看到的是，只需要將原來的低維空間中的兩個向量的點積轉換為高維空間中兩個向量的點積即可。
看似很美好，但問題來了...
這樣一來問題就解決了嗎？似乎是的：拿到非線性數據，就找一個映射，然后一股腦把原來的數據映射到新空間中，再做線性 SVM 即可。不過事實上沒有這么簡單！
其實剛才的方法稍想一下就會發(fā)現有問題：在最初的例子里做了一個二階多項式的轉換，對一個二維空間做映射，選擇的新空間是原始空間的所有一階和二階的組合，得到了5個維度；
如果原始空間是三維，那么我們會得到9維的新空間；如果原始空間是n維，那么我們會得到一個n(n+3)/2維的新空間；這個數目是呈爆炸性增長的，這給計算帶來了非常大的困難，而且如果遇到無窮維的情況，就根本無從計算。
下一章，我們將用核函數來解決這個問題。
10 SVM - 核函數
