七、SVM的軟間隔模型算法
輸入線性可分的m個(gè)樣本數(shù)據(jù){(x1,y1),(x2,y2),...,(xm,ym)}，其中x為n維的特征向量，y為二元輸出，取值為+1或者-1；SVM模型輸出為參數(shù)w、b以及分類決策函數(shù)。
1、選擇一個(gè)懲罰系數(shù)C>0，構(gòu)造約束優(yōu)化問題；
構(gòu)造約束優(yōu)化問題
2、使用SMO算法求出上式優(yōu)化中對(duì)應(yīng)的最優(yōu)解β*；
3、找出所有的支持向量集合S; 其實(shí)每一個(gè)支持向量對(duì)應(yīng)的b都是相等的，所以無需考慮所有的支持向量先求和再平均，求一個(gè)即可。
支持向量幾何S
4、更新參數(shù)w、b的值；
更新 w 、 b
5、構(gòu)建最終的分類器
構(gòu)建最終的分類器
八、SVM的軟間隔模型總結(jié)
1、可以解決線性數(shù)據(jù)中攜帶異常點(diǎn)的分類模型構(gòu)建的問題；
2、通過引入懲罰項(xiàng)系數(shù)(松弛因子)，可以增加模型的泛化能力，即魯棒性 (使模型不會(huì)去迎合異常值)；
3、如果給定的懲罰項(xiàng)系數(shù)越小，表示在模型構(gòu)建的時(shí)候，就允許存在越多的分類錯(cuò)誤的樣本， 也就表示此時(shí)模型的準(zhǔn)確率會(huì)比較低；如果懲罰項(xiàng)系數(shù)越大，表示在模型構(gòu)建的時(shí)候，就越不允許存在分類錯(cuò)誤的樣本，也就表示此時(shí)模型的準(zhǔn)確率會(huì)比較高。
