我們最終是想要求出最大間隔超平面,
所以需要計算出約束條件下的 w和b 這兩個參數(shù),進而得到最大間隔超平面的表達式
求解方法是將原問題轉化為其對偶問題進行求解,
這個過程分為四步,
1. 首先原問題需要滿足強對偶性的三個條件
2. 將原問題轉化為拉格朗日函數(shù)
3. 求拉格朗日函數(shù)的下確界函數(shù)
4. 求這個下確界函數(shù)的極大值,即要對偶問題的最優(yōu)解
對于線性可分 SVM 來說,根據(jù)上面的四個步驟進行求解:
1. 首先它是符合強對偶的三個條件的,
2. 然后求出它的拉格朗日函數(shù)
3. 再求下確界函數(shù),方法是對W和b求偏導,令其等于零
4. 接著需要對下確界函數(shù)求極大值,需要將極大值問題轉化為極小值問題,用 SMO算法求出參數(shù)向量 alpha
5. 又因為 alpha 對應的(x,y)必然是支持向量,所以得出 b 的表達式
6. 至此 w 和 b 表達式都得到了,進而得到了最大分割超平面的表達式
7. 接著也就構造出了決策函數(shù)
求解方法是將原問題轉化為其對偶問題進行求解,這個過程分為四步:
1. 首先原問題需要滿足強對偶性的三個條件
2. 將原問題轉化為拉格朗日函數(shù)
3. 求拉格朗日函數(shù)的下確界函數(shù)
4. 求這個下確界函數(shù)的極大值,即要對偶問題的最優(yōu)解


對于線性可分 SVM 來說,根據(jù)上面的四個步驟進行求解:
1. 首先它是符合強對偶的三個條件的,
2. 然后求出它的拉格朗日函數(shù)
3. 再求下確界函數(shù),方法是對W和b求偏導,令其等于零
4. 接著需要對下確界函數(shù)求極大值,需要將極大值問題轉化為極小值問題,用 SMO算法求出參數(shù)向量 alpha


5. 又因為 alpha 對應的(x,y)必然是支持向量,所以得出 b 的表達式
6. 至此 w 和 b 表達式都得到了,進而得到了最大分割超平面的表達式
7. 接著也就構造出了決策函數(shù)

SMO算法:
