如何通過對偶問題求解線性可分 SVM

我們最終是想要求出最大間隔超平面,

所以需要計算出約束條件下的 w和b 這兩個參數(shù),進而得到最大間隔超平面的表達式


求解方法是將原問題轉化為其對偶問題進行求解,

這個過程分為四步,

1. 首先原問題需要滿足強對偶性的三個條件

2. 將原問題轉化為拉格朗日函數(shù)

3. 求拉格朗日函數(shù)的下確界函數(shù)

4. 求這個下確界函數(shù)的極大值,即要對偶問題的最優(yōu)解


對于線性可分 SVM 來說,根據(jù)上面的四個步驟進行求解:

1. 首先它是符合強對偶的三個條件的,

2. 然后求出它的拉格朗日函數(shù)

3. 再求下確界函數(shù),方法是對W和b求偏導,令其等于零

4. 接著需要對下確界函數(shù)求極大值,需要將極大值問題轉化為極小值問題,用 SMO算法求出參數(shù)向量 alpha


5. 又因為 alpha 對應的(x,y)必然是支持向量,所以得出 b 的表達式

6. 至此 w 和 b 表達式都得到了,進而得到了最大分割超平面的表達式

7. 接著也就構造出了決策函數(shù)



求解方法是將原問題轉化為其對偶問題進行求解,這個過程分為四步:

1. 首先原問題需要滿足強對偶性的三個條件

2. 將原問題轉化為拉格朗日函數(shù)

3. 求拉格朗日函數(shù)的下確界函數(shù)

4. 求這個下確界函數(shù)的極大值,即要對偶問題的最優(yōu)解



對于線性可分 SVM 來說,根據(jù)上面的四個步驟進行求解:

1. 首先它是符合強對偶的三個條件的,

2. 然后求出它的拉格朗日函數(shù)

3. 再求下確界函數(shù),方法是對W和b求偏導,令其等于零

4. 接著需要對下確界函數(shù)求極大值,需要將極大值問題轉化為極小值問題,用 SMO算法求出參數(shù)向量 alpha



5. 又因為 alpha 對應的(x,y)必然是支持向量,所以得出 b 的表達式

6. 至此 w 和 b 表達式都得到了,進而得到了最大分割超平面的表達式

7. 接著也就構造出了決策函數(shù)


SMO算法:

?著作權歸作者所有,轉載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務。

相關閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容