算法基本功：SVM part4 SVM與對偶問題 2019-03-03

上章講了對偶問題一般情況，引入到SVM中。

SVM 對偶問題表達式推導：

由上一章節(jié)知道：

f* \geq min_{x\in C} L(x,u,v) \geq min_{x} L(x,u,v) := g(u, v)?# 直白講即： 原問題的下界為其對偶問題； g(u,v)為對偶函數(shù)。

故svm對偶問題，即最大化下界函數(shù)，為：

max_{\alpha } g(\alpha ) = max_{a_{i}\geq 0} min_{w,b} L(w,b,\alpha )， # 最大化下界函數(shù)。

順著推：

?min_{w,b}L(w,b, x)?=??\Sigma _{i}\alpha _i - \frac{1}{2} \Sigma_i \Sigma_j\alpha_i\alpha_jx_ix_jy_iy_j ? # 利用關于W,b 的偏導數(shù)為0 得到極值點；得到的兩個條件帶回L(w,b,x)，?

故順著推，對偶問題進一步化簡為：

max_{a}\Sigma _{i}\alpha _i - \frac{1}{2} \Sigma_i \Sigma_j\alpha_i\alpha_jx_ix_jy_iy_j

subject to:

a_{i} \geq 0，

\Sigma_i\alpha _iy_i = 0?

下一篇 SMO

最后編輯于 ：
?著作權歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時請結合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務。

相關閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容