上節(jié)課學(xué)到：
將求解超平面的問(wèn)題轉(zhuǎn)化為如下問(wèn)題
圖片.png
引入
拉格朗日乘子法
(求解有約束條件下的最優(yōu)化問(wèn)題的算法)
拉格朗日函數(shù)
拉格朗日函數(shù)
由于：
圖片.png
所以：
圖片.png
因此，原問(wèn)題為極小極大問(wèn)題：
圖片.png
原問(wèn)題的對(duì)偶問(wèn)題，是極大極小問(wèn)題：
圖片.png
由于約束條件是線(xiàn)性的，而目標(biāo)函數(shù)是凸函數(shù)（二次），所以對(duì)偶問(wèn)題的解就是原問(wèn)題的解，這個(gè)在凸優(yōu)化部分有證明，這里先留下疑問(wèn)~
現(xiàn)在求解以上問(wèn)題，首先確定大致思路如下：
- 先求最小問(wèn)題，L(w, b, a)，分別對(duì)w和b求偏導(dǎo)，并令偏導(dǎo)等于0，得到一個(gè)w = balabala 和一個(gè) b = balabala 的式子
- 將該式子代回 L(w, b, a)，會(huì)將w和b消掉（一定會(huì)？），這樣就得到一個(gè)關(guān)于a的式子——L(a)
- 對(duì)L(a)求關(guān)于a的導(dǎo)數(shù)，就可以得到解
求解步驟
- 將拉格朗日函數(shù) L(w, b, a) 分別對(duì)w和b求偏導(dǎo)，并令偏導(dǎo)等于0：
圖片.png
圖片.png
- 代入w和b，計(jì)算拉格朗日的對(duì)偶函數(shù)
