支持向量機(jī)SVM（1）線性可分支持向量機(jī)、拉格朗日乘子法、KKT條件、SMO

支持向量機(jī)（SVM，Support Vecor Machine）是一種二分類算法，在集成學(xué)習(xí)和深度學(xué)習(xí)火起來(lái)之前支持向量機(jī)的使用非常廣泛，其分類效果好、適用性廣（線性、非線性都可用），功能真的是很棒棒，下來(lái)我們就來(lái)梳理一下支持向量機(jī)的原理。

1 支持向量機(jī)的原理

1）背景

回想一下之前講過(guò)的邏輯回歸和感知機(jī)，他們的目標(biāo)都是找到一個(gè)將線性可分的數(shù)據(jù)一分為二的決策超平面：

如上圖所示，決策超平面的一側(cè)為正樣本，另一側(cè)為負(fù)樣本，但是我們可以發(fā)現(xiàn)，滿足這個(gè)特性的決策超平面并不是唯一的，在有限的線性可分樣本中，正負(fù)樣本點(diǎn)之間的間隔使得不同的決策超平面存在，那么如果樣本點(diǎn)繼續(xù)增加，這些決策超平面中那個(gè)分類效果最好呢？也就是說(shuō)誰(shuí)的泛華效果最好呢？——這就是支持向量機(jī)要解決的主要問(wèn)題，也是支持向量機(jī)與感知機(jī)的主要區(qū)別。

2）支持向量

就上面的圖來(lái)說(shuō)，主觀上看哪個(gè)超平面的分類泛化能力最強(qiáng)呢？我們認(rèn)為紅色的那條可能會(huì)比較好，這條線距離最近的紅點(diǎn)區(qū)域和最近的藍(lán)點(diǎn)區(qū)域都比較遠(yuǎn)，無(wú)論是紅點(diǎn)還是藍(lán)點(diǎn)，再向靠近超平面的方向增加一些點(diǎn)都沒(méi)問(wèn)題，還可以被這條超平面分的比較開(kāi)，那兩條虛線就沒(méi)有這么好的效果，如下圖所示，我們新增幾個(gè)點(diǎn)，可以看出其分類效果的差別：

似乎可以得出這樣的結(jié)論：超平面離直線兩邊的數(shù)據(jù)的間隔越大，對(duì)訓(xùn)練集的數(shù)據(jù)的局限性或噪聲有最大的容忍能力，也就是所謂的魯棒性。

所以，如果所有的樣本點(diǎn)不只是可以被決策超平面分開(kāi)，還和超平面保持一定的距離間隔，那么這樣的分類超平面是更優(yōu)的，支持向量機(jī)就是要找到使這個(gè)間隔最大的決策超平面（即最大化下圖中的margin）。訓(xùn)練樣本中和這個(gè)超平面距離最近的樣本點(diǎn)被稱為支持向量，如下圖虛線所經(jīng)過(guò)的樣本點(diǎn)即為支持向量：

3）函數(shù)間隔、幾何間隔

最大化間隔的思想我們大概了解了，不過(guò)要最大化這個(gè)間隔首先得量化，怎么量化呢？

支持向量是距離分類超平面最近的樣本點(diǎn)，那么樣本點(diǎn)距離超平面的距離不就是支持向量與分類超平面的距離嗎？在前面的幾篇文章中我們也經(jīng)常提到樣本點(diǎn)到超平面的距離的度量，這里我們就稍微詳細(xì)點(diǎn)說(shuō)下函數(shù)間隔和幾何間隔。

函數(shù)間隔

在決策超平面??^????+??=0確定的情況下，|??^????+??|能夠表示點(diǎn)x到超平面的距離遠(yuǎn)近；??^????+??和y是否同號(hào)能夠表示分類是否正確，所以可用y(??^????+??)來(lái)表示分類的正確性及確定性，我們?cè)诹_輯回歸和感知機(jī)中就有類似的用法，這就是函數(shù)間隔的概念，定義函數(shù)間隔??′為：

\gamma^{'} = y(w^Tx + b)

幾何間隔

函數(shù)間隔雖然可以表示分類的正確性和確定性，但其缺點(diǎn)是只能在一個(gè)確定的超平面??^????+??=0下比較樣本點(diǎn)到超平面的相對(duì)距離，不同參數(shù)的超平面條件下計(jì)算的距離是不能比較大小的，比如超平面2??^????+2??=0與??^????+??=0是同一個(gè)超平面，樣本點(diǎn)與其真實(shí)距離沒(méi)有變化，但是函數(shù)距離卻翻了一倍，因此我們需要將參數(shù)加以約束，使其具備可比性，我們定義幾何間隔：

\gamma = \frac{y(w^Tx + b)}{||w||_2} = \frac{\gamma^{'}}{||w||_2}

可見(jiàn)，幾何間隔才是點(diǎn)到超平面的真正距離，上一篇感知機(jī)中的損失函數(shù)正是幾何間隔的形式，我們支持向量機(jī)也使用幾何間隔來(lái)表示支持向量到分類超平面的間隔，如上圖中的margin即為兩個(gè)支持向量與超平面的幾何間隔之和\frac{2}{||w||_2}。

4）線性可分支持向量機(jī)模型

綜合上述內(nèi)容可知，線性可分支持向量機(jī)可以表示為：

f(x)=sign(w^*x+b^*)

式中，w^*x+b^*=0為與支持向量間隔最大化的分類超平面，可見(jiàn)與感知機(jī)是基本一樣的，就多了個(gè)間隔最大化的要求。

2 支持向量機(jī)模型求解

1）目標(biāo)函數(shù)

通過(guò)上述已知，支持向量機(jī)是要最大化支持向量與決策超平面之間的幾何間隔，所以目標(biāo)函數(shù)為：

\max_{w,b} \;\; \gamma = \frac{y(w^Tx + b)}{||w||_2} \;\; s.t \;\; \frac{y_i(w^Tx_i + b)}{||w||_2} \geq \gamma ,i =1,2,...m

這個(gè)式子表示，最大化訓(xùn)練樣本與超平面的幾何間隔??，同時(shí)要保證約束條件每個(gè)訓(xùn)練樣本與超平面的幾何距離不小于??，目標(biāo)函數(shù)可以改寫(xiě)為：

\max_{w,b} \;\; \gamma=\frac{??′}{||w||_2}\;\; s.t \;\; y_i(w^Tx_i + b) \geq ??′ ,i =1,2,...m

一般我們都取函數(shù)間隔??′為1，為什么呢，因?yàn)?img class="math-inline" src="https://math.jianshu.com/math?formula=%F0%9D%9B%BE%E2%80%B2" alt="??′" mathimg="1">的取值不影響最優(yōu)化問(wèn)題的解，假設(shè)??′不為1，就相當(dāng)于w和b變?yōu)榱?img class="math-inline" src="https://math.jianshu.com/math?formula=%F0%9D%9B%BE%E2%80%B2w" alt="??′w" mathimg="1">和??′b，對(duì)目標(biāo)函數(shù)和約束不等式都沒(méi)有影響，都是可以約掉的，所以??′為1完全沒(méi)問(wèn)題，此時(shí)最優(yōu)化問(wèn)題變?yōu)椋?/p>

\max_{w,b} \;\; \frac{1}{||w||_2} \;\; s.t \;\; y_i(w^Tx_i + b) \geq 1 ,i =1,2,...m

可以轉(zhuǎn)變?yōu)椋?/p>

\min_{w,b} \;\; \frac{1}{2}||w||_2^2 \;\; s.t \;\; y_i(w^Tx_i + b) \geq 1 ,i =1,2,...m

（有的地方說(shuō)要最大化margin同時(shí)保證兩類的支持向量到超平面的距離相等，所以有max\frac{2}{||w||_2}，個(gè)人認(rèn)為這個(gè)解釋很牽強(qiáng)，明明優(yōu)化\gamma的過(guò)程中兩類就會(huì)互相博弈找到這個(gè)最優(yōu)的超平面）根據(jù)下面定義的描述發(fā)現(xiàn)，這個(gè)凸最優(yōu)化問(wèn)題是一個(gè)凸二次規(guī)劃問(wèn)題（convex quadratic programming）。

目標(biāo)函數(shù)和約束條件都為變量的線性函數(shù)——線性規(guī)劃問(wèn)題；
目標(biāo)函數(shù)為變量的二次函數(shù)和約束條件為變量的線性函數(shù)——二次規(guī)劃問(wèn)題；
目標(biāo)函數(shù)和約束條件都為非線性函數(shù)——非線性規(guī)劃問(wèn)題。

2）對(duì)偶問(wèn)題轉(zhuǎn)化及求解

在感知機(jī)中我們說(shuō)過(guò)，利用對(duì)偶問(wèn)題可以從不同角度看待同一個(gè)問(wèn)題，可能會(huì)引入新的參數(shù)來(lái)幫助我們優(yōu)化，在約束最優(yōu)化問(wèn)題中，常常利用拉格朗日對(duì)偶性(Lagrange duality)將原始問(wèn)題轉(zhuǎn)換為對(duì)偶問(wèn)題，通過(guò)解對(duì)偶問(wèn)題得到原始問(wèn)題的解。

首先我們的優(yōu)化目標(biāo)函數(shù)可以使用拉格朗日乘子法（詳細(xì)內(nèi)容見(jiàn)附錄）轉(zhuǎn)變成拉格朗日函數(shù)：

L(w,b,\lambda)= \frac{1}{2}||w||_2^2 +\sum_i^m \lambda_i [1-y_i(w^Tx_i + b)], \; \lambda_i\geq0

目標(biāo)函數(shù)的優(yōu)化轉(zhuǎn)變?yōu)椋?/p>

\min_{w,b}\;\max_{\lambda}\; L(w,b,\lambda)

這一步是什么意思呢，因?yàn)榧s束不等式1-y_i(w^Tx_i + b)\leq 0,\lambda_i\geq 0，所以加號(hào)后面整體小于等于0，只有當(dāng)其取最大值是為0，此時(shí)\max_{\lambda}\; L(w,b,\lambda)= \frac{1}{2}||w||_2^2，即為原目標(biāo)函數(shù)，這個(gè)變形稱為廣義拉格朗日函數(shù)的極小極大問(wèn)題，它與原問(wèn)題是完全等價(jià)的，在對(duì)偶性中，這個(gè)問(wèn)題被稱為原始問(wèn)題（Primal problem）。

這個(gè)優(yōu)化函數(shù)滿足KKT條件（詳細(xì)內(nèi)容見(jiàn)附錄），可以實(shí)現(xiàn)強(qiáng)對(duì)偶，即可以通過(guò)拉格朗日對(duì)偶（Lagrange duality）將其轉(zhuǎn)化為等價(jià)的對(duì)偶問(wèn)題：

\max_{\lambda}\;\min_{w,b}\; L(w,b,\lambda)

所以我們可以先求優(yōu)化函數(shù)極小值對(duì)應(yīng)的w和b，再求的極大值對(duì)應(yīng)的拉格朗日乘子系數(shù)\lambda：

\frac{\partial L}{\partial w} = 0 \;\rightarrow w+\sum_i^m \lambda_iy_ix_i=0 \;\rightarrow w = \sum_{i=1}^{m}\lambda_iy_ix_i

\frac{\partial L}{\partial b} = 0 \;\rightarrow \sum_i^m \lambda_iy_i=0

優(yōu)化函數(shù)取得極小值時(shí)，w可以用\lambda，而b無(wú)所謂，取什么值都不影響優(yōu)化函數(shù)取得極小值，所以可得：

\begin{align} J(\lambda)&=\min_{w,b}\; L(w,b,\lambda)\\&= \frac{1}{2}||w||_2^2 +\sum_i^m \lambda_i [1-y_i(w^Tx_i + b)]\\ &= \frac{1}{2}w^Tw-\sum_{i=1}^{m}\lambda_iy_iw^Tx_i - \sum_{i=1}^{m}\lambda_iy_ib + \sum_{i=1}^{m}\lambda_i\\ &= \frac{1}{2}\sum_{i=1}^{m}(\lambda_iy_ix_i)^T\sum_{i=1}^{m}\lambda_iy_ix_i-(\lambda_iy_ix_i)^T\sum_{i=1}^{m}\lambda_iy_ix_i- \sum_{i=1}^{m}\lambda_iy_ib + \sum_{i=1}^{m}\lambda_i\\ &=-\frac{1}{2}\sum_{i=1}^{m}(\lambda_iy_ix_i)^T\sum_{i=1}^{m}\lambda_iy_ix_i- b\sum_{i=1}^{m}\lambda_iy_i + \sum_{i=1}^{m}\lambda_i\\ &=-\frac{1}{2}\sum_{i=1}^{m}\lambda_iy_ix_i^T\sum_{i=1}^{m}\lambda_iy_ix_i+ \sum_{i=1}^{m}\lambda_i\\ &=-\frac{1}{2}\sum_{i=1,j=1}^{m}\lambda_iy_ix_i^T\lambda_jy_jx_j+ \sum_{i=1}^{m}\lambda_i \end{align}

J(\lambda)完全是關(guān)于參數(shù)\lambda的函數(shù)，因此：
\max_{\lambda}\;\min_{w,b}\; L(w,b,\lambda)=\max_{\lambda}\;J(\lambda)=\max_{\lambda}\;-\frac{1}{2}\sum_{i=1,j=1}^{m}\lambda_iy_ix_i^T\lambda_jy_jx_j+ \sum_{i=1}^{m}\lambda_i

s.t. \sum_i^m \lambda_iy_i=0,\;\lambda_i\geq0

轉(zhuǎn)化為：

\min_{\lambda}\;\frac{1}{2}\sum_{i=1,j=1}^{m}\lambda_iy_ix_i^T\lambda_jy_jx_j-\sum_{i=1}^{m}\lambda_i

s.t. \sum_i^m \lambda_iy_i=0,\;\lambda_i\geq0

求出上式取得極小值時(shí)對(duì)應(yīng)的\lambda向量就可以求出w和b了，這里一般需要用到SMO(Sequential Minimal Optimization，序列最小優(yōu)化算法) 算法，還是比較復(fù)雜的，下面來(lái)看看怎么做。

3）序列最小優(yōu)化算法（SMO）

上述最優(yōu)化問(wèn)題是要求解m個(gè)參數(shù)(λ_1,λ_2,λ_3,...,λ_m)，其他參數(shù)均為已知，有多種算法可以對(duì)上述問(wèn)題求解，比如之前介紹過(guò)的次梯度下降應(yīng)該就可以，但是算法復(fù)雜度均很大。序列最小最優(yōu)化算法(SMO)可以高效的求解上述SVM問(wèn)題，它把原始求解N個(gè)參數(shù)二次規(guī)劃問(wèn)題分解成很多個(gè)子二次規(guī)劃問(wèn)題分別求解，每個(gè)子問(wèn)題只需要求解兩個(gè)參數(shù)，方法類似于坐標(biāo)上升，節(jié)省時(shí)間成本和降低了內(nèi)存需求。每次啟發(fā)式選擇兩個(gè)變量進(jìn)行優(yōu)化，不斷循環(huán)，直到達(dá)到函數(shù)最優(yōu)值。

為什么每次優(yōu)化兩個(gè)參數(shù)呢？像坐標(biāo)下降不是每次只優(yōu)化一個(gè)參數(shù)嗎？因?yàn)槲覀冞@里有個(gè)約束， \sum_i^m \lambda_iy_i=0，如果認(rèn)為m-1個(gè)都是固定值，那么剩下的那個(gè)也就確定了，所以選擇每次優(yōu)化兩個(gè)。因?yàn)镾MO比較復(fù)雜，本篇文章就不細(xì)說(shuō)了，這里先這樣提一下SMO，大家知道上面的優(yōu)化是用SMO計(jì)算的就好。

使用SMO算法，我們得到了\max_{λ}\;J(λ)對(duì)應(yīng)的λ^*，所以：

w = \sum_{i=1}^{m}λ_i^*y_ix_i

因?yàn)閷?duì)支持向量有：y_i(w^Tx_i+b)=1，所以要根據(jù)這個(gè)等式解出b需要將支持向量樣本點(diǎn)代入，怎么獲得支持向量呢？KKT條件中的對(duì)偶互補(bǔ)條件λ_i(y_i(w^Tx_i+b)?1)=0，我們已經(jīng)求出了λ^*，如果λ_i>0則有y_i(w^Tx_i+b)=1 ，即樣本點(diǎn)為支持向量，求解b：

y_i^2(w^Tx_i+b)=y_i

b=y_i-w^Tx_i= y_i-\sum_{i=1}^{m}λ_i^*y_ix_i^Tx_i

顯然，支持向量大多不止一個(gè)，對(duì)線性可分支持向量機(jī)來(lái)說(shuō)，可以證明分類超平面是存在且唯一的，b的解也就只有一個(gè)，此時(shí)用不同的支持向量求出來(lái)的b都是相同的，如果數(shù)據(jù)有噪聲，并不是完全線性可分的，那么為了增加模型的魯棒性，b取所有值的平均值，即假設(shè)有n個(gè)支持向量，則：

b=\frac{1}{n}\sum_i^n (y_i-w^Tx_i)

至此，線性可分支持向量機(jī)的模型參數(shù)就求出來(lái)了，模型也就確定了。

4）線性可分支持向量機(jī)算法流程

綜合以上全部?jī)?nèi)容，可以得到線性可分支持向量機(jī)的算法流程：

  • 輸入：線性可分的樣本T=(x_1,y_1),(x_2,y_2),...,(x_m,y_m)，x為n維特征向量，y\in[+1,-1]；
  • 輸出：w,b，支持向量機(jī)模型f(x)=sign(w^Tx+b)。
  1. 確定目標(biāo)函數(shù)：

\min_{\lambda}\;\frac{1}{2}\sum_{i=1,j=1}^{m}\lambda_iy_ix_i^T\lambda_jy_jx_j-\sum_{i=1}^{m}\lambda_i

s.t. \sum_i^m \lambda_iy_i=0,\;\lambda_i\geq0

  1. 使用SMO優(yōu)化目標(biāo)函數(shù)，得到對(duì)應(yīng)的λ^*；
  2. 根據(jù)λ^*找到樣本中的共k=1個(gè)支持向量，計(jì)算參數(shù)w,b：

w^* = \sum_{i=1}^{m}λ_i^*y_ix_i

b^*=\frac{1}{k}\sum_i^k (y_i-w^Tx_i)

  1. 得到支持向量機(jī)模型f(x)=sign(w^{*T}x+b^*)。

3 線性可分支持向量機(jī)小結(jié)

線性可分支持向量機(jī)假設(shè)數(shù)據(jù)是線性可分的，這點(diǎn)跟感知機(jī)、邏輯回歸是一樣的，就是為了最大化間隔才使得線性可分SVM的理論復(fù)雜了這么多，不過(guò)對(duì)于非線性可分的數(shù)據(jù)還是沒(méi)法處理，怎么辦呢？我們接下來(lái)看一下基于軟間隔最大化的線性支持向量機(jī)（linear support vector machine）。


附錄

1）拉格朗日乘子法

拉格朗日乘子法是一種尋找多元函數(shù)在一組約束下的極值的方法，通過(guò)引入拉格朗日乘子，可將有d個(gè)變量與k個(gè)約束條件的優(yōu)化問(wèn)題轉(zhuǎn)換為具有d+k個(gè)變量的無(wú)約束優(yōu)化問(wèn)題。這種方法引入了一種新的標(biāo)量未知數(shù)，即拉格朗日乘子：它是約束方程的梯度的線性組合中，每個(gè)梯度向量的系數(shù)。

（1）無(wú)約束條件
我們一般對(duì)函數(shù)變量求導(dǎo)，令導(dǎo)數(shù)等于0的點(diǎn)認(rèn)為是極值點(diǎn)。

（2）等式約束條件
設(shè)目標(biāo)函數(shù)為f(x)，約束條件為h_i(x)：

min f(x) \;\\ s.t. \;\;h_i(x)=0,\;\;i=1,2,...,n

對(duì)于這種形式的優(yōu)化問(wèn)題我們一般使用拉格朗日乘子法（Lagrange multiplier），當(dāng)然也能用消元法，不過(guò)太麻煩了，先從幾何上理解拉格朗日乘子法（以二維為例），假設(shè)要求f(x,y)極值，約束條件h(x,y)=0，函數(shù)f(x,y)相當(dāng)于其在三維坐標(biāo)系下f(x,y)的等高線，h(x,y)=0是一條曲線，試想如果是等高線與曲線的相交點(diǎn)，說(shuō)明曲線還可以沿著等高線變大或變小的方向走下去，必然不是極值點(diǎn)，所以約束曲線h(x,y)=0與某一條等高線f(x,y)=a相切時(shí)，函數(shù)取得極值：

在切點(diǎn)處h(x,y)=0與f(x,y)的法向量共線，也就是函數(shù)f(x,y)與h(x,y)在切點(diǎn)處的梯度平行，有：

\nabla f=λ'\nabla h

因此滿足：

\begin{cases} \nabla f+λ\nabla h=0 \\ \\ h(x,y)=0 \end{cases}

即為約束下目標(biāo)函數(shù)的極值點(diǎn)，也可以寫(xiě)成我們常見(jiàn)的：

F(x,y)=f(x,y)+λh(x,y)

因?yàn)閷?duì)其求導(dǎo)并令導(dǎo)數(shù)為0可得：

\begin{cases} \frac{\partial F}{\partial (x,y)}=\nabla f+λ\nabla h =0 \\ \\ \frac{\partial F}{\partial λ}=h(x,y)=0 \end{cases}

跟上面的方程組是一樣的，這也是從代數(shù)上理解拉格朗日乘子法的方式，因此拉格朗日乘子法可以用來(lái)求多元函數(shù)在一組等式約束下的極值。

（3）不等式約束條件
設(shè)目標(biāo)函數(shù)f(x)，不等式約束為g(x)，等式約束條件h(x)：

min f(x) \;\\ s.t. \;\;h_i(x)=0,\;\;i=1,2,...,n \\ \;\;g_j(x)\leq0,\;\;j=1,2,...,m

在不等式約束下，極值點(diǎn)的位置可能有兩種情況，一種是極值點(diǎn)被不等式約束包含，如下左圖所示；另一種是極值點(diǎn)沒(méi)有被不等式約束包含，如下右圖所示：

對(duì)于第一種情況來(lái)說(shuō)，顯然滿足\nabla f=0即可，對(duì)于第二種情況，依然是等高線與不等式的邊界相切的點(diǎn)為極值點(diǎn)，可知：

\begin{cases} \nabla f+\mu\nabla h=0 \\ \\ h(x,y)=0 \end{cases}

看起來(lái)似乎跟等式約束的一樣，其實(shí)是有一些區(qū)別的，我們知道，等高線在切點(diǎn)處的梯度（也就是切線的法向量）的方向是向著等高線值增大的方向的，對(duì)于圖示的凸函數(shù)來(lái)說(shuō)，就是如圖所示向外的，而對(duì)于不等式g_j(x)\leq0，其梯度方向必然是相反朝向的，因?yàn)樘荻纫赶蛟鲩L(zhǎng)的方向，肯定會(huì)指向g_j(x)>0的方向了：

因此，等式約束的拉格朗日乘子λ沒(méi)有符號(hào)限制，而不等式約束的拉格朗日乘子\mu\geq 0，所以將初始求極值問(wèn)題轉(zhuǎn)化為：

\begin{cases} \nabla f+\mu\nabla h=0 \\ \\ h(x,y)=0 \\ \\ \mu\geq 0 \end{cases}

可以寫(xiě)成我們常見(jiàn)的：

F(x,y)=f(x,y)+\sum_i^nλ_ih_i(x,y)+\sum_j^m\mu_j g_j(x,y), \;\; \mu_j\geq 0

2）KKT條件

仍然是設(shè)目標(biāo)函數(shù)f(x)，不等式約束為g(x)，等式約束條件h(x)：

min f(x) \;\\ s.t. \;\;h_i(x)=0,\;\;i=1,2,...,n \\ \;\;g_j(x)\leq0,\;\;j=1,2,...,m

通過(guò)拉格朗日乘子法我們可以將求有約束的函數(shù)極值的問(wèn)題統(tǒng)一轉(zhuǎn)化為求解：

\begin{cases} \nabla f+\sum_i^nλ_i\nabla h_i+\sum_j^m\mu_j \nabla g_j=0 \\ \\ h_i=0,i=1,2,...,n \\ \\ g_j\leq 0,j=1,2,...,m \\ \\ \mu_i\geq 0\\ \\ \mu_j g_j= 0 \end{cases}

這個(gè)方程組也就是所謂的KKT條件，前面四項(xiàng)應(yīng)該都比較好理解，最后一個(gè)\mu_j g_j= 0是什么意思呢？在上一節(jié)不等式約束中，第一種情況不等式約束相當(dāng)于不影響極值點(diǎn)，所以\mu_j= 0 ， g_j\leq 0，在第二種情況中使用不等式的邊界，有\mu_j\geq 0 ， g_j= 0。



主要參考

《統(tǒng)計(jì)學(xué)習(xí)方法》李航
如何理解拉格朗日乘子法和KKT條件？
如何理解拉格朗日乘子法？

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書(shū)系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

友情鏈接更多精彩內(nèi)容