03 SVM - KKT條件

高中距離知識(shí)回顧

點(diǎn)到直線/平面的距離公式：

1、假定點(diǎn)p(x0,y0)，平面方程為f(x,y)=Ax+By+C，那么點(diǎn)p到平面f(x)的距離為：

點(diǎn)到直線/平面的距離公式

2、從三維空間擴(kuò)展到多維空間中，如果存在一個(gè)超平面f(X)=θX+b; 那么某一個(gè)點(diǎn)X0到這個(gè)超平面的距離為:

點(diǎn)到超平面距離

二范數(shù)： ||θ||₂ = √ (θ₁² + θ₂² + ... + θ_n²)

參考文獻(xiàn)：https://wenku.baidu.com/view/d26d2ba39e31433239689374.html

感知器模型

感知器算法是最古老的分類算法之一，原理比較簡(jiǎn)單，不過模型的分類泛化能力比較弱，不過感知器模型是SVM、神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)等算法的基礎(chǔ)。

感知器的思想很簡(jiǎn)單：比如有很多的學(xué)員，分為男學(xué)員和女學(xué)員，感知器模型就是試圖找到一條直線，能夠把所有的男學(xué)員和女學(xué)員分隔開，如果是高維空間中，感知器模型尋找的就是一個(gè)超平面，能夠把所有的二元類別分割開。感知器模型的前提是：數(shù)據(jù)是線性可分的。

感知器簡(jiǎn)單示例

解區(qū) 和 余量 的概念：

解區(qū)和余量

對(duì)于m個(gè)樣本，每個(gè)樣本n維特征以及一個(gè)二元類別輸出y，如下：

目標(biāo)是找到一個(gè)超平面，即：

讓一個(gè)類別的樣本滿足: θX>0 ；另外一個(gè)類別的滿足: θX<0；感知器模型為：

感知器模型

正確分類：yθx>0，錯(cuò)誤分類：yθx<0；所以我們可以定義我們的損害函數(shù)為：
期望使分類錯(cuò)誤的所有樣本(m條樣本)到超平面的距離之和最小。

因?yàn)榇藭r(shí)分子和分母中都包含了θ值，當(dāng)分子擴(kuò)大N倍的時(shí)候，分母也會(huì)隨之?dāng)U大，也就是說分子和分母之間存在倍數(shù)關(guān)系，所以可以固定分子或者分母為1，然后求另一個(gè)即分子或者分母的倒數(shù)的最小化作為損失函數(shù)，簡(jiǎn)化后的損失函數(shù)為（分母為1）:

文獻(xiàn)中意思是找到一條θ的平方和=1的函數(shù)。 而我的理解是最后θ的平方和是一個(gè)定值，所以在計(jì)算損失函數(shù)的時(shí)候可以忽略不計(jì)。

分析公式的推導(dǎo)：

公式推導(dǎo)

使用梯度下降法對(duì)損失函數(shù)求解，不過由于這里的m是分類錯(cuò)誤的樣本點(diǎn)集合，不是固定的，所以我們不能使用批量梯度下降法(BGD)求解，只能使用隨機(jī)梯度下降(SGD)或者小批量梯度下降(MBGD)；一般在感知器模型中使用SGD來求解。

感知器求SGD公式

分析SGD求解感知器的步驟:

分析步驟