感知機(jī)

感知機(jī)

標(biāo)簽： 統(tǒng)計(jì)學(xué)習(xí)

目錄

[TOC]

模型

二分類的線性模型，屬于判別模型
??旨在求出將輸入空間進(jìn)行線性劃分的分離超平面。
??損失函數(shù)基于誤分類，利用梯度下降法求解目標(biāo)，從而獲得感知機(jī)模型，分為原始形式與對偶形式，是神經(jīng)網(wǎng)絡(luò)與支持向量機(jī)的基礎(chǔ)

定義


??w為權(quán)值（weight），b為偏置（bias），sign為符號函數(shù)

??模型解釋：線性方程
??對應(yīng)于輸入空間的一個(gè)超平面，位于該平面兩部分的點(diǎn)被分為兩類，又稱為分離超平面（separating hyperplane）

策略

選擇損失函數(shù)，一個(gè)自然選擇是誤分類點(diǎn)總數(shù)，但非參數(shù)w,b的連續(xù)可導(dǎo)函數(shù)，不易優(yōu)化。另一個(gè)選擇是誤分類點(diǎn)到超平米的總距離

??不考慮系數(shù)，得到損失函數(shù)（該函數(shù)同時(shí)也是感知機(jī)的經(jīng)驗(yàn)風(fēng)險(xiǎn)函數(shù)）

??感知機(jī)的策略就是，選取使損失函數(shù)最小的模型參數(shù)w,b

學(xué)習(xí)算法

采用隨機(jī)梯度下降法（stochastic gradient descent）

??兩個(gè)參數(shù)的梯度分別為

??選取一個(gè)誤分類點(diǎn)，對w,b進(jìn)行更新

??該算法有一個(gè)直觀解釋：當(dāng)一個(gè)樣本點(diǎn)被誤分類，則調(diào)整w,b的值，使分離超平面向該誤分類點(diǎn)的一側(cè)移動(dòng)，以減少該點(diǎn)與超平面的距離
??解不唯一，即依賴于初值，也依賴于迭代過程的點(diǎn)選擇順序

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請結(jié)合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡書系信息發(fā)布平臺，僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容