logistic 回歸

基本理論

logistic回歸的總體思路：線性回歸→(激活函數(shù))→線性分類

激活函數(shù)即sigmoid函數(shù)，即

logistic回歸模型表達式：

其中?w^T=[w_{1},w_{1},...,w_{n}, ] ，n為特征的個分量（維度）

logistic回歸模型只做二分類時，可以看出：

將p(y=1|x)和p(y=0|x)寫在同一個式子，為：

通常用最大似然估計法，對logistic模型中的參數(shù)進行估計，假設(shè)有N個已知標(biāo)簽的樣本[(x_{1} ,y_{1}),(x_{2} ,y_{2}),...,(x_{N} ,y_{N})]即：

可以看出其實對參數(shù)w進行最大似然估計等價于對交叉熵做最小化


擴展

現(xiàn)在再聊聊聊為什么logistic回歸明明是分類模型但是卻叫回歸：

1.正如開頭所說的logistic回歸用回歸的思路解決分類問題

2.log\frac{p_{1} }{p_{0}} =w^T x，從這個角度看其實logistic回歸是廣義的線性模型

3.logistic回歸最早是統(tǒng)計學(xué)家David Cox在1958年的《二元序列的回歸分析》中提出，當(dāng)時的回歸概念和現(xiàn)在有點差異，“回歸”這個名字一直沿用至今


將logistic回歸應(yīng)用至多分類：

將logistic回歸應(yīng)用至多分類常用的方法是多項邏輯回歸(Softmax Regrsesion)

Softmax回歸是logistic回歸的一般化，適用于K分類的問題，第K類的參數(shù)為向量\theta _k,組成的二維矩陣\theta _{k*n}, n為特征的n個分量（維度）

Softmax回歸概率函數(shù)為:

從這個形式，可以從感性的認(rèn)識看出：Softmax回歸和logistic回歸都是分母是各個類別的和，而分子是特定類別的大小。也就是說Softmax回歸是logistic回歸的一般化。

證明當(dāng)類別數(shù)K=2時，Softmax回歸就是logistic回歸

當(dāng)K=2時，有：

利用參數(shù)冗余的特點，將所有參數(shù)都減去\theta _1，則上式改寫為：

其中\theta =\theta _2-\theta _1

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容