邏輯回歸模型

1 概述

????????邏輯斯蒂回歸，雖然這個算法從名字上來看，是回歸算法，但其實際上是一個分類算法。邏輯斯蒂回歸模型最早應(yīng)用于種群生態(tài)學(xué)，但由于其優(yōu)秀的性質(zhì)，對于我們的分類問題，即已知許多特征x，希望通過這些特征預(yù)測出label，就是類別的標(biāo)簽，對于二分類問題，標(biāo)簽只有兩個，這里記做0和1（有的記做+1和-1）。對于x，我們希望用一個模型，最終綜合起所有的特征x，然后得到一個待判決的數(shù)值，要想判斷具體屬于哪一類，需要設(shè)定一個閾值，大于這個閾值給一個類別，小于則給另一個類別，就像最基本的高維空間用超平面分割兩類一樣。

2 邏輯斯蒂回歸模型

2.1 二項邏輯斯蒂回歸模型

? ? ????假設(shè)輸入空間（特征空間）是X?R^{n+1},\omega ?R^{n+1},輸出空間是Y＝{+1,-1},設(shè)\omega =(\omega ^1,\omega ^2,...\omega ^n,b)^Tx=(x^1, x^2, ..., x^n, 1)^T，則二項邏輯斯蒂回歸模型如下：

? ??????????????????????????????????????????P(Y=1|x)=\frac{exp(\omega·x)}{1+exp(\omega·x)}

? ??????????????????????????????????????????P(Y=0|x)=\frac{1}{1+exp(\omega·x)}

????????對于給定的輸入實例x，按照以上兩個式子，可以求得P(Y＝1|x)和P(Y＝0|x)。 邏輯斯諦回歸比較兩個條件概率值的大小，將實例x分到概率值較大的那一類。

? ? ? ? 此時，線性函數(shù)的值越接近正無窮，概率值就越接近1；線性函數(shù)的值越接近負(fù)無窮，概率值就越接近0（如圖6.1所示）。


????????一個事件的幾率是指該事件發(fā)生的概率與該事件不發(fā)生的概率的比值。如果事件發(fā)生的概率是p，那么該事件的幾率是 \frac{P}{1-P} ，該事件的對數(shù)幾率或logit函數(shù)是logit(P)=log\frac{P}{1-P} 。

? ? ? ? 對于邏輯斯蒂回歸而言，log\frac{ P(Y=1|x)}{1- P(Y=1|x)}=\omega·x。這就是說，在邏輯斯諦回歸模型中，輸出Y＝1的對數(shù)幾率是由輸入x的線性函數(shù)表示的模型。?

2.2?多項邏輯斯蒂回歸模型

????????上面介紹的邏輯斯諦回歸模型是二項分類模型，用于二類分類?？梢詫⑵渫茝V為多項邏輯斯諦回歸模型，用于多類分類。假設(shè)離散型隨機(jī)變量Y的取值集合是{1,2,…,K}，那么多項邏輯斯諦回歸模型是

? ??????????????????????????????????P(Y=k|x)=\frac{exp(\omega _{k} ·x)}{1+\sum_{k=1}^{K-1}exp(\omega _{k}·x)} ,k=1,2,...K-1

? ??????????????????????????????????P(Y=K|x)=\frac{1}{1+\sum_{k=1}^{K-1}exp(\omega _{k}·x)}

3 模型參數(shù)估計

? ? ? ? 設(shè)：? ? ? ? ? ? ??????????P(Y=1|x)=\pi (x),P(Y=0|x)=1-\pi(x)

則似然函數(shù)為：? ? ? ??????????\prod\nolimits_{i=1}^N [\pi (x_{i})^{y_{i}} ][1-\pi (x_{i})]^{1-y_{i} }

其對數(shù)似然函數(shù)為：L(\omega )=\sum_{i=1}^N[y_{i}log\pi (x_{i})+(1-y_{i})log(1-\pi (x_{i})) ]

? ??????????????????????????????????????????=\sum_{i=1}^N [y_{i}log\frac{\pi (x_{i} )}{1-\pi (x_{i})}+log(1-\pi (x_{i}) ]

? ??????????????????????????????????????????=\sum_{i=1}^N[y_{i}(\omega ·x_{i})-log(1+exp(\omega ·x_{i})) ]

? ? ? ? 對L(\omega )求極大值，得到\omega 的估計值，記作\hat{\omega } 。這樣，問題就變成了以對數(shù)似然函數(shù)為目標(biāo)函數(shù)的最優(yōu)化問題。那么，學(xué)到的邏輯斯蒂回歸模型為：

? ??????????????????????????????????????????P(Y=1|x)=\frac{exp(\hat{\omega} ·x)}{1+exp(\hat{\omega}·x)}

? ??????????????????????????????????????????P(Y=0|x)=\frac{1}{1+exp(\hat{\omega}·x)}

4 小結(jié)

????????（1）LR回歸是在線性回歸模型的基礎(chǔ)上，使用sigmoid。sigmoid函數(shù)，將線性模型?wTx?的結(jié)果壓縮到[0,1]之間，而且在x=0處，函數(shù)值為0.5，剛好可以作為閾值；0~1正好也是概率的范圍，使其擁有概率意義。其本質(zhì)仍然是一個線性模型，實現(xiàn)相對簡單。

????????（2）它是直接對分類的可能性進(jìn)行建模的，無需事先假設(shè)數(shù)據(jù)分布，這樣就避免了假設(shè)分布不準(zhǔn)確所帶來的問題。

? ? ? ? （3）因為它是針對于分類的可能性進(jìn)行建模的，所以它不僅能預(yù)測出類別，還可以得到屬于該類別的概率。

????????（4）對率函數(shù)是任意階可導(dǎo)的凸函數(shù)，有很多的數(shù)學(xué)性質(zhì)，現(xiàn)有的許多數(shù)學(xué)優(yōu)化算法都可直接用于求取最優(yōu)解。


參考資料：

（1）《統(tǒng)計學(xué)習(xí)方法》 李航

（2）https://blog.csdn.net/edogawachia/article/details/79350317

（3）http://www.hankcs.com/ml/the-logistic-regression-and-the-maximum-entropy-model.html

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容