Logistic 回歸

最近看到了Logistic 回歸，LR模型主要用于分類模型(不是回歸)，細心的人不難發(fā)現(xiàn)LR模型在線性回歸模型上加了一個sigmoid轉(zhuǎn)換。

sigmoid轉(zhuǎn)換的優(yōu)勢

  • 求梯度方便
  • 數(shù)據(jù)統(tǒng)一分布在0-1之間，從下面的LR分布也可以看出

算法

定義

P(y=1\mid x)=\dfrac{e^{wx+b}}{1+e^{wx+b}}
P(y=0\mid x)=\dfrac{1}{1+e^{wx+b}}

擴張一下w,x，令 wx+b->wx

P(y=1\mid x)=\dfrac{e^{wx}}{1+e^{wx}}
P(y=0\mid x)=\dfrac{1}{1+e^{wx}}

對數(shù)幾率

p指發(fā)生概率

logit(p)=log \dfrac{p}{1-p}
p 代入 P(y=1\mid x)

logit(p)=log \dfrac{p}{1-p}=log \dfrac{P(y=1\mid x)}{1-P(y=1\mid x)}=wx

把P(y=1\mid x)領(lǐng)出來，

p=P(y=1\mid x)=\dfrac{e^{w x}}{1+e^{w x}}=\dfrac{1}{1+e^{-w x}}

極大似然估計

image

跟上邊學(xué)到的貌似是一回事

小結(jié)

image

從圖像中可以看出，邏輯回歸函數(shù)將輸入的(-\infty, \infty)空間映射到了(0,1)空間，即將值域限制在了(0,1)之內(nèi)。 限制后的假設(shè)函數(shù)為：
p=P(y=1\mid x)=\dfrac{e^{w x}}{1+e^{w x}}=\dfrac{1}{1+e^{-w x}}

關(guān)于Logistic 回歸 的使用場景和優(yōu)化方向，供下回探討。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容