=== Logit函數(shù) ===

Odds：比值比（優(yōu)勢(shì)比），用來衡量特征中分類之間關(guān)聯(lián)的一種方式。
指的是該事件發(fā)生的概率與該事件不發(fā)生的概率的比值： p/1-p

Logit函數(shù)，logit(p) = log(Odds)

Logit函數(shù)

我們假設(shè)：logit (p) 和 X 之間服從一個(gè)線性關(guān)系，因?yàn)楫?dāng)他們之間呈現(xiàn)線性關(guān)系的時(shí)候，可以幫助我們做分類。

為什么可以這樣假設(shè)？
其實(shí)就像 h_θ(x) = θ^TX一樣，我們假設(shè)其呈現(xiàn)線性關(guān)系，然后求出θ值，最后建立模型一個(gè)道理。

搞清楚后以上的思路后，我們繼續(xù)演繹。對(duì)于logit (p)可以做如下的轉(zhuǎn)化：

最后得到的公式，我們稱為 Logistic/sigmoid函數(shù)：

Logistic/sigmoid函數(shù)

Logistic函數(shù)的圖像：

圖像

重點(diǎn)：
Odds：比值比（優(yōu)勢(shì)比），用來衡量特征中分類之間關(guān)聯(lián)的一種方式。指的是該事件發(fā)生的概率與該事件不發(fā)生的概率的比值： p/1-p

我們最終得到的是一個(gè)θ^Tx 和p之間的映射。
在圖像中的體現(xiàn)是： p(θ^Tx ) + p(-θ^Tx ) = 1

通過把θ^Tx 傳輸?shù)胶瘮?shù)中后，我們可以得到的返回值在0~1之間。
在θ^Tx =0這一點(diǎn)的時(shí)候，p=0.5；
θ^Tx越小，p趨向于0；
θ^Tx越大，p趨向于1；

===Logistic回歸 ===

Logistic函數(shù)的“定義域”和“值域” ：

Logistic回歸的中心目標(biāo)是求解二元分類的問題。
所以值域中，我們?cè)O(shè)y的取值為0或1。
接下來分析一下p和y的關(guān)系。

y：最終分類的結(jié)果。y=1 or y=0
p：指的是該事件發(fā)生的概率。即y=1的概率。

我們可以自定義一個(gè)事情發(fā)生概率的閾值 h
如果y=1的概率大于h，我們認(rèn)為預(yù)測(cè)的結(jié)果y^是1
如果y=1的概率小于h，我們認(rèn)為預(yù)測(cè)的結(jié)果y^是0

但是如果加入了自定義閾值設(shè)定的話，意味著我們?nèi)藶榈慕?jīng)驗(yàn)被納入運(yùn)算的過程中了，那么會(huì)導(dǎo)致最終的預(yù)測(cè)結(jié)果產(chǎn)生一定的偏差，所以不建議使用。
就根據(jù)sigmoid函數(shù)的對(duì)稱軸 h=0.5 作為分類的閾值即可。

Logistic/sigmoid函數(shù)：

令：z = θ^Tx

鏈?zhǔn)椒▌t求導(dǎo)： g'(z) = g(z)*(1-g(z))
這個(gè)結(jié)論很重要，因?yàn)樵谟锰荻认陆捣ㄇ髽O值的時(shí)候需要用到原函數(shù)的導(dǎo)數(shù)。

對(duì)于y的值不是取1就是去0的情況，滿足數(shù)學(xué)里的伯努利分布亦稱零一分布、兩點(diǎn)分布。

p：也就是y=1的概率。

Logistic回歸滿足的兩個(gè)假設(shè)：
1、某一點(diǎn)觀測(cè)值隨機(jī)變量 y|x 服從伯努利分布。
2、各個(gè)觀測(cè)值y之間獨(dú)立。

1、假設(shè)：

2、似然函數(shù)：

思路：
首先，因?yàn)橛^測(cè)值是獨(dú)立同分布的，所以可以用聯(lián)合概率密度函數(shù)，即連乘所有單個(gè)樣本發(fā)生 y=x 情況的概率。

對(duì)于所有觀測(cè)值x中發(fā)生了y的概率，連乘求出聯(lián)合概率密度函數(shù)：

聯(lián)合密度函數(shù)

似然函數(shù)體現(xiàn)了一種可能性，即當(dāng)前有一組參數(shù)θ，使得觀測(cè)值X達(dá)到上面這種聯(lián)合概率密度函數(shù)值的可能性最大。那么這組θ值就是我想要的。

例子

最后，求解θ的問題轉(zhuǎn)化為求似然函數(shù)最大值的問題了。
即θ為何值時(shí)，L(θ)最大。
當(dāng)最大似然函數(shù)最大時(shí)，對(duì)應(yīng)的θ值就是最優(yōu)解。

3、對(duì)數(shù)似然函數(shù)：

求函數(shù)的最大值，首先要對(duì)函數(shù)進(jìn)行求導(dǎo)。然后利用梯度下降的算法求解最小值。
要對(duì)原來的最大似然函數(shù)求導(dǎo)十分困難，但我們知道函數(shù)對(duì)應(yīng)的對(duì)數(shù)函數(shù)，其凹凸性、極值點(diǎn)和原函數(shù)是相同的。
而且對(duì)數(shù)函數(shù)的求導(dǎo)會(huì)比原函數(shù)方便一點(diǎn)，所以我們先取得對(duì)數(shù)似然函數(shù)。

4、對(duì)數(shù)似然函數(shù)求導(dǎo)：

上面的公式是基于假設(shè) [p: y=1] [1-p : y=0 ] 形成的。
如果 [p: y=1] [1-p : y=-1 ]時(shí)，對(duì)應(yīng)的似然函數(shù)和對(duì)數(shù)似然是什么？

5、Logistic回歸θ參數(shù)的求解過程為(類似梯度下降法)：

由于我們要求最大似然函數(shù)的隨機(jī)梯度，需要找函數(shù)的極大值。
θ^new = θ^old + α* ?L(θ) / ?θ
因?yàn)槭钦易畲笾?，所以本質(zhì)上應(yīng)該稱為梯度上升法。
目標(biāo)函數(shù) => 對(duì)數(shù)似然函數(shù) L(θ)的極大值

最大似然函數(shù)的隨機(jī)梯度

6、Logistic回歸的損失函數(shù))：

機(jī)器學(xué)習(xí)中都需要構(gòu)造一個(gè)損失函數(shù)，來衡量系統(tǒng)好壞的函數(shù)。損失函數(shù)越小，系統(tǒng)越優(yōu)秀。
但現(xiàn)在我們的目標(biāo)函數(shù)是一個(gè)越大越優(yōu)秀的函數(shù)，我們做一個(gè)什么操作才能使其成為L(zhǎng)ogistic回歸的損失函數(shù)呢？
顯然加上一個(gè)負(fù)號(hào)即可。

損失函數(shù)