六、邏輯斯蒂回歸與最大熵模型

邏輯斯蒂是個(gè)啥：
以人口增長為例：

其中，

Ω代表了最大值（此處為最大人口容量），所得圖像為：

P(t)代表當(dāng)前人口容量占最大人口容量的比例：

將未知數(shù)與對(duì)應(yīng)的積分放在同一側(cè)得到下列公式：

繼續(xù)求解：

可得其表達(dá)式：

設(shè)已經(jīng)存在的記為1，概率為P(t);不存在的記為0，概率為1-P(t);第三個(gè)就是其對(duì)應(yīng)的增長曲線（不能無休止的加上去）

6.1邏輯斯蒂回歸模型

6.1.1 邏輯斯蒂分布

sigmoid函數(shù)圖像：

由圖可得其特征：

由三條性質(zhì)可得F(x)為分布函數(shù)，此處為累積分布函數(shù)，

不難發(fā)現(xiàn)這個(gè)函數(shù)圖像關(guān)于(0,1/2)對(duì)稱：

這個(gè)函數(shù)可以求導(dǎo)得到其概率密度函數(shù)：

其對(duì)應(yīng)圖像為：

邏輯斯蒂分布和t分布均屬于指數(shù)分布族，但是與正態(tài)分布略有不同（尾部要稍微厚一些），但是由于正態(tài)分布是在給定閾值和方差的情況下，具有最大熵的概率分布了，這使得數(shù)據(jù)攜帶的信息量最大。
但是邏輯斯蒂分布常用于 生長分布 ；而t分布常用于 不知道標(biāo)準(zhǔn)差的情況下 。

從密度函數(shù)圖中不難發(fā)現(xiàn)，當(dāng)x=0時(shí)增長速度最快；

正態(tài)分布也是關(guān)于x=0對(duì)稱的，其函數(shù)的第一個(gè)參數(shù)代表位置，第二個(gè)參數(shù)代表形態(tài)，現(xiàn)在用字母代表得：

一般形式：

各種回歸模型：

對(duì)他們求期望：

ε的期望為0
問題：若輸入的X和輸出Y沒有線性關(guān)系，假設(shè)現(xiàn)在有：

則可以用線性模型去解決非線性問題，在這里就可以拿邏輯斯蒂分布當(dāng)作連接函數(shù)g：

解得：

這就是下面的二項(xiàng)邏輯斯蒂回歸模型

6.1.2 二項(xiàng)邏輯斯蒂回歸模型

定義：

對(duì)于第一條算式，其代表已經(jīng)存在的人類數(shù)量，另一個(gè)代表還沒出現(xiàn)的；此時(shí)輸入X變成了n+1維，而輸出y為一個(gè)數(shù)值；

但是當(dāng)輸入為N個(gè)樣本點(diǎn)，那么Y就是一個(gè)N維向量

特點(diǎn)：

1.說到底就是把分類問題用回歸模型解決。由于是分類問題，那么輸出變量是離散的，而輸入變量是連續(xù)的；可以通過普通的線性回歸構(gòu)造一個(gè)線性形式，進(jìn)而將這個(gè)形式與輸出變量構(gòu)造關(guān)系（就是聯(lián)系函數(shù)g），可以考慮類別對(duì)應(yīng)的概率，通過sigmoid函數(shù)可以將w·x與y的概率構(gòu)建出一個(gè)模型，進(jìn)而將非線性關(guān)系變?yōu)榱司€性關(guān)系;
2.意味著可以用 sigmoid 的連續(xù)函數(shù)來代替單位的階躍函數(shù)，這樣輸入變量就很自由，可以離散也可以連續(xù)；
3.這里其實(shí)就是怎么求出邏輯斯諦回歸模型中的，這里我們會(huì)用到之前提到的極大似然估計(jì)法（概率最大化）來估計(jì)。