1. 什么是邏輯斯蒂回歸
邏輯回歸是用來做分類算法的。
大家都熟悉線性回歸，一般形式是Y=aX+b，y的取值范圍是[-∞, +∞]，有這么多取值，怎么進行分類呢？不用擔心，偉大的數(shù)學家已經(jīng)為我們找到了一個方法。
也就是把Y的結(jié)果帶入一個非線性變換的Sigmoid函數(shù)中，即可得到[0,1]之間取值范圍的數(shù)S，S可以把它看成是一個概率值，如果我們設(shè)置概率閾值為0.5，那么S大于0.5可以看成是正樣本，小于0.5看成是負樣本，就可以進行分類了。
2. 什么是Sigmoid函數(shù)
函數(shù)公式如下：
函數(shù)中t無論取什么值，其結(jié)果都在[0,-1]的區(qū)間內(nèi)，回想一下，一個分類問題就有兩種答案，一種是“是”，一種是“否”，那0對應著“否”，1對應著“是”，那又有人問了，你這不是[0,1]的區(qū)間嗎，怎么會只有0和1呢？這個問題問得好，我們假設(shè)分類的閾值是0.5，那么超過0.5的歸為1分類，低于0.5的歸為0分類，閾值是可以自己設(shè)定的。
好了，接下來我們把aX+b帶入t中就得到了我們的邏輯回歸的一般模型方程：
結(jié)果P也可以理解為概率，換句話說概率大于0.5的屬于1分類，概率小于0.5的屬于0分類，這就達到了分類的目的。
3.損失函數(shù)是什么
邏輯回歸的損失函數(shù)是log loss，也就是對數(shù)似然函數(shù)，函數(shù)公式如下：
公式中的 y=1 表示的是真實值為1時用第一個公式，真實 y=0 用第二個公式計算損失。為什么要加上log函數(shù)呢？可以試想一下，當真實樣本為1是，但h=0概率，那么log0=∞，這就對模型最大的懲罰力度；當h=1時，那么log1=0，相當于沒有懲罰，也就是沒有損失，達到最優(yōu)結(jié)果。所以數(shù)學家就想出了用log函數(shù)來表示損失函數(shù)。
最后按照梯度下降法一樣，求解極小值點，得到想要的模型效果。
4. 邏輯斯蒂回歸損失函數(shù)求導
極大似然估計為：
其中m表示樣本量。
對數(shù)似然（乘法變加法）：
極大似然估計就是：的所有可能取值中找到一個值，使得極大似然函數(shù)取到最大值。
即，我們加一個系數(shù)
，轉(zhuǎn)換為求最小值的問題，就可以使用梯度下降了。
求偏導過程如下：
可以用于這里，然后
最終我們得到了
對比線性回歸的
太像了，有木有！只有式中的模型假設(shè)不同，邏輯斯蒂回歸中模型假設(shè)是經(jīng)過正態(tài)分布“映射”處理噠！
我們還是進行迭代：
最終得到合適的參數(shù)，就可以計算
，只要這個值大于0.5，就可以斷定屬于正類(1)，小于0.5，就屬于負類（0）。
整個過程推導下來，可知線性回歸是邏輯斯蒂回歸的基礎(chǔ)，但是線性回歸用于擬合一個具體的連續(xù)值，屬于真正的回歸問題，而邏輯斯蒂回歸得到的是概率值，解決的其實是二分類問題，我們需要根據(jù)得到的概率值找到其對應的分類。
