1. 推導(dǎo) sigmoid
2. 推導(dǎo)LR損失函數(shù)
3. 推導(dǎo)LR梯度下降
4. Softmax原理
5. softmax 損失函數(shù)
6. softmax 梯度下降
7. Python 實(shí)現(xiàn) LR

sigmoid 函數(shù)的由來

考慮二分類問題，即 。由于 是二值的隨機(jī)變量，因此我們很自然的選擇 分布來對(duì)分類問題進(jìn)行建模: .

由此，我們便得到了 Logistic Regression 的 sigmoid 函數(shù)了。其函數(shù)圖像如下：

Logistic Regression 二分類模型定義：

由于 ，我們可以將上面的式子聯(lián)立起來：

即 當(dāng) 時(shí)候，; 當(dāng) 時(shí)候，?？梢钥吹?，這與原先的式子是等價(jià)的。

LR 損失函數(shù)與梯度下降

LR 模型定義：

模型已定，參數(shù)未知，可以使用極大似然估計(jì)來估計(jì)模型的參數(shù)。

根據(jù)極大似然估計(jì)法的步驟：

1.寫出似然函數(shù)

2.取對(duì)數(shù)(對(duì)數(shù)似然)

將上述的公式取負(fù)數(shù)就得到了邏輯回歸的損失函數(shù)，也被稱為交叉熵?fù)p失函數(shù)。損失函數(shù)是衡量模型的輸出和實(shí)際的輸出結(jié)果之間的差距的一種函數(shù)，即

3.求導(dǎo)

4.解似然方程

Softmax: 從二分類到多分類

Softmax 的本質(zhì)是將一個(gè) 維的任意實(shí)數(shù)向量壓縮（映射）成另一個(gè) 維的實(shí)數(shù)向量，其中映射后的向量中每個(gè)元素的取值都介于 之間，并且所有元素之和為 。

用于多分類任務(wù)中，它將模型的輸出映射到 (0, 1) 區(qū)間，可以理解為概率。

在實(shí)際應(yīng)用中，使用 Softmax 需要注意數(shù)值溢出問題。

label 的分布是 MultiNomial，softmax 是 MultiNomial 的 link function。

import numpy as np

def softmax(X):
    x = np.exp(X - np.max(X)) / np.sum(np.exp(x))
    return x

softmax 損失函數(shù)

其中 代表我們的真實(shí)值，代表 softmax 輸出的值。

需要注意的是，雖然 L 是一個(gè)求和式，但是因?yàn)? 只有一個(gè)為 1（其余都為 0），所以在求導(dǎo)的時(shí)候需要

softmax 梯度下降

Python 實(shí)現(xiàn) LR