本文以模型、學(xué)習(xí)目標(biāo)、優(yōu)化算法的角度解析邏輯回歸(LR)模型，并以Python從頭實(shí)現(xiàn)LR訓(xùn)練及預(yù)測。

一、邏輯回歸模型結(jié)構(gòu)

邏輯回歸是一種廣義線性的分類模型且其模型結(jié)構(gòu)可以視為單層的神經(jīng)網(wǎng)絡(luò)，由一層輸入層、一層僅帶有一個sigmoid激活函數(shù)的神經(jīng)元的輸出層組成，而無隱藏層。其模型的功能可以簡化成兩步，“通過模型權(quán)重[w]對輸入特征[x]線性求和+sigmoid激活輸出概率”。

附注：sigmoid函數(shù)是一個s形的曲線，它的輸出值在[0, 1]之間，在遠(yuǎn)離0的地方函數(shù)的值會很快接近0或1。對于sigmoid輸出作為概率的合理性，可以參照如下證明：

邏輯回歸是一種判別模型，為直接對條件概率P(y|x)建模。假設(shè)P(x|y)是高斯分布，P(y)是多項(xiàng)式分布，相應(yīng)的參數(shù)都可以通過最大似然估計得到。如果我們考慮二分類問題，通過公式變換可以得到：

可以看到，邏輯回歸(或稱為對數(shù)幾率回歸)的輸出概率和sigmoid形式是一致的。

邏輯回歸模型本質(zhì)上屬于廣義線性分類器（決策邊界為線性）。這點(diǎn)可以從邏輯回歸模型的決策函數(shù)看出，決策函數(shù)Y=sigmoid(wx + b)，當(dāng)wx+b>0，Y>0.5;當(dāng)wx+b<0，Y<0.5，以wx+b這條線可以區(qū)分開Y=0或1（如下圖），可見決策邊界是線性的。

二、學(xué)習(xí)目標(biāo)

邏輯回歸是一個經(jīng)典的分類模型，對于模型預(yù)測我們的目標(biāo)是：預(yù)測的概率與實(shí)際正負(fù)樣本的標(biāo)簽是對應(yīng)的，Sigmoid 函數(shù)的輸出表示當(dāng)前樣本標(biāo)簽為 1 的概率，y^可以表示為

當(dāng)前樣本預(yù)測為0的概率可以表示為1-y^

對于正樣本y=1，我們期望預(yù)測概率盡量趨近為1 。對于負(fù)樣本y=0，期望預(yù)測概率盡量都趨近為0。也就是，我們希望預(yù)測的概率使得下式的概率最大（最大似然法）

我們對 P(y|x) 引入 log 函數(shù)，因?yàn)?log 運(yùn)算并不會影響函數(shù)本身的單調(diào)性。則有：

我們已經(jīng)推導(dǎo)出了單個樣本的損失函數(shù)，是如果是計算 m 個樣本的平均的損失函數(shù)，只要將 m 個 Loss 疊累加取平均就可以了：

這也就在最大似然（概率）法推導(dǎo)出的lr的學(xué)習(xí)目標(biāo)，也就是交叉熵?fù)p失（或?qū)?shù)損失函數(shù)），也就是讓最大化使模型預(yù)測概率服從真實(shí)值的分布，預(yù)測概率的分布離真實(shí)分布越近，模型越好。可以關(guān)注到一個點(diǎn)，如上式邏輯回歸在交叉熵為目標(biāo)以sigmoid輸出的預(yù)測概率，概率值只能盡量趨近0或1，同理loss也并不會為0。

三、優(yōu)化算法

我們以極小交叉熵為學(xué)習(xí)目標(biāo)，下面要做的就是，使用優(yōu)化算法去優(yōu)化參數(shù)以達(dá)到這個目標(biāo)。由于最大似然估計下邏輯回歸沒有（最優(yōu)）解析解，我們常用梯度下降算法，經(jīng)過多次迭代，最終學(xué)習(xí)到的參數(shù)也就是較優(yōu)的數(shù)值解。
梯度下降算法可以直觀理解成一個下山的方法，將損失函數(shù)J(w)比喻成一座山，我們的目標(biāo)是到達(dá)這座山的山腳（即求解出最優(yōu)模型參數(shù)w使得損失函數(shù)為最小值）。

下山要做的無非就是“往下坡的方向走，走一步算一步”，而在損失函數(shù)這座山上，每一位置的下坡的方向也就是它的負(fù)梯度方向（直白點(diǎn)，也就是山的斜向下的方向）。在每往下走一步（步長由α控制）到一個位置的時候，求解當(dāng)前位置的梯度，向這一步所在位置沿著最陡峭最易下山的位置再走一步。這樣一步步地走下去，一直走到覺得我們已經(jīng)到了山腳。
當(dāng)然這樣走下去，有可能我們不是走到山腳（全局最優(yōu)，Global cost minimun），而是到了某一個的小山谷（局部最優(yōu)，Local cost minimun），這也梯度下降算法的可進(jìn)一步優(yōu)化的地方。
對應(yīng)的算法步驟：

另外的，以非極大似然估計角度，去求解邏輯回歸（最優(yōu)）解析解，可見kexue.fm/archives/8578

四、Python實(shí)現(xiàn)邏輯回歸

本項(xiàng)目的數(shù)據(jù)集為癌細(xì)胞分類數(shù)據(jù)?；赑ython的numpy庫實(shí)現(xiàn)邏輯回歸模型，定義目標(biāo)函數(shù)為交叉熵，使用梯度下降迭代優(yōu)化模型，并驗(yàn)證分類效果：

# coding: utf-8

import numpy as np 
import matplotlib.pyplot as plt
import h5py
import scipy
from sklearn import datasets

# 加載數(shù)據(jù)并簡單劃分為訓(xùn)練集/測試集
def load_dataset():
    dataset = datasets.load_breast_cancer()  
    train_x,train_y = dataset['data'][0:400], dataset['target'][0:400]
    test_x, test_y = dataset['data'][400:-1], dataset['target'][400:-1]
    return train_x, train_y, test_x, test_y

# logit激活函數(shù)
def sigmoid(z):
    s = 1 / (1 + np.exp(-z))    
    return s
    
# 權(quán)重初始化0
def initialize_with_zeros(dim):
    w = np.zeros((dim, 1))
    b = 0
    assert(w.shape == (dim, 1))
    assert(isinstance(b, float) or isinstance(b, int))
    return w, b

# 定義學(xué)習(xí)的目標(biāo)函數(shù)，計算梯度
def propagate(w, b, X, Y):
    m = X.shape[1]      
    A = sigmoid(np.dot(w.T, X) + b)         # 邏輯回歸輸出預(yù)測值  
    cost = -1 / m *  np.sum(Y * np.log(A) + (1 - Y) * np.log(1 - A))   # 交叉熵?fù)p失為目標(biāo)函數(shù)
    dw = 1 / m * np.dot(X, (A - Y).T)   # 計算權(quán)重w梯度
    db = 1 / m * np.sum(A - Y)   
    assert(dw.shape == w.shape)
    assert(db.dtype == float)
    cost = np.squeeze(cost)
    assert(cost.shape == ())    
    grads = {"dw": dw,
             "db": db}    
    return grads, cost

# 定義優(yōu)化算法
def optimize(w, b, X, Y, num_iterations, learning_rate, print_cost):
    costs = []    
    for i in range(num_iterations):    # 梯度下降迭代優(yōu)化
        grads, cost = propagate(w, b, X, Y)
        dw = grads["dw"]              # 權(quán)重w梯度
        db = grads["db"]
        w = w - learning_rate * dw   # 按學(xué)習(xí)率(learning_rate)負(fù)梯度(dw)方向更新w
        b = b - learning_rate * db
        if i % 50 == 0:
            costs.append(cost)
        if print_cost and i % 100 == 0:
            print ("Cost after iteration %i: %f" %(i, cost))
    params = {"w": w,
              "b": b}
    grads = {"dw": dw,
             "db": db}
    return params, grads, costs

#傳入優(yōu)化后的模型參數(shù)w，b，模型預(yù)測   
def predict(w, b, X):
    m = X.shape[1]
    Y_prediction = np.zeros((1,m))
    A = sigmoid(np.dot(w.T, X) + b)
    for i in range(A.shape[1]):
        if A[0, i] <= 0.5:
            Y_prediction[0, i] = 0
        else:
            Y_prediction[0, i] = 1
    assert(Y_prediction.shape == (1, m))
    return Y_prediction

def model(X_train, Y_train, X_test, Y_test, num_iterations, learning_rate, print_cost):
    # 初始化
    w, b = initialize_with_zeros(X_train.shape[0]) 
    # 梯度下降優(yōu)化模型參數(shù)
    parameters, grads, costs = optimize(w, b, X_train, Y_train, num_iterations, learning_rate, print_cost)
    w = parameters["w"]
    b = parameters["b"]
    # 模型預(yù)測結(jié)果
    Y_prediction_test = predict(w, b, X_test)
    Y_prediction_train = predict(w, b, X_train)
    # 模型評估準(zhǔn)確率
    print("train accuracy: {} %".format(100 - np.mean(np.abs(Y_prediction_train - Y_train)) * 100))
    print("test accuracy: {} %".format(100 - np.mean(np.abs(Y_prediction_test - Y_test)) * 100))    
    d = {"costs": costs,
         "Y_prediction_test": Y_prediction_test, 
         "Y_prediction_train" : Y_prediction_train, 
         "w" : w, 
         "b" : b,
         "learning_rate" : learning_rate,
         "num_iterations": num_iterations}    
    return d
    
# 加載癌細(xì)胞數(shù)據(jù)集
train_set_x, train_set_y, test_set_x, test_set_y = load_dataset()   

# reshape
train_set_x = train_set_x.reshape(train_set_x.shape[0], -1).T
test_set_x = test_set_x.reshape(test_set_x.shape[0], -1).T

print(train_set_x.shape)
print(test_set_x.shape)

#訓(xùn)練模型并評估準(zhǔn)確率
paras = model(train_set_x, train_set_y, test_set_x, test_set_y, num_iterations = 100, learning_rate = 0.001, print_cost = False)

（END）

文章首發(fā)公眾號“算法進(jìn)階”，閱讀原文可訪問文章相關(guān)代碼