簡(jiǎn)書(shū)不支持?jǐn)?shù)學(xué)公式，文章中有大量截圖。更好的閱讀體驗(yàn)，請(qǐng)點(diǎn)擊：nbviewer
在第一課第二周的的課程中，ng以識(shí)別圖片中是否有貓為例，簡(jiǎn)單介紹了一下二分類（Binary Classification）問(wèn)題，以此引出對(duì)數(shù)幾率回歸算法(Logistic Regression)。Logistic Regression 是一種常用的二分類問(wèn)題求解算法，通常用于處理監(jiān)督學(xué)習(xí)（supervised learning）相關(guān)問(wèn)題。在講解LR（Logistic Regression）算法的過(guò)程中，ng穿插著介紹了梯度下降（Gradient Descent）、導(dǎo)數(shù)（derivatives）、計(jì)算圖（computation graph）和向量化（Vectorization）。此外，ng還特意介紹了Python中的廣播（Boradcasting）機(jī)制，一種有效提高計(jì)算效率的方法，也可以認(rèn)為是向量化在python中的實(shí)現(xiàn)。
在這份筆記中，我將先記錄導(dǎo)數(shù)（derivatives）、計(jì)算圖（computation graph）、向量化（Vectorization）等基本概念，然后記錄梯度下降（Gradient Descent）相關(guān)知識(shí)，最后記錄Logistic Regression算法及案例 — 識(shí)別圖片中是否有貓。
名詞約定
| 名詞 | 含義 |
|---|---|
| ng | Andrew Ng, 吳恩達(dá)老師 |
| 數(shù)據(jù)集 | 所有個(gè)案構(gòu)成的集合 |
| 樣本 | 數(shù)據(jù)集中的某一個(gè)案 |
| 特征 | 樣本中的變量 |
1.1 - 導(dǎo)數(shù)（derivative）基礎(chǔ)
直觀上理解，導(dǎo)數(shù)的意義是計(jì)算函數(shù) $f(x)$ 在 $x_0$ 處的斜率，即$y=f(x)$的變化速率。
導(dǎo)數(shù)的定義如下：
基本求導(dǎo)法則：
函數(shù)的和、差、積、商的求導(dǎo)法則：
復(fù)合函數(shù)的求導(dǎo)法則：
注：以上圖片來(lái)自于同濟(jì)大學(xué)編寫(xiě)的《高等數(shù)學(xué)（第六版）》。
1.2 - 計(jì)算圖（computation graph）
computatiom graph 是用有向箭頭表示數(shù)據(jù)流動(dòng)方向、方框表示計(jì)算內(nèi)容的計(jì)算流程圖，能夠很好的描述算法的整個(gè)計(jì)算過(guò)程，對(duì)于理解算法很有幫助。ng給出的一個(gè)案例如下：
1.3 - 向量化（vectorization）
向量化是提高計(jì)算效率的有效方法，其核心思想是將需要循環(huán)的累加、累乘等計(jì)算任務(wù)，通過(guò)合適的數(shù)據(jù)轉(zhuǎn)換（如：轉(zhuǎn)置、廣播、堆疊等），變成矩陣或向量計(jì)算任務(wù)。
import numpy as np
x1 = np.linspace(1, 100, 10000)
x2 = np.linspace(1, 10, 10000)
# 假設(shè)要計(jì)算想x1與x2的乘積和
# 使用循環(huán)進(jìn)行計(jì)算
%timeit -qo sum([x1[i]*x2[i] for i in range(x1.shape[0])])
<TimeitResult : 100 loops, best of 3: 5.26 ms per loop>
# 使用向量化方法進(jìn)行計(jì)算
%timeit -qo np.dot(x1, x2)
<TimeitResult : 100000 loops, best of 3: 4.19 μs per loop>
比較以上兩個(gè)計(jì)算耗時(shí)，可以發(fā)現(xiàn)：向量化計(jì)算x1與x2的乘積和比循環(huán)的方法塊1000多倍?。?！
2.1 - 梯度下降法（Gradient Descent）
梯度下降法（Gradient Descent）是一個(gè)最優(yōu)化算法，通常也稱為最速下降法，它將負(fù)梯度方向作為搜索方向，越接近最優(yōu)化目標(biāo)，步長(zhǎng)越小，前進(jìn)越慢，當(dāng)步長(zhǎng)小于一個(gè)給定的值或迭代次數(shù)達(dá)到設(shè)定的上限，迭代停止。
如果你想了解更多關(guān)于梯度下降法的知識(shí)，請(qǐng)點(diǎn)擊 wiki - Gradient descent
2.2 - 隨機(jī)梯度下降法（Stochastic Gradient Descent）
SGD的優(yōu)勢(shì)在于，每一次迭代中隨機(jī)選取一個(gè)樣本計(jì)算梯度，而不是使用全部樣本。
SGD不需要記錄哪些樣例已經(jīng)在前面的迭代過(guò)程中被訪問(wèn)過(guò)，有時(shí)候隨機(jī)梯度下降能夠直接優(yōu)化期望風(fēng)險(xiǎn)，因?yàn)闃永赡苁请S機(jī)從真正的分布中選取的。
如果你想了解更多關(guān)于隨機(jī)梯度下降法的知識(shí)，請(qǐng)點(diǎn)擊 wiki - Stochastic Gradient descent
3 - 對(duì)數(shù)幾率回歸（Logistic Regression）
事實(shí)上，Logistic Regression是一個(gè)簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)。由于 LR 本質(zhì)上是一個(gè)線性回歸模型，因此 LR 主要適用于線性可分（linearly separable）的二分類問(wèn)題，也可以應(yīng)用于線性可分的多分類問(wèn)題(案例)。
ng在講解Logistic Regression算法時(shí)，以圖像中是否有貓這個(gè)經(jīng)典的二分類問(wèn)題為例，將整個(gè)算法流程做了介紹，并在作業(yè)中引導(dǎo)學(xué)習(xí)者實(shí)現(xiàn)了這一算法。
使用訓(xùn)練好的LR模型判斷圖片中是否有貓的過(guò)程如下圖：
3.1 - 符號(hào)約定
3.2 - 基本概念
- Sigmoid函數(shù)
- 損失函數(shù)（loss function）
- 成本函數(shù)（cost function）
3.2.1 - Sigmoid函數(shù)
sigmoid函數(shù)是一個(gè)非線性函數(shù)，在機(jī)器學(xué)習(xí)和深度學(xué)習(xí)中都有應(yīng)用，有時(shí)也稱作對(duì)數(shù)幾率函數(shù)（logistic function）。
sigmoid函數(shù)及其導(dǎo)數(shù)的Python實(shí)現(xiàn)如下：
import numpy as np
%matplotlib inline
def sigmoid(x):
"""
Compute the sigmoid of x
Arguments:
x -- A scalar or numpy array of any size
Return:
s -- sigmoid(x)
"""
s = 1.0 / (1.0 + np.exp(-x))
return s
def sigmoid_derivative(x):
"""
Compute the derivative of the sigmoid function with respect to its input x.
Arguments:
x -- A scalar or numpy array
Return:
ds -- Your computed gradient.
"""
s = sigmoid(x)
ds = s * (1 - s)
return ds
import matplotlib.pyplot as plt
x = np.linspace(-10, 10, 10000)
y_sigmoid = sigmoid(x)
plt.figure(figsize=(8,6))
plt.plot(x, y_sigmoid)
3.2.2 - 損失函數(shù)（loss function）
3.2.3 - 成本函數(shù)（cost function）
3.3 - LR模型訓(xùn)練過(guò)程
3.3.1 - 初始化參數(shù)
3.3.2 - 計(jì)算當(dāng)前參數(shù)對(duì)應(yīng)的cost（成本）和gradient（梯度）
3.3.3 使用梯度下降法更新參數(shù)
滿足以下任一條件，迭代停止：
- 迭代次數(shù)超過(guò)num_iterations
- 參數(shù)更新步長(zhǎng)（梯度）小于一個(gè)給定的值
3.3.4 輸出訓(xùn)練好的參數(shù)，得到LR模型
使用梯度下降法更新參數(shù)完成之后，可以得到最終的 W和 b，即LR模型確定。接下來(lái)，就可以使用這個(gè)模型去進(jìn)行新樣本的預(yù)測(cè)了。
