Logistic Regression as a Neural Network
2-1 Binary Classification
第一講說的比較簡單， 簡單的介紹了 input ouput 的概念
2-2 Logistic Regression 邏輯回歸
邏輯回歸是一種適用于二元分類的監(jiān)督學(xué)習(xí)算法
邏輯回歸的兩個參數(shù) w and b，w 為一個 nx 維矢量， b 為一個數(shù)
?????????? ?? , ??? = ??(?? = 1|??), where 0 ≤ ??? ≤ 1
Sigmoid function 是適用于 LR 算法的 邏輯函數(shù)
參考
2-3 Logistic Regression: Cost Function
這里面有兩個測試算法準確度的函數(shù)
loss function: 簡單就是說是預(yù)期的結(jié)果和真正的結(jié)果的比較函數(shù)，或者說單個訓(xùn)練樣本的誤差
cost function: 簡單就是說 loss function 的一個平均值，或者說是針對整個訓(xùn)練集合的檢測的誤差
2-4 Gradient descent 梯度下降
梯度下降法（英語：Gradient descent）是一個一階最優(yōu)化算法，通常也稱為最速下降法。 要使用梯度下降法找到一個函數(shù)的局部極小值，必須向函數(shù)上當(dāng)前點對應(yīng)梯度（或者是近似梯度）的反方向的規(guī)定步長距離點進行迭代搜索。如果相反地向梯度正方向迭代進行搜索，則會接近函數(shù)的局部極大值點；這個過程則被稱為梯度上升法。
下面是兩種梯度下降的原理，是一樣的，只不過在使用導(dǎo)數(shù)的符號上有所不同
參考
2-5, 2-6 derivatives 導(dǎo)數(shù)
2-7 2-8 Computation graph 計算圖
計算圖正向傳播 forward 表示了計算過程
反向傳播可以計算導(dǎo)數(shù)， 以為每一步都只有一個新的參數(shù)加入到計算中 所以利用前一個值的變化就可以推出新加入的參數(shù)的導(dǎo)數(shù)
導(dǎo)數(shù)是有公式的， 其實我的理解就是 下面的參數(shù)對上面的參數(shù)的影響 就是導(dǎo)數(shù)
2-9 Logistic Regression Gradient Descent
之后
講了些 Python 處理數(shù)據(jù)的問題， Python 學(xué)習(xí)
寫代碼指導(dǎo)原則之一就是盡量不用 runloop， 兩個向量相乘的時候 可以使用 numpy 的 dot
計算圖的優(yōu)點之一就是讓我們的代碼更清晰
知識點拾遺
激活函數(shù) Activation Function
所謂激活函數(shù)，就是在神經(jīng)網(wǎng)絡(luò)的神經(jīng)元上運行的函數(shù)，負責(zé)將神經(jīng)元的輸入映射到輸出端。常見的激活函數(shù)包括Sigmoid、TanHyperbolic(tanh)、ReLu、 softplus以及softmax函數(shù)。這些函數(shù)有一個共同的特點那就是他們都是非線性的函數(shù)。
