一.邏輯回歸

1.什么是邏輯回歸？

邏輯回歸是一種預測變量為離散值0或1情況下的分類問題，在邏輯回歸中，假設函數。

2.模型描述

在假設函數中，，為實數，為Sigmoid函數，也叫Logistic函數。
模型解釋：，即就是對一個輸入，的概率估計。
損失函數的理解：所謂最大似然估計，就是我們想知道哪套參數組合對應的曲線最可能擬合我們觀測到的數據，也就是該套參數擬合出觀測數據的概率最大，而損失函數的要求是預測結果與真實結果越相近，函數值越小，也就是參數越能更好的擬合數據，損失函數的值越小，所以損失函數即就是最大似然函數的相反數。具體損失函數的推導可以參考鏈接。

3.決策邊界

已知表示的是對于一個輸入，的概率估計，則當時，的可能性更大；當時，的可能性更大。

邏輯回歸假設函數圖像

4.邏輯回歸的梯度下降法

更新公式：
具體推導過程如下：

更新公式推導

5.高級優(yōu)化

除梯度下降法外，還有一些比梯度下降更快的高級優(yōu)化算法，比如共軛梯度法、BFGS、L-BFGS等，這些方法不需要手動選擇學習率，并且收斂速度較快。具體算法流程在此不具體展開，可自行學習。

6.多元分類

當預測變量不只兩類時，例如：，可將其分成三個獨立的二分類問題，創(chuàng)建三個偽訓練集，擬合出三個分類器，然后給一個新的輸入值，則其應屬于的第類。

二.正則化

1.過擬合問題

什么是過擬合問題？
算法具有“高方差”。如果擬合一個高階多項式，假設函數能擬合幾乎所有數據，無法泛化到新的樣本中，則稱該模型過擬合。（泛化：一個假設模型應用到新樣本的能力）
過擬合發(fā)生時，怎樣解決？
（1）盡量減少選取變量的數量：人工檢查變量清單，確定哪些變量保留，哪些變量舍棄；算法自動選擇哪些變量保留，哪些變量舍棄。缺點是會丟失一部分信息。
（2）正則化：保留全部特征變量，但減少量級或參數的大小。

2.正則化損失函數

正則化損失函數是給原本的損失函數加一個懲罰項，相當于簡化模型，使參數盡量小。

3.線性回歸的正則化

損失函數：
其中叫做正則化參數，它的作用是更好地擬合數據和保持參數盡量小。
梯度下降更新公式：

正規(guī)方程：如果，則，該方程可以解決不可逆的問題。

4.邏輯回歸的正則化

損失函數：
梯度下降更新公式：

三.總結

這兩周學習了吳恩達機器學習的邏輯回歸和正則化部分的內容，整體比較簡單，主要理解了一下邏輯回歸的損失函數以及梯度下降法更新公式的推導。感覺把統計和機器學習結合起來，更容易理解學習的內容。