目錄
本來打算直接分享邏輯回歸的知識了，但是在整理筆記的過程中發(fā)現(xiàn)，邏輯回歸里面用到的知識點不少，所以先整理下用到的相關數(shù)學知識，本章首先分享梯度下降法；
我們知道，數(shù)據(jù)挖掘的核心方法論是，定義出目標函數(shù)，定義出損失函數(shù)（代價函數(shù)），然后運用各種數(shù)學方法進行代價函數(shù)最小化，本章將要結束的梯度下降法就是一種方法（術語無約束最優(yōu)化方法）
梯度下降法（gradient descent）或最速下降法（steepest descent），通常用來求解無約束最優(yōu)化問題。（注：最優(yōu)化問題可以分為約束最優(yōu)化與無約束最優(yōu)化，這個后續(xù)要是大家有興趣，我可以做下分享。）
特點：
實現(xiàn)簡單；
迭代算法，每一步需要求解目標函數(shù)的梯度向量。
定義： 假設f（x）是
R^NRN
上具有一階連續(xù)偏導數(shù)的函數(shù)，要求解的無約束最優(yōu)化問題是：
x^*x?
表示目標函數(shù)f(x)的極小點。
梯度下降法是一種迭代算法，選取適當?shù)某跏贾祒0，進行迭代，更新x0的值，進行目標函數(shù)的極小化，直至收斂。由于負梯度方向是使函數(shù)值下降最快的方向，所以在迭代的每一步，用負梯度方向進行更新x的值，從而達到減少函數(shù)值的目的。
梯度下降算法描述如下：
