一、梯度下降的主要內(nèi)容

1.梯度下降的需求場景

每個模型都有自己的損失函數(shù)，可以想象成包含若干參數(shù)的f(x)，我們在做機器學習時，都要去找能夠使得損失函數(shù)盡可能小的參數(shù)，使得模型達到最優(yōu)化的效果。梯度下降算法是對原始模型的損失函數(shù)進行優(yōu)化，便于找到最優(yōu)的參數(shù)，使得損失函數(shù)最小。

2.梯度下降的定義

梯度是多元函數(shù)的導數(shù)，分別對每個變量進行微分，用逗號隔開，形成一個向量。

梯度是指向誤差值增長最快的方向，如果在梯度前面加負號，則是指向誤差值下降最快的方向。

二、對梯度下降的理解

類似于一個下山的過程

梯度下降就是從群山中山頂找一條最短的路走到山谷最低的方法，主要確定連個變量，每次走的步長，每次選擇最陡的方向。

三.梯度算法在線性回歸中的應用

線性回歸：對樣本點進行線性擬合，求得使預測盡可能準確的函數(shù)。

通過梯度下降法來求解損失函數(shù)

目標函數(shù)如下，需要使得目標函數(shù)盡可能小

進行整理得到如下

對上式進行求導

進一步轉化

對整體除以m，目標函數(shù)轉為下式，也為MSE

最終的表達式如下：