http://www.itdecent.cn/p/d7d06edb7061

背景

????批量梯度下降法（batch gradient decent）就是我們平時所說的梯度下降，也就是梯度下降過程中，每次更新使用了所有的訓練數(shù)據(jù)，最小化損失函數(shù)，找到局部最小值。

當樣本量很大的時候，那么更新速度會變慢。假如每次我們只取一個樣本更新，這樣速度就會快很多。我們每次只取一行樣本計算，當成是搜索的方向。

問題解答

批量梯度下降??

a）采用所有數(shù)據(jù)來梯度下降。??

b）批量梯度下降法在樣本量很大的時候，訓練速度慢。??

隨機梯度下降??

a）隨機梯度下降用一個樣本來梯度下降。??

b）訓練速度很快。??

c）隨機梯度下降法僅僅用一個樣本決定梯度方向，導致解有可能不是全局最優(yōu)。??

d）收斂速度來說，隨機梯度下降法一次迭代一個樣本，導致迭代方向變化很大，不能很快的收斂到局部最優(yōu)解。??