BGD（批量梯度下降法）

批梯度下降每次更新使用了所有的訓(xùn)練數(shù)據(jù)，最小化損失函數(shù)，如果只有一個極小值，那么批梯度下降是考慮了訓(xùn)練集所有數(shù)據(jù)，是朝著最小值迭代運動的，但是缺點是如果樣本值很大的話，更新速度會很慢。

SGD（隨機梯度下降法）

隨機梯度下降在每次更新的時候，只考慮了一個樣本點，這樣會大大加快訓(xùn)練數(shù)據(jù)，也恰好是批梯度下降的缺點，但是有可能由于訓(xùn)練數(shù)據(jù)的噪聲點較多，那么每一次利用噪聲點進(jìn)行更新的過程中，就不一定是朝著極小值方向更新，但是由于更新多輪，整體方向還是大致朝著極小值方向更新，又提高了速度。

MBGD（min-batch 小批量梯度下降法）

小批量梯度下降法是為了解決批梯度下降法的訓(xùn)練速度慢，以及隨機梯度下降法的準(zhǔn)確性綜合而來，但是這里注意，不同問題的batch是不一樣的。