梯度下降算法可以將代價函數(shù)J最小化。

為了說明問題，只使用θ₀，θ₁。

如圖所示，梯度下降會因?yàn)槌跏蓟牟煌@得不同的局部最優(yōu)解。

α被稱為學(xué)習(xí)速率，它在梯度下降算法中代表了我們下山時邁多大的步子。

正確的做法是同步更新θ₀和θ₁。不正確是因?yàn)橄扔嬎懔甩?sub>0而θ₀更新會影響到θ₁的計算。

微分項求導(dǎo)或偏導(dǎo)，其實(shí)相當(dāng)于給θ一個增加或者減少的方向；而α決定了增加和減少的值，即步長大小。

α的大小不同，代表下降步子的大小不同，太大和太小都不好。

如果初始化已經(jīng)在局部最優(yōu)點(diǎn)，那么θ不再變化，因?yàn)槲⒎猪椧呀?jīng)為0。

當(dāng)我們接近局部最低點(diǎn)時，微分項會變小，所以梯度下降會自動的采用較小的幅度。

梯度下降算法，可以用來最小化任何代價函數(shù)。