梯度下降在整個機(jī)器學(xué)習(xí)中都很重要

〇、問題回顧

找到θ0、θ1，最小化代價函數(shù)J(θ0,θ1)

outline

• 初始化θ0，θ1
• 調(diào)整θ0、θ1，減小J直到J最?。ㄈ绾握{(diào)整呢？）

走下降最快的方向！也就是梯度方向

一、梯度下降法

算法描述

注意： 新的θ0、θ1是依據(jù)上一次的θ0、θ1同時更新的。

二、梯度下降的直觀理解

• α太小，收斂速度可能很慢
• α太大，方法可能不收斂
• 即便收斂，也可能沒有收斂到J最小值，而可能收斂到某個極小值
• 在收斂的過程中，梯度大小的絕對值會越來越小，所以沒有必要逐漸調(diào)小α

三、線性回歸中的梯度下降

線性回歸中的梯度下降