代價函數(shù) Cost Function

為了度量預(yù)測函數(shù)(hypothesis)的精確性，我們引入了代價函數(shù)。它用對所有基于輸入(x)的預(yù)測結(jié)果和輸出(y)取平均差。

代價函數(shù)

它其實是平均值的1/2，這個平均值是m項加起來最后除以m所得。
這個代價函數(shù)又叫“平方誤差函數(shù)”，或者“均方差函數(shù)”^[1]。
均值前面的1/2是為了方便梯度下降的計算（用1/2抵消1/2平方項求導(dǎo)產(chǎn)生的2）。

Prof.Ng 的PPT草圖

例子

想象著數(shù)據(jù)集分散在xy軸所構(gòu)成的畫板上，有一條線盡可能穿過所有的點. 這時J(θ0,θ1)將等于 0. 接下來的例子是一種理想狀態(tài)的代價函數(shù)，它的值為0.

當 θ1=1 時, 斜率為1的直線穿過了所有的點。
當 θ1=0.5 時，我們所畫的線到數(shù)據(jù)點之間的距離增加。

這時代價函數(shù)值為 0.58。 再繼續(xù)畫幾個點就會得到如下所示的圖:

我們的目標就是得到代價函數(shù)的最小值。在這個案例中，θ1=1就是目標的最小值。

注：
[1] 這里用均方誤差來衡量，是經(jīng)過實踐校驗比較合理精確的方法，還有其他的方法后續(xù)也會介紹。均方誤差——百度百科