寫在前面：我不確定明年峰哥哥會(huì)不會(huì)換實(shí)驗(yàn)（換的可能性不是很大，因?yàn)閾?jù)老師說(shuō)這么簡(jiǎn)單的實(shí)驗(yàn)已經(jīng)不好找了xx），實(shí)驗(yàn)對(duì)于一個(gè)剛?cè)腴TML的小白來(lái)說(shuō)可能會(huì)一頭霧水。之前有位學(xué)長(zhǎng)在CSDN上發(fā)布過(guò)實(shí)驗(yàn)的全部代碼部分（我坦白我也抄了兩個(gè)實(shí)驗(yàn)）。所以我這篇博客就不會(huì)在直接粘貼代碼了（這樣也很沒有意義是伐。）

Linear Regression

實(shí)驗(yàn)的中文版解讀可以參考這位學(xué)長(zhǎng)的博客實(shí)驗(yàn)解讀

我們首先的第一個(gè)任務(wù)是完成一個(gè)線性回歸的模型構(gòu)建。

我們拿到了數(shù)據(jù)集(x (i),y (i) ) 對(duì)應(yīng)（身高，年齡）的這樣一個(gè)元組。根據(jù)提示的用梯度下降的方式去訓(xùn)練這個(gè)線性回歸模型。

對(duì)于線性回歸模型，我們的函數(shù)表達(dá)式的為:

當(dāng)然你不好理解的話也可以理解為：

不過(guò)這個(gè)要是不理解建議先去看看梯度下降相關(guān)的知識(shí)（所以本博客之后這種基礎(chǔ)的數(shù)學(xué)問(wèn)題就不再敘述了。）

所謂的梯度下降，是指一個(gè)函數(shù)求極值問(wèn)題中，我們把函數(shù)的高低想象成一個(gè)山脈，我們要找這個(gè)山脈中最低的山谷位置，每次要沿著下降最快的方向去走一定的距離，下次在新的位置開始，再繼續(xù)尋找這個(gè)下降最快的方向，再去走一定的距離。（這個(gè)距離我們稱為步長(zhǎng)，也就是該實(shí)驗(yàn)中我們要確定的參數(shù)，這個(gè)先記住之后再提。）

在該實(shí)驗(yàn)的具體問(wèn)題中，我們用梯度下降找的最值問(wèn)題其實(shí)不是的問(wèn)題，我們的其實(shí)已經(jīng)確定了（盡管我們還不確定θ的具體值），我們要考慮讓這個(gè)曲線最優(yōu)的去擬合我們的數(shù)據(jù)。所以為了評(píng)判這個(gè)合不合適的問(wèn)題，我們又定義一個(gè)代價(jià)函數(shù)

其實(shí)仔細(xì)想想也能明白代價(jià)函數(shù)為啥這樣定義，這算是一個(gè)數(shù)學(xué)建模的過(guò)程吧。

總之現(xiàn)在我們是確定了代價(jià)函數(shù)，這個(gè)代價(jià)函數(shù)的自變量是θ，我們要人=讓這個(gè)代價(jià)函數(shù)最小，獲得最小時(shí)θ的取值。這時(shí)候我們剛剛提到的梯度下降就排上用場(chǎng)了。
其實(shí)就可以理解為對(duì)這一組參數(shù)進(jìn)行不斷的迭代。沒到一個(gè)點(diǎn)，就計(jì)算下下降最快的方向是什么，然后根據(jù)剛剛提到的步長(zhǎng)，走到一個(gè)新的位置。（這個(gè)新的位置就是new_theta，新的θ值，在代價(jià)函數(shù)里就體現(xiàn)為一個(gè)新的坐標(biāo)）

下面的兩個(gè)問(wèn)題就是：什么是下降最快的方向。當(dāng)然這也是梯度下降的基礎(chǔ)了

這個(gè)怎么來(lái)的那就去看相關(guān)博客吧。

步長(zhǎng)alpha則是我們自己確定的值（其中實(shí)驗(yàn)最后一部分還讓我們嘗試不同的alpha去觀察代價(jià)函數(shù)的變化過(guò)程。

最后，迭代終止的條件：我們可以觀察迭代前后的代價(jià)函數(shù)的值，如果兩次差值并不太大，我們就可以認(rèn)為收斂了（因?yàn)椴介L(zhǎng)的緣故，我們梯度下降往往找不到真正的最小值，而是會(huì)最后在極值點(diǎn)附近振動(dòng)，這點(diǎn)自己想一想也可以明白） 當(dāng)然，防止迭代次數(shù)過(guò)多，你也可以自己設(shè)一個(gè)最大迭代次數(shù)，不過(guò)這可能導(dǎo)致最后并不收斂。

這個(gè)實(shí)驗(yàn)的內(nèi)容，最后也就是圍繞著梯度下降線性回歸，觀察代價(jià)函數(shù)值的變化以及觀察不同的學(xué)習(xí)率（步長(zhǎng)）下代價(jià)函數(shù)的影響。最后手動(dòng)調(diào)整比較優(yōu)秀的學(xué)習(xí)率alpha的問(wèn)題，其實(shí)就是看圖的過(guò)程了（希望代價(jià)函數(shù)下降的不要太慢，因?yàn)椴介L(zhǎng)過(guò)小，代價(jià)函數(shù)收斂太慢這樣學(xué)習(xí)效率會(huì)很低，也不希望代價(jià)函數(shù)下降過(guò)快，因?yàn)槲覀儎倓傉f(shuō)過(guò)找不到極值點(diǎn)最后振動(dòng)的緣故，學(xué)習(xí)率太大了可能導(dǎo)致無(wú)法收斂。）

（最后，代碼自己去寫.jpg