在深度學(xué)習(xí)環(huán)境安裝一文中，我們已經(jīng)搭建了擼代碼的基本環(huán)境?，F(xiàn)在就可以來正式寫代碼了。我們今天的目標(biāo)是模擬線性回歸，通過調(diào)整參數(shù)（斜率k和b）找到和數(shù)據(jù)最匹配的線性函數(shù)。

image

tips: 所有代碼都在jupyter notebook中完成

自動(dòng)微分變量

首先是引入pytorch，以及包含的自動(dòng)微分變量包autograd

這個(gè)自動(dòng)微分變量是用來干什么的呢？

簡單來說，他是將張量的運(yùn)算“流程化”，在使用自動(dòng)微分變量進(jìn)行運(yùn)算時(shí)，其實(shí)上是在構(gòu)建一個(gè)計(jì)算圖。

比如, 我們定義了兩個(gè)變量, 一個(gè)是tensor, 一個(gè)是自動(dòng)微分變量

image

requires_grad = True的含義，代表這個(gè)微分變量可反向傳播

tensor的方法variable幾乎都能用，而variable有很多它自己獨(dú)特的方法，比如反向傳播(backward)，對輸入量求梯度值(grad())等等。稍后我們會(huì)在實(shí)例中對相關(guān)方法做進(jìn)一步解釋。

現(xiàn)在我們要知道的是，所有需要神經(jīng)網(wǎng)絡(luò)調(diào)整的參數(shù)，都需要具備“梯度可反傳”的性質(zhì)，所以，他們在定義時(shí)，都需要定義為自動(dòng)微分變量。

讓我們再定義一個(gè)variable變量, torch.linspace(0, 10)是創(chuàng)建在閾值為[0, 10]上均等劃分出一個(gè)100維的向量，如夏所示

image

然后我們對這個(gè)變量進(jìn)行2步運(yùn)算

1. x + 2得到新變量y

2. y平方再取均值，得到一個(gè)變量z

image

上述過程用數(shù)學(xué)描述，即可表示為如下復(fù)合函數(shù)。

image

如果在z上，有任何的數(shù)值波動(dòng)，我們都可以用數(shù)學(xué)的方法，求出x偏導(dǎo)的一個(gè)解析解，即x對應(yīng)的數(shù)值波動(dòng)。

而這個(gè)過程在神經(jīng)網(wǎng)絡(luò)中，就是梯度反傳。目標(biāo)值的數(shù)值波動(dòng)，在自變量上都會(huì)有一個(gè)梯度的變化。

在pytorch中就更簡單了，只需要一句backword()命令，不管中間經(jīng)歷了多復(fù)雜的函數(shù)運(yùn)算，都能直接在自變量中獲取梯度

image

神經(jīng)網(wǎng)絡(luò)本質(zhì)上就是復(fù)雜的函數(shù)運(yùn)算，我們把中間復(fù)雜的運(yùn)算部分交給機(jī)器，才能把更多的精力放在研究“函數(shù)組合”，也就是算法上

擬合線性回歸

了解神經(jīng)網(wǎng)絡(luò)最關(guān)鍵的反向傳播機(jī)制后，我們接下來嘗試做一個(gè)簡單的擬合。

1. 生成數(shù)據(jù)

首先我們模擬一些離散的點(diǎn)。使用randn方法生成[0-1]區(qū)間內(nèi)正態(tài)分布的隨機(jī)點(diǎn)，它接收一個(gè)生成數(shù)量的參數(shù)

設(shè)置完了之后我們把這些點(diǎn)畫出來，這里就用到了一個(gè)第三方的庫matplotlib.pyplot，官方文檔在這里，上篇文章也帶大家安裝過。這里直接引入，并畫圖

繪圖結(jié)果如下

image

2. 寫模型主體

這個(gè)圖形是線性的，我們就可以將它設(shè)為一個(gè)一次函數(shù)y = k * x + b的形式。

那我們的目標(biāo)就是，求出一組k和b，使得最后得出的一次函數(shù)和數(shù)據(jù)最接近。

初始的k和b可以隨機(jī)生成，注意一定要將他們設(shè)置為微分變量，這樣才能獲取他們的梯度，

然后再設(shè)置一個(gè)學(xué)習(xí)率。學(xué)習(xí)率是一個(gè)超參數(shù)，一般可以設(shè)置為0.0001。如果太大會(huì)導(dǎo)致無法得到精確的結(jié)果，而太小又需要數(shù)量更多的運(yùn)算過程。具體數(shù)值可以看訓(xùn)練情況調(diào)整。

現(xiàn)在就開始進(jìn)入訓(xùn)練代碼部分，我們先上代碼

代碼中每一步都有清晰的注釋，我在這里著重解釋一下幾個(gè)重點(diǎn)：

1. expand_as()命令是一個(gè)維度變化操作，矩陣相乘操作對維度變化有要求，而它就是可以讓兩個(gè)相乘的矩陣維度匹配

2. 損失函數(shù)：損失函數(shù)是一門大學(xué)問，他是預(yù)測值和真實(shí)值的“差異”，在這里選取的是最簡單的損失函數(shù)，即直接將真實(shí)值和預(yù)測值相減，而為了避免正負(fù)號的影響，再做了一次平方操作。最終的損失值一定是一個(gè)0維的實(shí)數(shù)，而我們計(jì)算過程使用的都是張量，所以最后取了每一位相加后的均值，即torch.mean((predictions - y) ** 2)

3. 自動(dòng)微分變量的值，需要使用x.data()獲取

4. 每次獲取到新的k和b后，記得清空k和b的梯度

每一輪訓(xùn)練我們都會(huì)得到一組新的k和b，當(dāng)觀察到loss的下降趨勢逐漸變小時(shí)，說明模型訓(xùn)練的差不多了，這時(shí)候的k和b就是我們要的值了。那么我們可以嘗試畫出這條一次函數(shù)看看效果。

這時(shí)候我們需要引入計(jì)算包numby和繪圖包matplotlib。

image

可以看到，最終的一次函數(shù)和數(shù)據(jù)基本吻合

下回我會(huì)寫一篇真正的神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程，更復(fù)雜也更有趣～

敬請期待

參考資料
深度學(xué)習(xí)原理與pytorch實(shí)戰(zhàn)視頻
pytorch官網(wǎng)
matplotlib繪圖庫官網(wǎng)