參考：
1.使用Python進(jìn)行線性回歸
2.python機(jī)器學(xué)習(xí)：多元線性回歸
3.線性回歸概念

線性回歸模型是線性模型的一種，模型決定了假設(shè)空間，線性模型就是指假設(shè)空間是特征的線性函數(shù)的一類模型。線性模型的基本形式是：給定由d個(gè)特征描述的示例?? = (x1; x2; ... ; xd)，其中，xi是??在第i個(gè)特征上的取值，線性模型試圖學(xué)得一個(gè)通過(guò)特征的線性組合來(lái)進(jìn)行預(yù)測(cè)的函數(shù)，即
f(x)=w1x1+w2x2+...+wdxd+b;也可以寫(xiě)成向量形式：f(x)=w(T)x+b;

線性模型應(yīng)該是我們會(huì)介紹的模型中的最簡(jiǎn)單且最古老的模型了，它一般只會(huì)在各種教材中會(huì)單獨(dú)作為主角登場(chǎng)，在實(shí)際項(xiàng)目中它幾乎沒(méi)有單獨(dú)出場(chǎng)的機(jī)會(huì)。但是它的確又是很重要的一類模型，它甚至是很多復(fù)雜模型的基礎(chǔ)，比如支持向量機(jī)、神經(jīng)網(wǎng)絡(luò)等模型中都有線性模型的身影。如果在機(jī)器學(xué)習(xí)模型圈評(píng)選奧斯卡最佳配角獎(jiǎng)，那非線性模型莫屬了。

線性模型大體可以分為線性回歸模型和線性分類模型，這篇筆記只介紹線性回歸模型，
一、什么是回歸？

百度搜索回歸，可以看到如下的解釋：
回歸，指研究一組隨機(jī)變量(Y1 ，Y2 ，…，Yi)和另一組(X1，X2，…，Xk)變量之間關(guān)系的統(tǒng)計(jì)分析方法，又稱多重回歸分析。通常Y1，Y2，…，Yi是因變量，X1、X2，…，Xk是自變量。