機(jī)器學(xué)習(xí)的兩個(gè)重要的問題，一個(gè)是回歸，一個(gè)是分類。
回歸問題指的是對一組數(shù)據(jù)進(jìn)行擬合，比如房價(jià)問題，f(x)=y，x是房子的面積，y就是最終的房價(jià)，在這個(gè)問題中，我們最終通過一個(gè)模型來得到擬合的結(jié)果。這樣就可以在知道房子面積的時(shí)候，通過訓(xùn)練模型得到房子的價(jià)格。
衡量這些數(shù)據(jù)的模型，最簡單的就是線性模型。在線性模型中，有一個(gè)重要的問題，就是如何去評價(jià)模型的好壞，比如我們得到了擬合的曲線，知道了在某一個(gè)數(shù)據(jù)點(diǎn)的預(yù)測值，那么它和真實(shí)值之間的差距到底有多少呢？
損失函數(shù)
這是機(jī)器學(xué)習(xí)最重要的一個(gè)步驟，定義損失函數(shù)，然后使用優(yōu)化方式去最小化損失函數(shù)，在線性回歸中，影響最終結(jié)果的特征值可能有很多個(gè)，比如在下面的方程中，可以把x1看作是房屋面積，x2看作是房屋的地段，通過這樣一個(gè)線性回歸方程就可以計(jì)算最終的房屋價(jià)格。
使用通用的模型定義：
這里就要介紹最重要的損失函數(shù)，通過計(jì)算預(yù)測房價(jià)和真實(shí)房價(jià)之間的差距，就可以評估整個(gè)線性模型的好壞，平方項(xiàng)和系數(shù)1/2，這樣定義的原因是為了方便后續(xù)的求導(dǎo)操作。問題最終就是通過尋找合適的theta值來找到最小的損失值，那么下面就介紹求解的方法。
求解方法
最小二乘法和梯度下降法
最小二乘法
首先對目標(biāo)函數(shù)進(jìn)行轉(zhuǎn)換，使用矩陣方程表示：
目標(biāo)取得最小值的點(diǎn)，可以通過求導(dǎo)操作找到：
最終的結(jié)果如下所示：
此方法要求矩陣為列滿秩，求矩陣的逆運(yùn)算計(jì)算量還是比較大的，如果特征維數(shù)較高，使用這種方式就會(huì)嚴(yán)重影響計(jì)算速度，下面就介紹另外一種方法。
梯度下降法
初始化theta:
對損失函數(shù)求導(dǎo)：
參考鏈接
[https://www.cnblogs.com/futurehau/p/6105011.html]
