亚洲另类第一页,国产精品啪视频,人人干人人摸

線性回歸是機(jī)器學(xué)習(xí)中最基礎(chǔ)最簡(jiǎn)單的回歸算法了，現(xiàn)在關(guān)于線性回歸的原理做一個(gè)總結(jié)。

關(guān)于線性的概念，其實(shí)在高中就有了解了，兩個(gè)變量之間存在一次方函數(shù)關(guān)系( $y = a x + b$ )即為線性，其圖像在平面上是一條直線。

而線性回歸就是對(duì)給定的數(shù)據(jù)，找到一條均方誤差最小的直線或者說(shuō)模型函數(shù)。這就是線性回歸的本質(zhì)。

線性回歸的模型函數(shù)

線性回歸問題，給定的數(shù)據(jù)一般如下形式：
$\left[ \begin{matrix} x^{(0)}_1,x^{(0)}_2,...x^{(0)}_n,y_0 \\ x^{(1)}_1,x^{(1)}_2,...x^{(1)}_n,y_1 \\ x^{(2)}_1,x^{(2)}_2,...x^{(2)}_n,y_2 \\ \vdots \\ x^{(m)}_1,x^{(m)}_2,...x^{(m)}_n,y_m \end{matrix} \right]$

其中有m個(gè)樣本，每個(gè)樣本對(duì)應(yīng)n維特征和一個(gè)輸出結(jié)果?，F(xiàn)在，我們的問題是對(duì)于一個(gè)新的數(shù)據(jù) $(x_1^{(x)}, x_2^{(x)}, ..., x_n^{(x)})$ ，它對(duì)應(yīng)的結(jié)果 $y_x$ 是多少呢？如果使用線性回歸來(lái)解決這個(gè)問題，那么對(duì)應(yīng)的模型應(yīng)該如下：

$h_\theta(x_1,x_2,...,x_n)=\theta_0 + \theta_1x_1 +...+ \theta_nx_n$

我們?cè)黾右粋€(gè) $x_0=1$ 的特征，可以簡(jiǎn)化成：

$h_\theta(x_0,x_1,...,x_n)=\sum\limits_{i=0}^{n}\theta_ix_i$

其中 $\theta_i(i=0,1,2,...n)$ 是模型參數(shù)， $x_i(i=0,1,2,...n)$ 是每個(gè)樣本的n個(gè)特征值。

用矩陣形式表示上式就是：

$h_\theta(X)=X\theta$

其中 $X$ 為mxn維的矩陣， $\theta$ 為nx1的向量，得到的 $h_\theta(X)$ 為mx1的向量。m代表樣本的個(gè)數(shù)，n代表樣本的特征數(shù)。

正規(guī)方程（最小二乘法）求損失函數(shù)參數(shù)

線性回歸一般采用均方誤差作為損失函數(shù)，損失函數(shù)代數(shù)法可以表示為：

$J(\theta_0,\theta_1,...\theta_n) = \sum\limits_{i=1}^m(h_\theta(x_0^{(i)},x_1^{(i)},...x_n^{(i)})-y_i)^2$

用矩陣的方式可以表示為：
$\begin{align} J(\theta) &= ||X\theta-Y||^2_2 \\ &= (X\theta-Y)^T(X\theta-Y) \\ \end{align}$
上式中有兩個(gè)2，上面的2表示平方，下面的2表示二范數(shù)。繼續(xù)化簡(jiǎn)得：
$\begin{align} J(\theta) &= (X^T\theta^T-Y^T)(X\theta-Y) \\ &= X^T\theta^TX\theta-X^T\theta^TY-Y^TX\theta+Y^TY \\ &= X^T\theta^TX\theta-(\theta^TY)^T(X^T)^T-Y^TX\theta+Y^TY \\ &= X^T\theta^TX\theta-2Y^TX\theta+Y^TY \end{align}$
要求使損失函數(shù)最小時(shí)的參數(shù) $\theta$ ，對(duì) $\theta$ 進(jìn)行求導(dǎo)，令導(dǎo)數(shù)為0：