????線性回歸（linear regression）是由統(tǒng)計(jì)學(xué)演變出的常用機(jī)器學(xué)習(xí)模型。其主要思想是通過模型去描述自變量 $x$ 和因變量 $y$ 之間的關(guān)系。往模型中輸入 $x$ ，便得到與之對(duì)應(yīng)的 $y$ 。接下來我們一步步的解釋線性回歸模型。

一，線性回歸模型

????我們的有m個(gè)樣本，每個(gè)樣本有n個(gè)特征和一個(gè)對(duì)應(yīng)的結(jié)果，如下：

$(x_1^{(0)}, x_2^{(0)}, ...x_n^{(0)}, y_0), (x_1^{(1)}, x_2^{(1)}, ...x_n^{(1)},y_1), ... (x_1^{(m)}, x_2^{(m)}, ...x_n^{(m)}, y_m)$

對(duì)于以上數(shù)據(jù)，我們建立一個(gè)線性回歸模型：

$h_\theta(x_1, x_2, ...x_n) = \theta_0 + \theta_{1}x_1 + ... + \theta_{n}x_{n}$

則對(duì)于樣本 $(x_1^{(0)}, x_2^{(0)}...x_n^{(0)})$ 有：

$h_\theta(x_1^{(0)}, x_2^{(0)}, ...x_n^{(0)}) = \theta_0 + \theta_{1}x_1^{(0)} + ... + \theta_{n}x_{n}^{(0)} = (1,x_1^{(0)}, x_2^{(0)}, ...x_n^{(0)})\bullet (\theta_0,\theta_1...\theta_n)$

? ?????????????????????????????????? $=\vec{X^{(0)}} \bullet \vec{\theta }$

進(jìn)一步用矩陣形式表達(dá)為：

$h_\mathbf{\theta}(\mathbf{X}) = \mathbf{X\vec{\theta }} = \begin{equation}{\left[ \begin{array}{ccc}\vec{X^{(0)} }\bullet \vec{\theta } \\\vec{X^{(1)}}\bullet \vec{\theta } \\.\\.\\\vec{X^{(m)}}\bullet \vec{\theta } \end{array} \right ]}\end{equation}$ $=\begin{equation}{\left[ \begin{array}{ccc}(1,x_1^{(0)}, x_2^{(0)}, ...x_n^{(0)})\bullet (\theta_0,\theta_1...\theta_n)\\(1,x_1^{(1)}, x_2^{(1)}, ...x_n^{(1)})\bullet (\theta_0,\theta_1...\theta_n) \\.\\.\\(1,x_1^{(m)}, x_2^{(m)}, ...x_n^{(m)})\bullet (\theta_0,\theta_1...\theta_n) \end{array} \right ]}\end{equation}$

一般線性回歸我們用均方誤差作為損失函數(shù)。損失函數(shù)的代數(shù)法表示如下：

$J(\theta_0, \theta_1..., \theta_n) = \sum\limits_{i=0}^{m}(h_\theta(x_0^i, x_1^i, ...x_n^i) - y_i)^2$

進(jìn)一步用矩陣可以表示為：

$J(\vec{\theta }) =(\mathbf{X\vec{\theta }} - \mathbf{Y})^T(\mathbf{X\vec{\theta }} - \mathbf{Y})$

二，損失函數(shù)最小化

1.最小二乘法

????損失函數(shù)定義為： $J(\vec{\theta }) =(\mathbf{X\vec{\theta }} - \mathbf{Y})^T(\mathbf{X\vec{\theta }} - \mathbf{Y})$

根據(jù)最小二乘法的原理，我們要對(duì)這個(gè)損失函數(shù)對(duì) $\theta$ 向量求導(dǎo)取0。結(jié)果如下式：

$\begin{align} J(\vec{\theta }) &= (\vec{X}\vec{\theta } -\vec{Y} )^T(\vec{X}\vec{\theta } -\vec{Y}) \\ &= (\vec{\theta }^T\vec{X}^T-\vec{Y}^T)(\vec{X}\vec{\theta }-\vec{Y}) \\ &= \vec{\theta }^T\vec{X}^T\vec{X}\vec{\theta } - w^T\vec{X}^T\vec{Y} - \vec{Y}^T\vec{X}\vec{\theta } + \vec{Y}^T\vec{Y} \\ &= \vec{\theta }^T\vec{X}^T\vec{X}\vec{\theta } - \vec{Y}^T\vec{X}\vec{\theta } - \vec{Y}^T\vec{X}\vec{\theta } + \vec{Y}^T\vec{Y} \\ &= \vec{\theta }^T\vec{X}^T\vec{X}\vec{\theta }- 2\vec{Y}^T\vec{X}\vec{\theta } + \vec{Y}^T\vec{Y} \\\end{align}$

$\frac{\partial}{\partial\vec{\theta }}J(\vec{\theta }) = 2\mathbf{X}^T\mathbf{X\vec{\theta }} - 2\mathbf{X}^T\mathbf{Y}=2\mathbf{X}^T(\mathbf{X\vec{\theta }} - \mathbf{Y}) = 0$

最后可以得到： $\vec{\theta } = (\mathbf{X^{T}X})^{-1}\mathbf{X^{T}Y}$ ，有了具體的數(shù)據(jù) $X,Y$ 我們就可以計(jì)算出 $\vec{\theta }$

2.梯度下降法

1）確定當(dāng)前位置的損失函數(shù)的梯度，對(duì)于 $\vec{\theta }$ 梯度下降表達(dá)式為： $\frac{\partial}{\partial\vec{\theta }}J(\vec{\theta })$

2）用步長 $\alpha$ 乘以損失函數(shù)的梯度，得到當(dāng)前位置下降的距離，即 $\alpha\frac{\partial}{\partial\vec{\theta }}J(\vec{\theta })$

3）確定 $\theta$ 向量里面的每個(gè)值,梯度下降的距離都小于設(shè)定值 $\xi$ ，如果小于 $\xi$ 則算法終止，當(dāng)前 $\vec{\theta }$ 向量即為最終結(jié)果。否則進(jìn)入步驟4.

4）更新 $\theta$ ，其更新表達(dá)式如下。更新完畢后繼續(xù)轉(zhuǎn)入步驟1.

$\vec{\theta }= \vec{\theta } - \alpha\frac{\partial}{\partial\vec{\theta }}J(\vec{\theta })$

我們用向量來進(jìn)行表示，損失函數(shù)對(duì)于 $\theta$ 的偏導(dǎo)數(shù)計(jì)算如下：

$\frac{\partial}{\partial\vec{\theta }}J(\vec{\theta }) = \mathbf{X}^T(\mathbf{X\vec{\theta }} - \mathbf{Y})$

那么步驟4中，更新 $\vec{\theta }$ 則為： $\vec{\theta }=\vec{\theta } - \alpha\mathbf{X}^T(\mathbf{X\vec{\theta }} - \mathbf{Y})$ 。

三，正則化

????為了防止模型的過擬合，我們?cè)诮⒕€性模型的時(shí)候經(jīng)常需要加入正則化項(xiàng)。一般有L1正則化和L2正則化。

1.L1正則化

線性回歸的L1正則化通常稱為Lasso回歸，它和一般線性回歸的區(qū)別是在損失函數(shù)上增加了一個(gè)L1正則化的項(xiàng)，L1正則化的項(xiàng)有一個(gè)懲罰系數(shù) $\alpha$ 來調(diào)節(jié)損失函數(shù)的均方差項(xiàng)和正則化項(xiàng)的權(quán)重，具體Lasso回歸的損失函數(shù)表達(dá)式如下：

$J(\vec{\theta }) = \frac{1}{2}(\mathbf{X\vec{\theta }} - \mathbf{Y})^T(\mathbf{X\vec{\theta }} - \mathbf{Y}) + \alpha||\vec{\theta }||_1$

其中 $||\vec{\theta} ||_1 = \theta_0+\theta_1+...+\theta_n$ ， $\alpha$ 為懲罰系數(shù)， $\alpha$ 越大，對(duì) $\vec{\theta }$ 的限制越大。Lasso回歸可以使得一些特征的系數(shù)變小，甚至還是一些絕對(duì)值較小的系數(shù)直接變?yōu)?。增強(qiáng)模型的泛化能力。

2.L2正則化

線性回歸的L2正則化通常稱為Ridge回歸，它和一般線性回歸的區(qū)別是在損失函數(shù)上增加了一個(gè)L2正則化的項(xiàng)。具體Ridge回歸的損失函數(shù)表達(dá)式如下：

$J(\mathbf\theta) = \frac{1}{2}(\mathbf{X\theta} - \mathbf{Y})^T(\mathbf{X\theta} - \mathbf{Y}) + \frac{1}{2}\alpha||\theta||_2^2$

其中 $||\theta||_2 = \sqrt{\theta_0^2,\theta_1^2,\theta_2^2...,\theta_n^2}$ ， $\alpha$ 為懲罰系數(shù)， $\alpha$ 越大，對(duì) $\vec{\theta }$ 的限制越大。Ridge回歸在不拋棄任何一個(gè)特征的情況下，縮小了回歸系數(shù)，使得模型相對(duì)而言比較的穩(wěn)定，但和Lasso回歸比，這會(huì)使得模型的特征留的特別多，模型解釋性差。

下圖為 $\alpha$ （X軸）與 $\vec{\theta }$ （Y軸）之間的關(guān)系：

看到這里你可能有個(gè)疑問，L1，L2之間有什么區(qū)別么？

下面給出直觀的解釋：

L1正則

L2正則

小伙伴們?nèi)绻X得文章還行的請(qǐng)點(diǎn)個(gè)贊呦??！同時(shí)覺得文章哪里有問題的可以評(píng)論一下? 謝謝你！

色偷偷精品伊人,欧洲久久精品,欧美综合婷婷骚逼,国产AV主播,国产最新探花在线,九色在线视频一区,伊人大交九欧美,1769亚洲,黄色成人av

線性回歸算法（Linear Regression）

線性回歸算法（Linear Regression）

一，線性回歸模型