正規(guī)方程（Normal Equation）的數(shù)學證明

在線性回歸（Linear Regression）問題中，我們可以通過梯度下降（Gradient Descent）來求解到最優(yōu)參數(shù)。使用正規(guī)方程（Normal Equation）同樣可以達到這一目的，正規(guī)方程不依靠迭代，可以一次性精準的求解最優(yōu)參數(shù)。此文章證明過程參考自吳恩達斯坦福CSS229課程講義note1。

1. 代價函數(shù)（Cost Function）

代價函數(shù)的向量形式

J(\theta) = \frac{1}{2}(X \theta-\vec{y})^{T}(X \theta-\vec{y})

  • X為輸入特征（feature）
  • \theta為參數(shù)
  • y為訓練數(shù)據(jù)真實值

2. 關于矩陣求導的基本公式

源自note1第9頁

\begin{aligned} \nabla_{A} \operatorname{tr} A B &=B^{T} \\ \nabla_{A^{T}} f(A) &=\left(\nabla_{A} f(A)\right)^{T} \\ \nabla_{A} \operatorname{tr} A B A^{T} C &=C A B+C^{T} A B^{T} \\ \nabla_{A}|A| &=|A|\left(A^{-1}\right)^{T} \end{aligned}

由上式1與3可推導出

\nabla_{A^{T}} \operatorname{tr} A B A^{T} C=B^{T} A^{T} C^{T}+B A^{T} C

3. 證明

  1. 對代價函數(shù)求關于\theta的導數(shù)

\nabla_{\theta} J(\theta)=\nabla_{\theta} \frac{1}{2}(X \theta-\vec{y})^{T}(X \theta-\vec{y})

  1. 展開

\nabla_{\theta} J(\theta) =\frac{1}{2} \nabla_{\theta}\left(\theta^{T} X^{T} X \theta-\theta^{T} X^{T} \vec{y}-\vec{y}^{T} X \theta+\vec{y}^{T} \vec{y}\right)

  1. 由一個實數(shù)的跡是它本身，可得

\nabla_{\theta} J(\theta) =\frac{1}{2} \nabla_{\theta} \operatorname{tr}\left(\theta^{T} X^{T} X \theta-\theta^{T} X^{T} \vec{y}-\vec{y}^{T} X \theta+\vec{y}^{T} \vec{y}\right)

  1. 由于對\vec{y}^{T} \vec{y}求關于\theta的導數(shù)為0，及基本公式1，可得

\nabla_{\theta} J(\theta) =\frac{1}{2} \nabla_{\theta}\left(\operatorname{tr} \theta^{T} X^{T} X \theta-2 \operatorname{tr} \vec{y}^{T} X \theta\right)

  1. 將 A^{T}=\theta, B=B^{T}=X^{T} X, C=E，結合基本公式5可得

\nabla_{\theta} J(\theta) =\frac{1}{2}\left(X^{T} X \theta+X^{T} X \theta-2 X^{T} \vec{y}\right)

  1. 令

\nabla_{\theta} J(\theta) = 0

即可得到正規(guī)方程

X^{T} X \theta=X^{T} \vec{y}

最后兩邊左乘\left(X^{T} X\right)^{-1}得

\theta=\left(X^{T} X\right)^{-1} X^{T} \vec{y}

證明完成

4. 正規(guī)方程與梯度下降的對比

梯度下降 正規(guī)方程
需要選擇超參數(shù)a 無超參數(shù)選擇
多次迭代 一次求解
特征數(shù)比較大時，算法無太大影響 特征數(shù)大，算法運行時間長
最后編輯于 ：
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
【社區(qū)內容提示】社區(qū)部分內容疑似由AI輔助生成，瀏覽時請結合常識與多方信息審慎甄別。
平臺聲明：文章內容（如有圖片或視頻亦包括在內）由作者上傳并發(fā)布，文章內容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務。

友情鏈接更多精彩內容