第28課 正定矩陣和最小值

第一目標(biāo)，如何判斷一個(gè)矩陣是否是正定的

x^TAx>0得出幾何上的解釋?zhuān)瑱E圓和正定性有關(guān)，雙曲線與正定性無(wú)關(guān)，當(dāng)極小存在時(shí)，怎樣找出極小值？

A是對(duì)稱(chēng)矩陣A=\begin{bmatrix}a&b\\c&d\end{bmatrix}

  • \lambda_1>0,\lambda_2>0；(特征值判定)
  • a>0,ac-b^2>0；(行列式判定，所有行列式)
  • a>0,\frac{ac-b^2}{a}>0；(主元，所有主元)
  • x^TAx>0

例：
\begin{bmatrix}2&6\\6&b\end{bmatrix}
當(dāng)b=19時(shí)，為正定的

當(dāng)b=18時(shí)，為不完全正定，稱(chēng)之為半正定矩陣，\lambda_1=0,\lambda_2=20,由于存在等于0，所以定義為半正定
\begin{align} \underbrace{\begin{bmatrix}x_1&x_2\end{bmatrix}}_{x^T} \underbrace{\begin{bmatrix}2&6\\6&18\end{bmatrix}}_{A} \underbrace{\begin{bmatrix}x_1\\x_2\end{bmatrix}}_{x}&= \begin{bmatrix}x_1&x_2\end{bmatrix} \begin{bmatrix}2x_1+6x_2\\6x_1+18x_2\end{bmatrix}\\ &=x_1\times(2x_1+6x_2)+x_2\times(6x_1+18x_2)\\ &=2x_1^2+6x_1x_2+6x_1x_2+18x_2^2\\ &= \underbrace{2}_{a}x_1^2+ \underbrace{2\times6}_{2b}x_1x_2+ \underbrace{18}_{c}x_2^2 \end{align}\\ \to ax^2+2bxy+cy^2(二次形，不再是線性的)

Ax是線性的，引入x^T，升到二階，純二次形沒(méi)有線性部分，它是否大于0？
f(x,y) = x^TAx=ax^2+2bxy+cy^2

\begin{bmatrix}2&6\\6&7\end{bmatrix}\\ \begin{align} f(x_1,x_2)&=2x_1^2+12x_1x_2+7x_2^2\\ &=2(x_1+3x_2)^2-11x_2^2 \end{align}\\ ax^2\geq 0;cy^2\geq0;ax^2+cy^2要足夠大于2bxy

\begin{bmatrix}2&6\\6&20\end{bmatrix}\\ \begin{align} f(x,y)&=2x^2+12xy+20y^2\\ &=\underbrace{2(x+3y)^2}_{\geq 0}+\underbrace{2y^2}_{\geq 0} \end{align}\\

一階導(dǎo)的最小為0，不足以說(shuō)明是極小值；二階導(dǎo)控制一切，矩陣告訴我們的是二階導(dǎo)數(shù)。在微積分中判斷極小值的首要條件是導(dǎo)數(shù)必需等于0，此時(shí)并不能知道是極大值還是極小值，為了確定是極小值還得看來(lái)看二階導(dǎo)數(shù)，二階導(dǎo)數(shù)必須為正，當(dāng)通過(guò)最小點(diǎn)后，斜率必須是變大的，二階導(dǎo)數(shù)為正這里變成二階導(dǎo)數(shù)矩陣的正定性，如此來(lái)判斷極小值。

在微積分開(kāi)始部分，極小值與二階導(dǎo)數(shù)為正相關(guān)聯(lián)，一階導(dǎo)數(shù)為0。

在線性代數(shù)中f(x_1,x_2,\dots,x_n)存在極小值的條件是當(dāng)二階導(dǎo)數(shù)矩陣是正定的，(從一個(gè)數(shù)二階導(dǎo)數(shù)變成矩陣為正定矩陣)。

如果矩陣為正定時(shí)，圖形結(jié)果的上部為橢圓截面，令f(x_1,x_2)=1，高度為1的橫切面，如果在鞍點(diǎn)情況下切割，就得到一個(gè)雙曲線
\underbrace{\begin{bmatrix}2&6\\6&20\end{bmatrix}}_{A}= \underbrace{\begin{bmatrix}1&0\\3&1\end{bmatrix}}_{L} \underbrace{\begin{bmatrix}2&6\\0&2\end{bmatrix}}_{U}\\ f(x,y)=2x^2+12xy+20y^2 = \underbrace{\overbrace{2}^{U第一個(gè)主元}(x+3y)^2+\overbrace{2}^{U的第二個(gè)主元}y^2}_{配方式子}
正主元，就是平方項(xiàng)外邊的系數(shù)，因此正主元，平方和一切為正，圖像向上，原點(diǎn)是極小點(diǎn)，一切都聯(lián)系在一起

為了存在極小值\underbrace{f_{xx}}_{f在x方向上的二階導(dǎo)數(shù)},\underbrace{f_{yy}}_{f在y方向上的二階導(dǎo)數(shù)}，必須為正，還須足夠大來(lái)抵消混合導(dǎo)數(shù)的影響
A=\begin{bmatrix}f_{xx}&f_{xy}\\f_{yx}&f_{yy}\end{bmatrix},A必須是正定矩陣\\ 行列式條件(f_{xx}f_{yy}>f_{xy}f_{yx})

例3\times3

首先是否為正定矩陣，

其次和它相關(guān)聯(lián)的函數(shù)是多少？

x^TAx是多少？
A=\begin{bmatrix}2&-1&0\\-1&2&-1\\0&-1&2\end{bmatrix}

首先求行列式：
A_{1\times1}=2,|A_{2\times2}|=3|A_{3\times3}|=4\\ x^TAx=\\A_{11}x_1^2 + A_{22}x_2^2 + A_{33}x_3^2 + A_{12}x_1x_2 + A_{21}x_1x_2 + A_{23}x_2x_3 + A_{32}x_2x_3 + A_{13}x_1x_3 + A_{31}x_1x_3 \\ =2x_1^2+2x_2^2+2x_3^2-2x_1x_2-2x_2x_3 >0
特征向量說(shuō)明主軸方向；

特征值說(shuō)明軸的長(zhǎng)度或半長(zhǎng)或特征值例數(shù)

Q\Lambda Q^T特征值理論中最重要的分解，由于對(duì)稱(chēng)陣的對(duì)角化可用轉(zhuǎn)置代替逆

條件：

  • 各級(jí)行列式為2，3，4

  • 主元2，3/2，4/3

  • 主元的乘積等于相應(yīng)的行列式(二級(jí)行列式等于2\times \frac{3}{2}=3，三級(jí)行列式等于2\times\frac{3}{2}\times\frac{4}{3}=4)

  • 當(dāng)前行列式等于前級(jí)主元的乘積

  • 特征值2-\sqrt{2},2,2+\sqrt{2}

    • 用跡檢查3個(gè)特征值是否正確，跡=2+2+2=6，2-\sqrt{2}+2+2+\sqrt{2}=6
    • 用行列式檢查(2-\sqrt{2})\times2\times(2+\sqrt{2})=4
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書(shū)系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容