Linear Algebra
Chapter 1——行列式
一、逆序數(shù)
- 在一個(gè)排列中,如果一對(duì)數(shù)的前后位置與大小順序相反,即前面的數(shù)大于后面的數(shù),那么它們就稱(chēng)為一個(gè)逆序。一個(gè)排列中逆序的總數(shù)就稱(chēng)為這個(gè)排列的逆序數(shù)。
- 求解:依次查詢排列中每個(gè)數(shù)字前比他大的數(shù)字個(gè)數(shù),累加起來(lái)就是逆序數(shù)。
二、 行列式
- 行列式是一個(gè)值,不是一個(gè)矩陣。設(shè)矩陣為 A,則 det(A) 為或|A|行列式。
計(jì)算: ,
是
排列的逆序數(shù)
- 性質(zhì):
[1]
[2] 互換兩行或兩列,行列式變?yōu)樵档南喾磾?shù)
[3]
[4] 把行列式的某一列(行)的各元素乘以同一數(shù)然后加到另一列(行)對(duì)應(yīng)的元素上去,行列式不變。
三、代數(shù)余子式
- 在 n 階行列式中,劃去元
所在的第 i 行與第 j 列的元,剩下的元不改變?cè)瓉?lái)的順序所構(gòu)成的 n-1 階行列式稱(chēng)為元
的余子式。數(shù)學(xué)表示上計(jì)作
。
-
的代數(shù)余子式:
。
- 行列式等于它任意一行(列)的各元素與其對(duì)應(yīng)的代數(shù)式余子式乘積之和。
- 范德蒙特行列式計(jì)算:
Chapter 2——矩陣
一、矩陣性質(zhì)
- 滿足分配律和結(jié)合律,不滿足交換律
- AB=0,則:
若 A、B 均為非零矩陣,則 A、B 的行列式均為 0
若有一個(gè)是可逆矩陣,則另一個(gè)是 0 矩陣 - 轉(zhuǎn)置矩陣性質(zhì):
- 對(duì)稱(chēng)矩陣:
- 對(duì) n 階方陣 A 的行列式:
- 數(shù)量矩陣:對(duì)角矩陣的對(duì)角線上的元相等
二、 矩陣的秩 R(A)
- k 階子式:在一個(gè)矩陣或行列式中取 k 行 k 列,交叉處的
個(gè)元素按原順序構(gòu)成的行列式
- 最高階非零子式:矩陣 A 有一個(gè)不等于 0 的 r 階子式 D,且所有 r+1 階子式均為 0,則 D 是 A 的最高階非零子式
- 矩陣的秩:矩陣最高階非零子式為 r 階子式,r 為該矩陣的秩
- n 階方陣等價(jià)的定義:
滿秩矩陣==可逆矩陣==非奇異矩陣==標(biāo)準(zhǔn)型是 E==可表示為有限==個(gè)初等方陣乘積==行/列向量組線性無(wú)關(guān)==特征值全不為 0==行列式不為 0
降秩矩陣==不可逆矩陣==奇異矩陣==行/列向量組線性相關(guān)==特征值有 0==行列式為 0 - 矩陣的秩的大小關(guān)系
其中,A|B 是 A 和 B 橫向拼接
三、 矩陣變換
- 矩陣的初等變換
- 某一行(列),乘以一個(gè)非零倍數(shù)。
- 某一行(列),乘以一個(gè)非零倍數(shù),加到另一行(列)。
- 某兩行(列),互換。
矩陣等價(jià)
A 與 B 等價(jià)(A∽B):A 經(jīng)過(guò)有限次初等變換變?yōu)?B。R(A)=R(B),|A|不一定等于|B|。最簡(jiǎn)形矩陣:矩陣滿足(1)是階梯形矩陣;(2)所有的非零行的第一個(gè)非零元素均為 1,且其所在列中的其他元素都是零。
任何一個(gè)非零矩陣總可以經(jīng)過(guò)有限次初等變換為階梯形矩陣和最簡(jiǎn)階梯形矩陣,非零行行數(shù)為矩陣的秩。標(biāo)準(zhǔn)形矩陣:矩陣的左上角是單位矩陣,其余三部分可以沒(méi)有或者是 0 變換方法:先變?yōu)樾凶詈?jiǎn)形再變?yōu)榱凶詈?jiǎn)形
逆矩陣:AB=BA=E,A 和 B 互為逆矩陣
逆矩陣性質(zhì):
伴隨矩陣
:A 中各元的代數(shù)余子式轉(zhuǎn)置后組成的矩陣
性質(zhì):
i.(基本性質(zhì))
ii.
iii.
iv.
v.
vi.
vii.,則
viii.,則
ix.,則
正交矩陣:
正交矩陣 A 的性質(zhì):
i.正交
ii.
iii. A 可逆且求解矩陣(左行右列)
i. AX=B:
ii. XA=B:增廣矩陣:系數(shù)矩陣 A
等號(hào)右側(cè)常數(shù)項(xiàng) B
:方程組無(wú)解
Chapter 3——線性方程組
一、齊次線性方程組
- 定義:Ax=0 向量,A 是系數(shù)矩陣,x 是(列)解向量
- 解的性質(zhì)(方程組有 n 個(gè)變量):
i. R(A)<n:存在非零解
ii. R(A)=n:只有零解 - 基礎(chǔ)解系:齊次線性方程組的 k 個(gè)解向量滿足向量組線性無(wú)關(guān),解空間中其他向量都可以用這 k 個(gè)向量線性表示,則這 k 個(gè)解向量構(gòu)成基礎(chǔ)解系。
二、 非齊次線性方程組
- 定義:Ax=b(非零向量)
- 相容:方程組有解,即:系數(shù)矩陣和增廣矩陣的秩相等;否則不相容
- 相容方程組的解的性質(zhì)(方程組有 n 個(gè)變量):
i. R(A)<n:存在無(wú)窮多解
ii. R(A)=n:唯一解
Chapter 4——向量空間
一、 向量(列向量)
- 向量 a,b 的內(nèi)積
是數(shù)值。
向量?jī)?nèi)積為 0 則兩向量正交 - 向量 a 的模
(a 各方向分量的平方和開(kāi)根)
- 柯西施瓦茨不等式:
二、 線性相關(guān)
- 對(duì)于 m 個(gè) n 維向量
,若存在一組不全為零的常數(shù)
,使得
,則這組向量線性相關(guān),否則線性無(wú)關(guān)。
- 上述表達(dá)于向量組中至少一個(gè)向量可以用其余的向量線性表示。
- 最大/極大線性無(wú)關(guān)組和秩:向量組 T 中選取其中 r 個(gè)向量,若這些向量線性無(wú)關(guān)而加上其他任一向量都線性相關(guān),則這 r 個(gè)向量是 T 的一個(gè)最大線性無(wú)關(guān)組,r 是 T 的秩。
三、 正交向量組
- 正交向量組:不含 0 向量的向量組中任兩個(gè)向量正交
標(biāo)準(zhǔn)正交向量組:向量均為單位向量的正交向量組
正交向量組線性無(wú)關(guān) - 方陣 A 是正交矩陣==A 的行/列向量組是標(biāo)準(zhǔn)正交向量組
- 施密特標(biāo)準(zhǔn)正交化
- 作用:將線性無(wú)關(guān)的向量組變?yōu)槠涞葍r(jià)的標(biāo)準(zhǔn)正交向量組
- 步驟:
i. 正交化:
...
ii. 標(biāo)準(zhǔn)化
四、 向量空間
- 定義:n 維向量構(gòu)成的非空集合,定義的加法和數(shù)乘滿足封閉性,且滿足八條定律(如交換律、結(jié)合律、分配率等)
- 向量空間的基和維數(shù):
設(shè)V是一向量空間,且滿足:
i.線性無(wú)關(guān);
ii.可由
線性表出
則稱(chēng)向量組為向量空間V的一組基底,r稱(chēng)為向量空間V的維數(shù),記為dim V = r。
- 過(guò)渡矩陣:可逆,右乘過(guò)渡矩陣可以進(jìn)行基變換。
Chapter 5——線性變換
一、 特征值
- 對(duì)方陣 A 滿足:
或
向量,其中 x 為非零向量,則:
x 為特征向量,為特征值。非方陣沒(méi)有特征值和特征向量。
- 特征值性質(zhì)
i. 特征值個(gè)數(shù)等于方陣 A 的階數(shù),但可能有重根或復(fù)數(shù)根
ii. AB 的特征值與 BA 相同,A 和其轉(zhuǎn)置矩陣的特征值相同,但特征矩陣不一定相同
iii.一個(gè)特征值對(duì)應(yīng)無(wú)窮多的特征向量,但一個(gè)特征向量只對(duì)應(yīng)一個(gè)特征值
iv. 所有特征值(包括重復(fù)的)的乘積=|A|
v. 所有特征值(包括重復(fù)的)的和=方陣 A 對(duì)角線元素和(矩陣的跡)
vi. 若是可逆方陣 A 的特征值,則
是
的特征值,特征向量不變
vii. 若是方陣 A 的特征值,則
是 Ak的特征值(k 為正整數(shù)),特征向量不變
viii. 若特征值各不相等,則對(duì)應(yīng)的特征向量線性無(wú)關(guān) - 特征值和特征向量計(jì)算
i.(特征多項(xiàng)式),解得對(duì)應(yīng)的所有
即所有的特征值
ii. 回代各進(jìn)
,解特征向量 x
- 特征值和特征向量的意義
i. 如果矩陣對(duì)某一個(gè)向量或某些向量只發(fā)生伸縮變換,不對(duì)這些向量產(chǎn)生旋轉(zhuǎn)的效果,那么這些向量就稱(chēng)為這個(gè)矩陣的特征向量,伸縮的比例就是特征值。
ii. 求特征向量,就是把矩陣 A 所代表的空間進(jìn)行正交分解,使得 A 的向量集合可以表示為每個(gè)向量 a 在各個(gè)特征向量上的投影長(zhǎng)度。通常求特征值和特征向量即為求出這個(gè)矩陣能使哪些向量只發(fā)生拉伸,而方向不發(fā)生變化,觀察其發(fā)生拉伸的程度。這樣做的意義在于,看清一個(gè)矩陣在哪些方面能產(chǎn)生最大的分散度,減少重疊,意味著更多的信息被保留下來(lái)。(PCA)
二、 相似矩陣
- 設(shè) A,B 為 n 階矩陣,如果有 n 階可逆矩陣 P 存在,使得
,則稱(chēng)矩陣 A 與 B相似,記為 A~B,P 為把 A 變成 B 的相似變換矩陣。
- 相似矩陣的性質(zhì):
i. 特征值相同,行列式相同
ii. 相似矩陣是等價(jià)矩陣的真子集
iii. N 個(gè)特征值互不相等,則 A 與對(duì)角矩陣相似;
有相等的特征值,A 不一定能相似對(duì)角化
三、 矩陣的相似對(duì)角化
- 目的:相似對(duì)角化后,對(duì)角線的值就是矩陣的 A 的 n 個(gè)特征值
- 只有實(shí)對(duì)稱(chēng)矩陣能正交相似對(duì)角化:
設(shè) A 為 n 階實(shí)對(duì)稱(chēng)矩陣,則必有正交矩陣 P,使,其中
是以 A的 n 個(gè)特征值為對(duì)角元的對(duì)角矩陣。
- 求實(shí)對(duì)稱(chēng)矩陣 A 的正交相似對(duì)角化矩陣 B 步驟:
i. 求 A 的 n 個(gè)(全部)特征值
ii. 對(duì)每個(gè)特征值求解其特征向量并將其正交化、標(biāo)準(zhǔn)化
iii. 這 N 個(gè)列向量按序拼接成對(duì)應(yīng)的變換矩陣 P,通過(guò) P-1
AP 求得正交對(duì)角矩陣 B
四、 n 階方陣的等價(jià)敘述:
n 個(gè)特征值互不相等(不一定可逆)n 個(gè)特征向量線性無(wú)關(guān)==矩陣 A 能相似對(duì)角化
Chapter 6——二次型及其標(biāo)準(zhǔn)形
Calculus
拉格朗日乘數(shù)
- 目的:尋找多元函數(shù)在其變量受到一個(gè)或多個(gè)條件的約束時(shí)的局部極值的方法。(最優(yōu)化問(wèn)題)
- 方法:將一個(gè)有n個(gè)變量與k個(gè)約束條件的最優(yōu)化問(wèn)題轉(zhuǎn)換為一個(gè)解有n + k個(gè)變量的方程組的解的問(wèn)題。這種方法中引入了一個(gè)或一組新的未知數(shù),即拉格朗日乘數(shù)
,這時(shí)只需要求下列拉格朗日函數(shù)的局部極值:
i. 記對(duì)其求導(dǎo)并使導(dǎo)數(shù)
為 0,i.e.,
ii. 求出的值,將其套入
,易求在無(wú)約束條件下的極值和對(duì)應(yīng)的極值點(diǎn)。
iii. 新方程在達(dá)到極值時(shí)與
相等。因?yàn)?img class="math-inline" src="https://math.jianshu.com/math?formula=F(x%2Cy%2C%5Clambda%20)" alt="F(x,y,\lambda )" mathimg="1">達(dá)到極值時(shí)
,而
,也就是說(shuō)
等于零。