數(shù)學(xué)基礎(chǔ)

Linear Algebra

Chapter 1——行列式

一、逆序數(shù)

  1. 在一個(gè)排列中,如果一對(duì)數(shù)的前后位置與大小順序相反,即前面的數(shù)大于后面的數(shù),那么它們就稱(chēng)為一個(gè)逆序。一個(gè)排列中逆序的總數(shù)就稱(chēng)為這個(gè)排列的逆序數(shù)。
  2. 求解:依次查詢排列中每個(gè)數(shù)字前比他大的數(shù)字個(gè)數(shù),累加起來(lái)就是逆序數(shù)。

二、 行列式

  1. 行列式是一個(gè)值,不是一個(gè)矩陣。設(shè)矩陣為 A,則 det(A) 為或|A|行列式。

計(jì)算: D=\sum (-1)^n a_{1k_1}a_{2k_2}a_{3k_3},kk_1,k_2,…,k_n 排列的逆序數(shù)

  1. 性質(zhì):
    [1] D=D^T
    [2] 互換兩行或兩列,行列式變?yōu)樵档南喾磾?shù)
    [3] D = \begin{vmatrix} a_{11} & a_{12} & ... & a_{1j} + b_{1j} & ... & a_{1n} \\ a_{21} & a_{22} & ... & a_{2j} + b_{2j} & ... & a_{2n} \\ ... & ... & ... & ... & ... & ... \\ a_{n1} & a_{n2} & ... & a_{nj} + b_{nj} & ... & a_{nn} \\ \end{vmatrix} = \begin{vmatrix} a_{11} & a_{12} & ... & a_{1j} & ... & a_{1n} \\ a_{21} & a_{22} & ... & a_{2j} & ... & a_{2n} \\ ... & ... & ... & ... & ... & ... \\ a_{n1} & a_{n2} & ... & a_{nj} & ... & a_{nn} \\ \end{vmatrix} + \begin{vmatrix} a_{11} & a_{12} & ... & b_{1j} & ... & a_{1n} \\ a_{21} & a_{22} & ... & b_{2j} & ... & a_{2n} \\ ... & ... & ... & ... & ... & ... \\ a_{n1} & a_{n2} & ... & b_{nj} & ... & a_{nn} \\ \end{vmatrix}
    [4] 把行列式的某一列(行)的各元素乘以同一數(shù)然后加到另一列(行)對(duì)應(yīng)的元素上去,行列式不變。

三、代數(shù)余子式

  1. 在 n 階行列式中,劃去元 a_{ij} 所在的第 i 行與第 j 列的元,剩下的元不改變?cè)瓉?lái)的順序所構(gòu)成的 n-1 階行列式稱(chēng)為元 a_{ij} 的余子式。數(shù)學(xué)表示上計(jì)作 M_{ij}。
  2. a_{ij} 的代數(shù)余子式: A_{ij} = (-1)^{i+j} M_{ij}。
  3. 行列式等于它任意一行(列)的各元素與其對(duì)應(yīng)的代數(shù)式余子式乘積之和。
    D=a_{i1}A_{i1}+a_{i2}A_{i2}+......+a_{in}A_{in} (i=1,2,3,......n) = a_{1j}A_{1j}+a_{2j}A_{2j}+......+a_{nj}A_{nj} (j=1,2,3,......n)
  4. 范德蒙特行列式計(jì)算:
    D = \begin{vmatrix} 1 & 1 & ... & 1 \\ x_{1} & x_{2} & ... & x_{n} \\ x_{1}^2 & x_{2}^2 & ... & x_{n}^2 \\ ... & ... & ... & ... \\ x_{1}^n-1 & x_{2}^n-1 & ... & x_{n}^n-1 \\ \end{vmatrix} = \prod_{n \geq i \geq j \geq 1}^{} (x_i - x_j)

Chapter 2——矩陣

一、矩陣性質(zhì)

  1. 滿足分配律和結(jié)合律,不滿足交換律
  2. AB=0,則:
    若 A、B 均為非零矩陣,則 A、B 的行列式均為 0
    若有一個(gè)是可逆矩陣,則另一個(gè)是 0 矩陣
  3. 轉(zhuǎn)置矩陣性質(zhì):
  • (A+B)^T = A^T + B^T
  • (AB)^T = B^TA^T
  1. 對(duì)稱(chēng)矩陣:A^T = A
  2. 對(duì) n 階方陣 A 的行列式:
    |\lambda A|=\lambda^nA |AB|=|A||B| |AB|≠|(zhì)BA|
  3. 數(shù)量矩陣:對(duì)角矩陣的對(duì)角線上的元相等

二、 矩陣的秩 R(A)

  1. k 階子式:在一個(gè)矩陣或行列式中取 k 行 k 列,交叉處的 k^2 個(gè)元素按原順序構(gòu)成的行列式
  2. 最高階非零子式:矩陣 A 有一個(gè)不等于 0 的 r 階子式 D,且所有 r+1 階子式均為 0,則 D 是 A 的最高階非零子式
  3. 矩陣的秩:矩陣最高階非零子式為 r 階子式,r 為該矩陣的秩
  4. n 階方陣等價(jià)的定義:
    滿秩矩陣==可逆矩陣==非奇異矩陣==標(biāo)準(zhǔn)型是 E==可表示為有限==個(gè)初等方陣乘積==行/列向量組線性無(wú)關(guān)==特征值全不為 0==行列式不為 0
    降秩矩陣==不可逆矩陣==奇異矩陣==行/列向量組線性相關(guān)==特征值有 0==行列式為 0
  5. 矩陣的秩的大小關(guān)系
    R(AB)<=min(R(A),R(B))<=max(R(A),R(B))<=R(A|B)<=R(A+B) <= R(A)+R(B) 其中,A|B 是 A 和 B 橫向拼接

三、 矩陣變換

  1. 矩陣的初等變換
  • 某一行(列),乘以一個(gè)非零倍數(shù)。
  • 某一行(列),乘以一個(gè)非零倍數(shù),加到另一行(列)。
  • 某兩行(列),互換。
  1. 矩陣等價(jià)
    A 與 B 等價(jià)(A∽B):A 經(jīng)過(guò)有限次初等變換變?yōu)?B。R(A)=R(B),|A|不一定等于|B|。

  2. 最簡(jiǎn)形矩陣:矩陣滿足(1)是階梯形矩陣;(2)所有的非零行的第一個(gè)非零元素均為 1,且其所在列中的其他元素都是零。
    任何一個(gè)非零矩陣總可以經(jīng)過(guò)有限次初等變換為階梯形矩陣和最簡(jiǎn)階梯形矩陣,非零行行數(shù)為矩陣的秩。

  3. 標(biāo)準(zhǔn)形矩陣:矩陣的左上角是單位矩陣,其余三部分可以沒(méi)有或者是 0 變換方法:先變?yōu)樾凶詈?jiǎn)形再變?yōu)榱凶詈?jiǎn)形

  4. 逆矩陣:AB=BA=E,A 和 B 互為逆矩陣

  5. 逆矩陣性質(zhì):({\lambda}A)^{-1} = \frac {1}{\lambda} *A^{-1} (AB)^{-1} = B^{-1} A^{-1} (A^{-1})^T = (A^T)^{-1} |A^{-1}| = |A|^{-1}

  6. 伴隨矩陣 A^*:A 中各元的代數(shù)余子式轉(zhuǎn)置后組成的矩陣
    性質(zhì):
    i. A^* =|A|A^{-1} (基本性質(zhì))
    ii. AA^*=A^*A=|A|E
    iii. |A^*|=|A|^{n?1}
    iv. (AT)^*=(A^*)T (A?1)^*=(A^*)?1
    v. (AB)^*=B^*A^*
    vi. (A^*)^*=|A|n?2A
    vii. R(A)=n,則R(A^*)=n
    viii. R(A)=n-1,則 R(A^*)=1
    ix. R(A)<n-1,則 R(A^*)=0

  7. 正交矩陣:AA^T=A^TA=E
    正交矩陣 A 的性質(zhì):
    i. A^*正交
    ii. |A|=±1
    iii. A 可逆且 A^{-1}=A^T

  8. 求解矩陣(左行右列)
    i. AX=B: (A B) \rightarrow (E X)
    ii. XA=B: (A B)^T \rightarrow (E X)^T

  9. 增廣矩陣:系數(shù)矩陣 A | 等號(hào)右側(cè)常數(shù)項(xiàng) B
    R(A)<R(A|B):方程組無(wú)解

Chapter 3——線性方程組

一、齊次線性方程組

  1. 定義:Ax=0 向量,A 是系數(shù)矩陣,x 是(列)解向量
  2. 解的性質(zhì)(方程組有 n 個(gè)變量):
    i. R(A)<n:存在非零解
    ii. R(A)=n:只有零解
  3. 基礎(chǔ)解系:齊次線性方程組的 k 個(gè)解向量滿足向量組線性無(wú)關(guān),解空間中其他向量都可以用這 k 個(gè)向量線性表示,則這 k 個(gè)解向量構(gòu)成基礎(chǔ)解系。

二、 非齊次線性方程組

  1. 定義:Ax=b(非零向量)
  2. 相容:方程組有解,即:系數(shù)矩陣和增廣矩陣的秩相等;否則不相容
  3. 相容方程組的解的性質(zhì)(方程組有 n 個(gè)變量):
    i. R(A)<n:存在無(wú)窮多解
    ii. R(A)=n:唯一解

Chapter 4——向量空間

一、 向量(列向量)

  1. 向量 a,b 的內(nèi)積(a,b)=a·b=a_1b_1+a_2b_2+……+a_nb_n = |a| |b| \cos \theta 是數(shù)值。
    向量?jī)?nèi)積為 0 則兩向量正交
  2. 向量 a 的模||a||= \sqrt {a_1+a_2...+a_n} (a 各方向分量的平方和開(kāi)根)
  3. 柯西施瓦茨不等式:(a,b)^2 \leq (a,a)(b,b)

二、 線性相關(guān)

  1. 對(duì)于 m 個(gè) n 維向量 a_1,a_2,…,a_m,若存在一組不全為零的常數(shù) b_1,b_2,…b_m,使得 a_1b_1+a_2b_2+…+a_nb_n=零向量,則這組向量線性相關(guān),否則線性無(wú)關(guān)。
  2. 上述表達(dá)于向量組中至少一個(gè)向量可以用其余的向量線性表示。
  3. 最大/極大線性無(wú)關(guān)組和秩:向量組 T 中選取其中 r 個(gè)向量,若這些向量線性無(wú)關(guān)而加上其他任一向量都線性相關(guān),則這 r 個(gè)向量是 T 的一個(gè)最大線性無(wú)關(guān)組,r 是 T 的秩。

三、 正交向量組

  1. 正交向量組:不含 0 向量的向量組中任兩個(gè)向量正交
    標(biāo)準(zhǔn)正交向量組:向量均為單位向量的正交向量組
    正交向量組線性無(wú)關(guān)
  2. 方陣 A 是正交矩陣==A 的行/列向量組是標(biāo)準(zhǔn)正交向量組
  3. 施密特標(biāo)準(zhǔn)正交化
  • 作用:將線性無(wú)關(guān)的向量組變?yōu)槠涞葍r(jià)的標(biāo)準(zhǔn)正交向量組
  • 步驟:
    i. 正交化:
    \beta_1 = \alpha_1
    \beta_2 = \alpha_2 - \frac{\langle \alpha_1, \beta_1\rangle}{\langle\beta_1, \beta_1\rangle}\beta_1
    ...
    \beta_m = \alpha_m - \frac{\langle \alpha_m, \beta_1\rangle}{\langle \beta_1, \beta_1\rangle}\beta_1 - \frac{\langle \alpha_m, \beta_2\rangle}{\langle \beta_2, \beta_2\rangle}\beta_2 - ... - \frac{\langle \alpha_m, \beta_m-1\rangle}{\langle \beta_m-1, \beta_m-1\rangle}\beta_m-1
    ii. 標(biāo)準(zhǔn)化
    e_i = \frac{\beta_i}{||\beta_i||}(i = 1, 2, ..., m)

四、 向量空間

  1. 定義:n 維向量構(gòu)成的非空集合,定義的加法和數(shù)乘滿足封閉性,且滿足八條定律(如交換律、結(jié)合律、分配率等)
  2. 向量空間的基和維數(shù):
    設(shè)V是一向量空間,a_1, a_2, ..., a_r \in V 且滿足:
    i. a_1, a_2, ..., a_r 線性無(wú)關(guān);
    ii. \forall \beta \in V, \beta 可由 a_1, a_2, ..., a_r 線性表出
    則稱(chēng)向量組a_1, a_2, ..., a_r為向量空間V的一組基底,r稱(chēng)為向量空間V的維數(shù),記為dim V = r。
  3. 過(guò)渡矩陣:可逆,右乘過(guò)渡矩陣可以進(jìn)行基變換。

Chapter 5——線性變換

一、 特征值

  1. 對(duì)方陣 A 滿足:Ax=\lambda x(A-\lambda E)x=0 向量,其中 x 為非零向量,則:
    x 為特征向量,\lambda為特征值。非方陣沒(méi)有特征值和特征向量。
  2. 特征值性質(zhì)
    i. 特征值個(gè)數(shù)等于方陣 A 的階數(shù),但可能有重根或復(fù)數(shù)根
    ii. AB 的特征值與 BA 相同,A 和其轉(zhuǎn)置矩陣的特征值相同,但特征矩陣不一定相同
    iii.一個(gè)特征值對(duì)應(yīng)無(wú)窮多的特征向量,但一個(gè)特征向量只對(duì)應(yīng)一個(gè)特征值
    iv. 所有特征值(包括重復(fù)的)的乘積=|A|
    v. 所有特征值(包括重復(fù)的)的和=方陣 A 對(duì)角線元素和(矩陣的跡)
    vi. 若\lambda是可逆方陣 A 的特征值,則 \frac{1}{\lambda}A^{-1}的特征值,特征向量不變
    vii. 若\lambda是方陣 A 的特征值,則\lambda k 是 Ak的特征值(k 為正整數(shù)),特征向量不變
    viii. 若特征值各不相等,則對(duì)應(yīng)的特征向量線性無(wú)關(guān)
  3. 特征值和特征向量計(jì)算
    i. |A-\lambda E|=0(特征多項(xiàng)式),解得對(duì)應(yīng)的所有\lambda即所有的特征值
    ii. 回代各\lambda進(jìn)(A-\lambda E)x=0,解特征向量 x
  4. 特征值和特征向量的意義
    i. 如果矩陣對(duì)某一個(gè)向量或某些向量只發(fā)生伸縮變換,不對(duì)這些向量產(chǎn)生旋轉(zhuǎn)的效果,那么這些向量就稱(chēng)為這個(gè)矩陣的特征向量,伸縮的比例就是特征值。
    ii. 求特征向量,就是把矩陣 A 所代表的空間進(jìn)行正交分解,使得 A 的向量集合可以表示為每個(gè)向量 a 在各個(gè)特征向量上的投影長(zhǎng)度。通常求特征值和特征向量即為求出這個(gè)矩陣能使哪些向量只發(fā)生拉伸,而方向不發(fā)生變化,觀察其發(fā)生拉伸的程度。這樣做的意義在于,看清一個(gè)矩陣在哪些方面能產(chǎn)生最大的分散度,減少重疊,意味著更多的信息被保留下來(lái)。(PCA)

二、 相似矩陣

  1. 設(shè) A,B 為 n 階矩陣,如果有 n 階可逆矩陣 P 存在,使得 P^{-1}AP=B,則稱(chēng)矩陣 A 與 B相似,記為 A~B,P 為把 A 變成 B 的相似變換矩陣。
  2. 相似矩陣的性質(zhì):
    i. 特征值相同,行列式相同
    ii. 相似矩陣是等價(jià)矩陣的真子集
    iii. N 個(gè)特征值互不相等,則 A 與對(duì)角矩陣相似;
    有相等的特征值,A 不一定能相似對(duì)角化

三、 矩陣的相似對(duì)角化

  1. 目的:相似對(duì)角化后,對(duì)角線的值就是矩陣的 A 的 n 個(gè)特征值
  2. 只有實(shí)對(duì)稱(chēng)矩陣能正交相似對(duì)角化:
    設(shè) A 為 n 階實(shí)對(duì)稱(chēng)矩陣,則必有正交矩陣 P,使 P^{-1}AP=P^TAP=\Lambda,其中\Lambda 是以 A的 n 個(gè)特征值為對(duì)角元的對(duì)角矩陣。
  3. 求實(shí)對(duì)稱(chēng)矩陣 A 的正交相似對(duì)角化矩陣 B 步驟:
    i. 求 A 的 n 個(gè)(全部)特征值
    ii. 對(duì)每個(gè)特征值求解其特征向量并將其正交化、標(biāo)準(zhǔn)化
    iii. 這 N 個(gè)列向量按序拼接成對(duì)應(yīng)的變換矩陣 P,通過(guò) P-1
    AP 求得正交對(duì)角矩陣 B
    四、 n 階方陣的等價(jià)敘述:
    n 個(gè)特征值互不相等(不一定可逆) \rightarrow n 個(gè)特征向量線性無(wú)關(guān)==矩陣 A 能相似對(duì)角化

Chapter 6——二次型及其標(biāo)準(zhǔn)形

Calculus

拉格朗日乘數(shù)

  1. 目的:尋找多元函數(shù)在其變量受到一個(gè)或多個(gè)條件的約束時(shí)的局部極值的方法。(最優(yōu)化問(wèn)題)
  2. 方法:將一個(gè)有n個(gè)變量與k個(gè)約束條件的最優(yōu)化問(wèn)題轉(zhuǎn)換為一個(gè)解有n + k個(gè)變量的方程組的解的問(wèn)題。這種方法中引入了一個(gè)或一組新的未知數(shù),即拉格朗日乘數(shù)\lambda,這時(shí)只需要求下列拉格朗日函數(shù)的局部極值:\mathcal {L}(x,y,\lambda )=f(x,y)-\lambda \cdot g(x,y)
    i. 記 F\left(x,y,\lambda \right)=f\left(x,y\right)+\lambda \left(g\left(x,y\right)-c\right) 對(duì)其求導(dǎo)并使導(dǎo)數(shù)F\left(x,y,\lambda \right)'為 0,i.e., \nabla f\left(x,y\right)=-\lambda \nabla \left(g\left(x,y\right)-c\right) \Leftrightarrow \nabla {\Big [}f\left(x,y\right)+\lambda \left(g\left(x,y\right)-c\right){\Big ]}={\boldsymbol {0}}
    ii. 求出\lambda 的值,將其套入F\left(x,y,\lambda \right)=f\left(x,y\right)+\lambda \left(g\left(x,y\right)-c\right) ,易求在無(wú)約束條件下的極值和對(duì)應(yīng)的極值點(diǎn)。
    iii. 新方程 F(x,y,\lambda ) 在達(dá)到極值時(shí)與 f(x,y) 相等。因?yàn)?img class="math-inline" src="https://math.jianshu.com/math?formula=F(x%2Cy%2C%5Clambda%20)" alt="F(x,y,\lambda )" mathimg="1">達(dá)到極值時(shí) \nabla F(x,y,\lambda )=0,而 {\frac {\partial F}{\partial \lambda }}=g\left(x,y\right)-c,也就是說(shuō) g(x,y)-c 等于零。
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書(shū)系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

友情鏈接更多精彩內(nèi)容