轉(zhuǎn)自--https://www.cnblogs.com/endlesscoding/p/10033527.html
1、特征值分解（EVD）
實(shí)對(duì)稱矩陣
在理角奇異值分解之前，需要先回顧一下特征值分解，如果矩陣A是一個(gè)m×m的實(shí)對(duì)稱矩陣（即A=A^T），那么它可以被分解成如下的形式
其中Q為標(biāo)準(zhǔn)正交陣，即有QQ^T=E，Σ為對(duì)角矩陣，且上面的矩陣的維度均為m×m。λi稱為特征值，qi是Q（特征矩陣）中的列向量，稱為特征向量。
一般矩陣
上面的特征值分解，對(duì)矩陣有著較高的要求，它需要被分解的矩陣A為實(shí)對(duì)稱矩陣，但是現(xiàn)實(shí)中，我們所遇到的問題一般不是實(shí)對(duì)稱矩陣。那么當(dāng)我們碰到一般性的矩陣，即有一個(gè)m×n的矩陣A，它是否能被分解成上面的式（1-1）的形式呢？當(dāng)然是可以的，這就是我們下面要討論的內(nèi)容。
2、奇異值分解（SVD）
2.1 奇異值分解定義
有一個(gè)m×n的實(shí)數(shù)矩陣A，我們想要把它分解成如下的形式
其中U和V均為單位正交陣，即有UU^T=E和VVT=E，U稱為左奇異矩陣，V稱為右奇異矩陣，Σ僅在主對(duì)角線上有值，我們稱它為奇異值，其它元素均為0。上面矩陣的維度分別是U∈R^m×m,?Σ∈R^m×n,?V∈R^n×n。一般地Σ有如下形式
對(duì)于奇異值分解，我們可以利用上面的圖形象表示，圖中方塊的顏色表示值的大小，顏色越淺，值越大。對(duì)于奇異值矩陣Σ，只有其主對(duì)角線有奇異值，其余均為0。
2.2 奇異值求解
正常求上面的U,V,ΣU,V,Σ不便于求，我們可以利用如下性質(zhì)
注：需要指出的是，這里ΣΣ^T與Σ^TΣ在矩陣的角度上來講，它們是不相等的，因?yàn)樗鼈兊木S數(shù)不同ΣΣ^T∈Rm×m，而Σ^TΣ∈Rn×n，但是它們?cè)谥鲗?duì)角線的奇異值是相等的，即有
可以看到式（2-2）與式（1-1）的形式非常相同，進(jìn)一步分析，我們可以發(fā)現(xiàn)AA^T和A^TA也是對(duì)稱矩陣，那么可以利用式（1-1），做特征值分解。利用式（2-2）特征值分解，得到的特征矩陣即為U；利用式（2-3）特征值分解，得到的特征矩陣即為V；對(duì)ΣΣ^T或Σ^TΣ中的特征值開方，可以得到所有的奇異值。
3、奇異值分解應(yīng)用
3.1 純數(shù)學(xué)例子
假設(shè)我們現(xiàn)在有矩陣A，需要對(duì)其做奇異值分解，已知
分別對(duì)上面做特征值分解，得到如下結(jié)果
奇異值Σ=Diag(18.54,1.83,5.01)Σ=Diag(18.54,1.83,5.01)
總結(jié)
從上面的圖片的壓縮結(jié)果中可以看出來，奇異值可以被看作成一個(gè)矩陣的代表值，或者說，奇異值能夠代表這個(gè)矩陣的信息。當(dāng)奇異值越大時(shí)，它代表的信息越多。因此，我們?nèi)∏懊嫒舾蓚€(gè)最大的奇異值，就可以基本上還原出數(shù)據(jù)本身。如下，可以作出奇異值數(shù)值變化和前部分奇異值和的曲線圖，如下圖所示
從上面的第1個(gè)圖，可以看出，奇異值下降是非?？斓模虼丝梢灾蝗∏懊鎺讉€(gè)奇異值，便可基本表達(dá)出原矩陣的信息。從第2個(gè)圖，可以看出，當(dāng)取到前100個(gè)奇異值時(shí)，這100個(gè)奇異值的和已經(jīng)占總和的95%左右。
