是干什么的？

首先有一組數(shù)據(jù)藍(lán)色點(diǎn)，PCA所謂的降維操作就是找到一個新的坐標(biāo)系（旋轉(zhuǎn)的兩條直線式垂直的，我們可以用一組標(biāo)準(zhǔn)正交基來指示），然后減掉其中一些維度，使誤差足夠小。

image.png

基本思路

假設(shè)我們有一個數(shù)據(jù) $X_{n*m}$ ，其中n代表了特征的個數(shù)，m代表了樣本數(shù)。首先對 $X$ 的特征進(jìn)行零均值化。

協(xié)方差矩陣 $C_{n*n} = XX^T$ （這里應(yīng)該除以m，不妨礙推導(dǎo)），C的對角線代表了特征自身的方差，而其他位置比如 $C_{i,j}$ 代表了特征 $i$ 和特征 $j$ 之間的協(xié)方差。

我們想要對原來的數(shù)據(jù)X做一個行變換 $A_{n*n}$ ，把原來的特征組合成新的特征，而新的特征之間沒有關(guān)聯(lián)，也就是新的矩陣 $Y_{n*m}$ 的協(xié)方差矩陣?yán)镏挥袑蔷€元素，其他位置都是0.

Want: $YY^T=\Lambda$ ， $\Lambda$ 是一個對角陣

帶入 $Y=AX$ 得到 $(AX)(AX)^T=\Lambda$ ，展開得到 $AXX^TA^T=\Lambda$ ，同志們這不就是對 $XX^T$ 進(jìn)行對角化嗎？因?yàn)?img class="math-inline" src="https://math.jianshu.com/math?formula=XX%5ET" alt="XX^T" mathimg="1">是實(shí)對稱矩陣，一定可以對角化 $XX^T=Q{\Lambda}Q^T$ ，原式中的 $A$ 就是對角化后的特征向量矩陣 $Q^T$