摘要

SVD (Singular Value Decomposition,奇異值分解)揭示了線性變換的本質(zhì)，對(duì)一個(gè)矩陣進(jìn)行奇異值的過(guò)程，就是將一個(gè)復(fù)雜的，難以直觀理解的線性變換，分解為多步直觀的變換的過(guò)程。矩陣的奇異值分解，可以與傅里葉變換類比。

1 SVD的涵義

我們已經(jīng)知道矩陣 $A$ 的奇異值分解形式如下
$A=U \Sigma V^T$
其中 $U$ 和 $V$ 均為酉矩陣（正交矩陣在復(fù)數(shù)域的拓展，即 $U^T=U^{-1}$ ）。
事實(shí)上，對(duì)于矩陣 $A$ 的奇異值分解，將一個(gè)通用線性變換分解成為了“旋轉(zhuǎn) $\to$ 拉伸 $\to$ 旋轉(zhuǎn)”三個(gè)簡(jiǎn)單的變換，接下來(lái)將通過(guò)一個(gè)實(shí)例展示這個(gè)過(guò)程。
$\begin{aligned} A &= \begin{bmatrix} 1&-2\\ 1&2\\ \end{bmatrix} \\ &=\begin{bmatrix} -0.707&-0.707\\ 0.707& -0.707\ \end{bmatrix} \begin{bmatrix} 2.828&0\\ 0& 1.414\ \end{bmatrix} \begin{bmatrix} 0&-1\\ 1& 0\ \end{bmatrix} \end{aligned}$
為了展示線性變換（矩陣 $A$ ）的效果，我們以單位圓為載體。若 $\vec x_i$ 表示單位圓上的任意一點(diǎn)，則對(duì)單位圓上的每一點(diǎn)進(jìn)行運(yùn)算: $A \vec x_i$ ,變換效果如下：

單位圓線性變換效果

線性變換分解

奇異值分解流程

由此可見(jiàn)，奇異值的大小在線性變換中的作用極為重要。在上述實(shí)例中，若奇異值,則經(jīng)過(guò)拉伸變換之后的單位圓將接近一條直線，這條直線就是當(dāng)時(shí)對(duì)應(yīng)的線性變換結(jié)果。

2 SVD的求解

由于“實(shí)對(duì)稱矩陣必定可以正交對(duì)角化”，則對(duì)于任意矩陣 $A$ 的奇異值分解過(guò)程可按照下述流程進(jìn)行。
$\begin{align} AA^T= U \Sigma^2 U^T \\ A^TA = V\Sigma^2V^T \end{align}$
又
$A=U\Sigma V^T$
即
$AV = U \Sigma$
設(shè)
$\begin{align} &U = \begin{bmatrix} \vec u_1&\vec u_2 &\dots &\vec u_i \end{bmatrix} \\ &V = \begin{bmatrix} \vec v^T_1\\ \vec v^T \\ \vdots \\ \vec v^T_j \end{bmatrix} \\ &\Sigma = \begin{bmatrix} \sigma_1 & 0 & \dots\\ 0&\sigma_2 & \dots \\ \dots & \dots &\sigma_k \end{bmatrix} \end{align}$
其中 $\vec u_i \vec v_i$ 均為列向量。
則有
$\begin{align} &A\vec v_i=\sigma_i \vec u_i \end{align}$