從SVD的應(yīng)用理解SVD

含義角度解釋(物理意義角度)

奇異值往往對(duì)應(yīng)著矩陣中隱含的重要信息,且重要性和奇異值大小正相關(guān)。每個(gè)矩陣都可以表示為一系列秩為1的“小矩陣”之和,而奇異值則衡量了這些“小矩陣”對(duì)于的權(quán)重

幾何角度解釋(線性變換的角度)

奇異值分解的含義是,把一個(gè)矩陣A看成線性變換(當(dāng)然也可以看成是數(shù)據(jù)矩陣或者樣本矩陣),那么這個(gè)線性變換的作用效果是這樣的,我們可以在原空間找到一組標(biāo)準(zhǔn)正交基V,同時(shí)可以在像空間找到一組標(biāo)準(zhǔn)正交基U,我們知道,看一個(gè)矩陣的作用效果只要看它在一組基上的作用效果即可,在內(nèi)積空間上,我們更希望看到它在一組標(biāo)準(zhǔn)正交基上的作用效果。而矩陣A在標(biāo)準(zhǔn)正交基V上的作用效果恰好可以表示為在U的對(duì)應(yīng)方向上只進(jìn)行純粹的伸縮!這就大大簡化了我們對(duì)矩陣作用的認(rèn)識(shí),因?yàn)槲覀冎溃覀兠媲安还苁嵌嗝磸?fù)雜的矩陣,它在某組標(biāo)準(zhǔn)正交基上的作用就是在另外一組標(biāo)準(zhǔn)正交基上進(jìn)行伸縮而已。


image

這就表明任意的矩陣 A 是可以分解成三個(gè)矩陣相乘的形式。V表示了原始域的標(biāo)準(zhǔn)正交基,U表示經(jīng)過A 變換后的co-domain的標(biāo)準(zhǔn)正交基,Σ表示了V 中的向量與U中相對(duì)應(yīng)向量之間的關(guān)系。我們仔細(xì)觀察上圖發(fā)現(xiàn),線性變換A可以分解為旋轉(zhuǎn)、縮放旋轉(zhuǎn)這三種基本線性變換。

[圖片上傳失敗...(image-b3fd09-1524467528745)]

∑是對(duì)角陣,表示奇異值,A矩陣的作用是將一個(gè)向量在V這組正交基向量的空間旋轉(zhuǎn),并對(duì)每個(gè)方向進(jìn)行了一定的縮放,縮放因子就是各個(gè)奇異值。然后在U這組正交基向量的空間再次旋轉(zhuǎn)??梢哉f奇異值分解將一個(gè)矩陣原本混合在一起的三種作用效果,分解出來了

應(yīng)用

不同角度的奇異值解釋

1、推薦系統(tǒng)

左奇異值矩陣U:用戶-潛在因子矩陣
左奇異值矩陣V:潛在因子-音樂矩陣
∑:潛在因子的重要度
潛在因子指的是物品的特征

一,用戶-潛在因子矩陣U,表示不同的用戶對(duì)于不用元素的偏好程度,1代表很喜歡,0代表不喜歡。比如下面這樣:

image

二,潛在因子-音樂矩陣 V,表示每種音樂含有各種元素的成分,比如下表中,音樂A是一個(gè)偏小清新的音樂,含有小清新這個(gè)Latent Factor的成分是0.9,重口味的成分是0.1,優(yōu)雅的成分是0.2……

image

在推薦系統(tǒng)里面,代表
SVD奇異值分解(3)-推薦算法應(yīng)用
https://cloud.tencent.com/developer/article/1049377

2、LSI 文本

左奇異值矩陣U:詞-潛在因子矩陣
左奇異值矩陣V:潛在因子-文章
∑:潛在因子的重要度
潛在因子指的是詞的隱含含義
https://my.oschina.net/u/1462678/blog/893835

這就是一個(gè)矩陣,不過不太一樣的是,這里的一行表示一個(gè)詞在哪些title中出現(xiàn)了(一行就是之前說的一維feature),一列表示一個(gè)title中有哪些詞,(這個(gè)矩陣其實(shí)是我們之前說的那種一行是一個(gè)sample的形式的一種轉(zhuǎn)置,這個(gè)會(huì)使得我們的左右奇異向量的意義產(chǎn)生變化,但是不會(huì)影響我們計(jì)算的過程)。比如說T1這個(gè)title中就有g(shù)uide、investing、market、stock四個(gè)詞,各出現(xiàn)了一次,我們將這個(gè)矩陣進(jìn)行SVD,得到下面的矩陣:

image

左奇異向量表示詞的一些特性,右奇異向量表示文檔的一些特性,中間的奇異值矩陣表示左奇異向量的一行與右奇異向量的一列的重要程序,數(shù)字越大越重要。

繼續(xù)看這個(gè)矩陣還可以發(fā)現(xiàn)一些有意思的東西,首先,左奇異向量的第一列表示每一個(gè)詞的出現(xiàn)頻繁程度,雖然不是線性的,但是可以認(rèn)為是一個(gè)大概的描述,比如book是0.15對(duì)應(yīng)文檔中出現(xiàn)的2次,investing是0.74對(duì)應(yīng)了文檔中出現(xiàn)了9次,rich是0.36對(duì)應(yīng)文檔中出現(xiàn)了3次;

其次,右奇異向量中的第一行表示每一篇文檔中的出現(xiàn)詞的個(gè)數(shù)的近似,比如說,T6是0.49,出現(xiàn)了5個(gè)詞,T2是0.22,出現(xiàn)了2個(gè)詞。

3、圖像壓縮
4、求解AX=0方程
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容