ICA的4要素：
- X->Y為線性變換
- 新特征空間中 Y_i 之間相互統(tǒng)計(jì)獨(dú)立。即I(Y_i,Y_j)=0
- 可逆。X->Y，同時(shí) Y->X。
- 新特征Y_i 與原始特征X_i有較高的互信息 即I(Y_i,X_i)=正無窮
image.png
應(yīng)用背景
根據(jù)觀察變量X，經(jīng)過線性變化，推測出互相獨(dú)立的隱變量Y。
image.png
Blind source separation 盲源分離demo
如下圖，雞尾酒會(huì)中有3個(gè)人同時(shí)說話，3個(gè)人的聲音經(jīng)過線性疊加（物理學(xué)原理）分別記錄到了3個(gè)麥克風(fēng)中，任務(wù)是：根據(jù)3個(gè)麥克風(fēng)的錄音，獨(dú)立分離出3個(gè)人的說話內(nèi)容。
注意：必須同時(shí)使用3個(gè)麥克風(fēng)才能恢復(fù)出原始聲音，只使用1個(gè)或兩個(gè)麥克風(fēng)是實(shí)現(xiàn)不了的！
image.png
PCA 與 ICA 區(qū)別
image.png
通過例子說明 PCA 與 ICA 區(qū)別
PCA針對(duì)全局找特征，而ICA會(huì)針對(duì)局部找特征，因此：
- 針對(duì)人臉數(shù)據(jù)集
PCA找出的特征代表 亮度臉、平均臉。。。等全局的特征臉；而ICA找出的成分則是：鼻子、嘴巴、眼睛這種信息。 - 針對(duì)景觀數(shù)據(jù)集
PCA還是找到的亮度圖。。ICA會(huì)檢測出edges成分。 - 針對(duì)文檔數(shù)據(jù)集
PCA是找到是？。。ICA會(huì)檢測出topics成分。
image.png
RCA
RCA：隨機(jī)成分分析，也叫隨機(jī)投影。隨機(jī)選擇投影方向（不是向PCA選擇方差最大的方向），因此投影矩陣是隨機(jī)的。實(shí)驗(yàn)表明這種方式很有效，原因沒搞明白，可能就是集成，類比猴子扔飛鏢決策效果優(yōu)于投資者的例子。最大優(yōu)點(diǎn)是隨機(jī)投影運(yùn)行速度極快！
LDA
線性判別分析。
PCA、ICA、RCA都是無監(jiān)督的。LDA是監(jiān)督算法。LDA會(huì)根據(jù)標(biāo)簽，選擇線性投影矩陣，這在分類問題上很適用。
