主成分分析PCA

1.尋找方差最大維度
2.用PCA降維

線性判別分析LDA

1.雙重標(biāo)準(zhǔn)
考慮標(biāo)簽，最大化類(lèi)間樣本的方差，最小化類(lèi)內(nèi)樣本的方差。

多維標(biāo)度法MDS

1.保留距離信息的線性變換
降維前后樣本之間的距離盡量保持一致
2.MDS的重要變形
非計(jì)量MDS
PCA可以看作CMDS使用歐式公式計(jì)算原始樣本距離時(shí)的一種特殊情況

流形學(xué)習(xí)之Isomap

流形是局部具有歐幾里得性質(zhì)的空間，通常嵌入比該局部空間更高維的外圍非歐幾里得空間中。
地球本身是一個(gè)非歐幾里得空間。
流形學(xué)習(xí)的目的是將嵌入在外圍空間中的流形提取到與其內(nèi)蘊(yùn)空間同構(gòu)的新的低維空間中。
測(cè)地線距離：沿著流形內(nèi)蘊(yùn)空間測(cè)量的距離。

流形學(xué)習(xí)之局部嵌入

局部嵌入是一簇只考慮相互鄰近樣本關(guān)系的模型。
1.局部線性嵌入LLE
一種以保持每個(gè)樣本與鄰近樣本之間距離作為降維目標(biāo)的流形學(xué)習(xí)方法。
選擇近鄰-建立權(quán)重系數(shù)矩陣-降維
2.拉普拉斯特征映射LE
LE圍繞保持拉普拉斯的矩陣進(jìn)行降維
3.譜聚類(lèi)
譜聚類(lèi)=拉普拉斯映射+K-means聚類(lèi)

流形學(xué)習(xí)之t-SNE

T分布隨機(jī)近鄰嵌入：使用概率方法建模的流形學(xué)習(xí)降維方法。
1.用Kullback0Leiber衡量分布相似度
用高斯分布表達(dá)高位空間樣本的親緣性
用T分布表達(dá)低維空間樣本親緣性
以兩個(gè)分布的Kullback-Leiber散度作為優(yōu)化目標(biāo)
2.為什么是t-分布
流形學(xué)習(xí)的擁擠問(wèn)題