Sparse Principal Component Analysis

背景:

sparse PCA 較 PCA來(lái)說(shuō)更具可解釋性，泛化性。

部分符號(hào)

\mathrm{X} \in \mathbb{R}^{n \times p}
假設(shè)樣本已經(jīng)中心化（每一個(gè)行為一個(gè)樣本）
\mathrm{X}=[X_1,X_2,\ldots, X_p]
X_j = (x_{1j}, x_{2j},\ldots, x_{nj})
\mathrm{X = UDV^{T}}
\mathrm{Z=UD}為主成分（PCs）

創(chuàng)新點(diǎn)

1.將PCA問(wèn)題轉(zhuǎn)化為一個(gè)回歸問(wèn)題，利用最小角回歸，可以高效求解Lasso問(wèn)題。
2.二重迭代求解，sparse PCA問(wèn)題。

文章梗概

The LASSO AND THE ELASTIC NET

普通的Lasso

在這里插入圖片描述

Y=(y_1,y_2,\ldots,y_n)^{\mathrm{T}}

這個(gè)方法的問(wèn)題在于，當(dāng)
p \gg n
的時(shí)候，
\hat{\beta}
最多有n個(gè)非零項(xiàng)（這是為什么呢？）

The elastic net

在這里插入圖片描述

將PCA改造為回歸問(wèn)題

定理一 考慮單個(gè)向量（需要先進(jìn)行SVD）

在這里插入圖片描述

定理二 單個(gè)向量（無(wú)需進(jìn)行SVD版本）

在這里插入圖片描述

定理三 多個(gè)向量（無(wú)需進(jìn)行SVD， 非LASSO，非elastic net）

在這里插入圖片描述

目標(biāo)函數(shù)（最終版）

在這里插入圖片描述

倆步求解

在這里插入圖片描述
定理四 A given B的理論支撐（存疑）
在這里插入圖片描述

算法一

在這里插入圖片描述

方差計(jì)算

因?yàn)橄∈杌蟮南蛄浚炔痪哂锌臻g上（往往）的正交性，也不具有概率上（\mathrm{x^{T}Cy}=0）的正交性。這里，Zou 考慮的是概率上的正交性，將得到的向量正交化，把余量相加得最后的方差。

在這里插入圖片描述

復(fù)雜度

n > p ： np^2+mO(p^3) #m是迭代次數(shù)

p \gg n 算法改進(jìn)

簡(jiǎn)單來(lái)說(shuō)，就是把step2改進(jìn)下，原來(lái)需要求解一個(gè)elastic net問(wèn)題，現(xiàn)在直接進(jìn)行截?cái)啵匀粫?huì)減輕不少負(fù)擔(dān)。


在這里插入圖片描述

數(shù)值實(shí)驗(yàn)（pitprops）

在這里插入圖片描述
在這里插入圖片描述
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書(shū)系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容