Deflation Methods for Sparse PCA

背景

有很多Sparse PCA 算法運(yùn)用了收縮算法，但是呢，往往只考慮如何解決，每一次迭代的稀疏化問題，而忽略了收縮算法的選擇。

總括

在這里插入圖片描述

Hotelling's deflation

公式

A_t = A_{t-1}-x_tx_t^{\mathrm{T}}A_{t-1}x_tx_t^{\mathrm{T}}

特點(diǎn)

如果x_t是A_{t-1}的特征向量
那么
A_tx_t = (A_{t-1}-x_tx_t^{\mathrm{T}}A_{t-1}x_tx_t^{\mathrm{T}})x_t =0
所以，x_t依然是A_t的特征值為0所對應(yīng)的特征向量。
但是，如果x_t不是特征向量,A_tx_t=0這個性質(zhì)就不存在了，而且，A_t不一定是半正定矩陣。

在這里插入圖片描述

Projection deflation

公式

A_t = (I-x_tx_t^{\mathrm{T}})A_{t-1}(I-x_tx_t^{\mathrm{T}})

特點(diǎn)

半正定

假設(shè)A_{t-1}是半正定的。那么，對于任意的x
x^{\mathrm{T}}A_tx = [x^{\mathrm{T}}(I-x_tx_t^{\mathrm{T}})]A_{t-1}[(I-x_tx_t^{\mathrm{T}})x]\geq0

另外A_tx_t=0
A_tx_t=(I-x_tx_t^{\mathrm{T}})A_{t-1}(I-x_tx_t^{\mathrm{T}})x_t=0

不過，A_sx_t \quad s>t的值往往不是0

Schur complement deflation

在這里插入圖片描述

Orthogonalized projection deflation

公式

A_t = (I-\mathcal{P}^{(t)})A(I-\mathcal{P}^{(t)})
\mathcal{P}^{(t)}是投影矩陣，滿足：
\mathcal{P}^{(t)\mathrm{T}}\mathcal{P}^{(t)}=\mathcal{P}^{(t)}
\mathcal{P}^{(t)}\mathcal{P}^{(t)}=\mathcal{P}^{(t)}
若
X=[x_1,x_2,\ldots,x_t]=QR
則：
\mathcal{P}^{(t)}=Q_{1...t}Q_{1...t}^{\mathrm{T}}（假設(shè)X的秩為t）
其中Q_{1...t}為Q的前t列。

Orthogonalized Hotelling's deflation

公式

A_t = A_{t-1} - q_tq_t^{\mathrm{T}}A_{t-1}q_tq_t^{\mathrm{T}}
q_t=\frac{(I-\mathcal{P}^{(t-1)})x_t}{\|(I-\mathcal{P}^{(t-1)})x_t\|}

特點(diǎn)

XXX

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡書系信息發(fā)布平臺，僅提供信息存儲服務(wù)。

友情鏈接更多精彩內(nèi)容