Factor Analysis

這應該是學ML依賴推導過的最痛苦的算法了，所以我想先用直觀的語言描述什么是Factor analysis。

因子分析(factor analysis)是一種數(shù)據(jù)簡化的技術(shù)。它通過研究眾多變量之間的內(nèi)部依賴 關系，探求觀測數(shù)據(jù)中的基本結(jié)構(gòu)，并用少數(shù)幾個假想變量來表示其基本的數(shù)據(jù)結(jié)構(gòu)。這幾 個假想變量能夠反映原來眾多變量的主要信息。原始的變量是可觀測的顯在變量，而假想變量是不可觀測的潛在變量，稱為因子。

由于存在隱變量，同時不能由MLE得到close form，因此很自然的想到了之前提到的EM算法。本文主要用EM算法推到因子分析的參數(shù)估計過程。

問題

之前我們考慮的訓練數(shù)據(jù)中樣例x (??) 的個數(shù) m 都遠遠大于其特征個數(shù) n，這樣不管是 行回歸、聚類等都沒有太大的問題。然而當訓練樣例個數(shù) m 太小，甚至 m<<n 的時候，使 用梯度下降法進行回歸時，如果初值不同，得到的參數(shù)結(jié)果會有很大偏差（因為方程數(shù)小于 參數(shù)個數(shù)）。另外，如果使用多元高斯分布(Multivariate Gaussian distribution)對數(shù)據(jù)進行擬合 時，也會有問題。

例如，多元高斯分布的參數(shù)估計如下：
\begin{array}{c}{\mu=\frac{1}{m} \sum_{i=1}^{m} x^{(i)}} \\ {\Sigma=\frac{1}{m} \sum_{i=1}^{m}\left(x^{(i)}-\mu\right)\left(x^{(i)}-\mu\right)^{T}}\end{array}
分別是求 mean 和協(xié)方差的公式，x 是 n 維向量，\Sigma是 n*n 協(xié)方差矩陣。

當 m<<n 時，我們會發(fā)現(xiàn)\Sigma是奇異陣（ |\Sigma| = 0），也就是說\Sigma^{-1} 不存在，沒辦法擬合出多元高斯分布了，確切的說是我們估計不出來\Sigma。

因此，我們可以對\Sigma進行限制，從而使得其可逆。最簡單的想法就是使得\Sigma變?yōu)閷蔷仃?，但這樣有很大的壞處

：這樣的假設意味著特征間相互獨立，表示在圖上就是contour的各個維度與坐標軸平行。

Preliminary

首先不加證明的給出幾個結(jié)論

  1. 設x=\left[ \begin{array}{l}{x_{1}} \\ {x_{2}}\end{array}\right]，x \sim \mathcal{N}(\mu, \Sigma)，其中\mu=\left[ \begin{array}{c}{\mu_{1}} \\ {\mu_{2}}\end{array}\right], \quad \Sigma=\left[ \begin{array}{cc}{\Sigma_{11}} & {\Sigma_{12}} \\ {\Sigma_{21}} & {\Sigma_{22}}\end{array}\right]。

  2. 求條件概率x_{1} | x_{2} \sim \mathcal{N}\left(\mu_{1|2}, \Sigma_{1 | 2}\right)

    • \begin{aligned} \mu_{1|2} &=\mu_{1}+\Sigma_{12} \Sigma_{22}^{-1}\left(x_{2}-\mu_{2}\right) \\ \Sigma_{1 | 2} &=\Sigma_{11}-\Sigma_{12} \Sigma_{22}^{-1} \Sigma_{21} \end{aligned}

Factor analysis model

思想

因子分析的實質(zhì)是認為 m 個 n 維特征的訓練樣例\mathrm{X}^{(i)}\left(x_{1}^{(i)}, x_{2}^{(i)}, \ldots, x_{n}^{(i)}\right)的產(chǎn)生過程：

  1. 首先在一個k維空間中按照多元高斯分布生成m個z^{i}的k維向量，即：

    • z^{(i)} \sim N(0, I)

  2. 然后定義一個變換矩陣\Lambda \in \mathbb{R}^{\mathrm{n} \times \mathrm{k}}，將z映射到n維空間中，即：

    • \Lambda z^{(i)}

  3. 然后將\Lambda z^{(i)}?加上一個均值\mu?，即：

    • \mu+\Lambda z^{(i)}

    • 對應的意義是將變換后的\Lambda z^{(i)}（n 維向量）移動到樣本的中心點\mu。

  4. 最后再加入一個噪聲\epsilon \sim N(0, \Psi)，從而得到：

    • \mathrm{x}^{(i)}=\mu+\Lambda z^{(i)}+\epsilon

這個過程的直觀解釋是：在低維空間中的隨機變量，通過一個仿射變換映射到樣本的高維空間，然后再加入隨機誤差生成。因此，高維數(shù)據(jù)可以使用低維數(shù)據(jù)表示。

聯(lián)合分布

我們可以通過之前的結(jié)論得到隱變量和目標變量的聯(lián)合分布：
\left[ \begin{array}{l}{z} \\ {x}\end{array}\right] \sim \mathcal{N}\left(\mu_{z x}, \Sigma\right)
不難求得：
\mu_{z x}=\left[ \begin{array}{c}{\overrightarrow{0}} \\ {\mu}\end{array}\right]

\Sigma = \left[ \begin{array}{cc}{I} & {\Lambda^{T}} \\ {\Lambda} & {\Lambda \Lambda^{T}+\Psi}\end{array}\right]

因此MLE為：
\ell(\mu, \Lambda, \Psi)=\log \prod_{i=1}^{m} \frac{1}{(2 \pi)^{n / 2}\left|\Lambda \Lambda^{T}+\Psi\right|^{1 / 2}} \exp \left(-\frac{1}{2}\left(x^{(i)}-\mu\right)^{T}\left(\Lambda \Lambda^{T}+\Psi\right)^{-1}\left(x^{(i)}-\mu\right)\right)

很顯然，直接求解這個式子是困難的，因此我們可以使用EM算法。

EM估計

求解過程相當繁瑣，大家可以自行參考CS229的官方notes。這里只給出參數(shù)估計：
\Lambda=\left(\sum_{i=1}^{m}\left(x^{(i)}-\mu\right) \mathrm{E}_{z^{(i)} \sim Q_{i}}\left[z^{(i)^{T}}\right]\right)\left(\sum_{i=1}^{m} \mathrm{E}_{z^{(i)} \sim Q_{i}}\left[z^{(i)} z^{(i)^{T}}\right]\right)^{-1}
實際上，我們對這個仿射變換的矩陣的估計，很類似于最小二乘的結(jié)果：\theta^{T}=\left(y^{T} X\right)\left(X^{T} X\right)^{-1}

這是因為，我們希望通過這個矩陣得到z和x的線性關系，因此直觀的可以認為其想法類似。

同時可求得其他的參數(shù)：
\mu=\frac{1}{m} \sum_{i=1}^{m} x^{(i)}

\Phi=\frac{1}{m} \sum_{i=1}^{m} x^{(i)} x^{(i) T}-x^{(i)} \mu_{z^{(i)}\left|x^{(i)}\right.}^{T} \Lambda^{T}-\Lambda \mu_{z^{(i)} | x^{(i)}} x^{(i)^{T}}+\Lambda\left(\mu_{z^{(i)}\left|x^{(i)}\right.} \mu_{z^{(i)}\left|x^{(i)}\right.}^{T}+\Sigma_{z^{(i)} | x^{(i)}}\right) \Lambda^{T}

思考

因子分析與回歸分析不同，因子分析中的因子是一個比較抽象的概念，而回歸因子有 非常明確的實際意義；

主成分分析分析與因子分析也有不同，主成分分析僅僅是變量變換，而因子分析需要構(gòu)造因子模型。

主成分分析:原始變量的線性組合表示新的綜合變量，即主成分；

因子分析：潛在的假想變量和隨機影響變量的線性組合表示原始變量。

Reference

  1. An Introduction to Probabilistic Graphical Models by Jordan Chapter 14
  2. CS229
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務。

相關閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容