[分類] Linear Discriminant Analysis

LDA是一個分類模型，可以處理多category的問題。
模型是： P(G=k|X=x)=\frac{f_k(x)\pi_k}{\sum_{l=1}^K f_l(x)\pi_l} (*),即在知道x值的情況下，屬于k類的可能性，選擇最大的P_k作為點x的類。其中f_k(x)=P(X=x|G=k),\pi_k=P(G=k),\sum_{k=1}^K \pi_k=1。這個模型基于的統(tǒng)計理念非常常見，就是先驗概率和后驗概率用全概率公式和Bayes定理互相推導。
(*) 中\sum_{l=1}^K f_l(x)\pi_l對所有k來說都一樣，所以選擇的重點在于f_k(x)\pi_k。

如果我們假設(shè)f_k(x)是一個multivariate Gaussian,且對于所有k類，方差相同\Sigma_k=\Sigma,則f_k(x)=\frac{1}{(2\pi)^{p/2}|\Sigma_k|^{1/2}}e^{-\frac{1}{2}(x-\mu_k)^T\Sigma_k^{-1}(x-\mu_k)},\delta_k(x)=log(f_k(x)\pi_k)=C+x^T\Sigma^{-1}\mu_k-\frac{1}{2}\mu_k^T\Sigma^{-1}\mu_k+log(\pi_k)
如果\delta_1(x) >\delta_2(x),那就把點分到class 1

edx-Machine Learning-Wk3

如果
\Sigma=cI
的話，圖中的橢圓會變成圓形。

QDA(Quadratic Discriminant functions) :不同的class k,\Sigma_k不，所以\delta_k(x)=log(f_k(x)\pi_k)=C-\frac{1}{2}log|\Sigma_k|-\frac{1}{2}(x-\mu)^T\Sigma_k^{-1}(x-\mu_k)+log(\pi_k),所以是一個quadratics的式子，所以決策邊界為quadratic

edx-Machine Learning-Wk3

確定了模型之后，進行參數(shù)估計，有最大似然估計可得

  • \hat{\pi}_k=N_k/N
  • \hat{\mu}_k=\sum_{g_i=k} x_i/N
  • \hat{\Sigma}=\sum_{k=1}^K\sum_{g_i=k}(x_i-\hat{\mu}_k)(x_i-\hat{\mu}_k)^T/(N-K)
  • 總共需要估計(K-1)*(p+1)個參數(shù)

這個模型跟適用于large and diverse set。

Discriminant Analysis最核心的點是假定k類有k個不同的distribution，然后計算在已知k的情況下，對于待分類點x計算條件概率(Bayes Rule)，然后選出條件概率最高的那一個類。

所以這個模型有很多的變通之處，例如，我們一定要假定正態(tài)分布嗎？不一定，之所以傾向多維正態(tài)的原因是針對線性/Quadratic的決策邊界，正態(tài)的結(jié)果會更穩(wěn)定，但其實是可以選擇別的分布假設(shè)的。

  1. 優(yōu)化
  • Regularized Discriminant Analysis:
    \hat{\Sigma}_k(\alpha)=\alpha(\hat{\Sigma}_k)+(1-\alpha)\hat{\Sigma},\hat{\Sigma}is the pooled covariance matrix as used in LDA, 這樣的話通過引入\alpha來實現(xiàn)LDA和QDA的轉(zhuǎn)化，\alpha由CV來決定
最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務。

友情鏈接更多精彩內(nèi)容