思想： 給定訓(xùn)練樣例集，設(shè)法將樣例投影到一條直線上，使得同類樣例的投影點盡可能接近，異類樣例的投影點盡可能遠(yuǎn)離。

設(shè)Xi,μi, Σi分別表示第i類示例的集合、均值向量、協(xié)方差矩陣，若將數(shù)據(jù)投影到直線w上，則兩類樣本的中心在直線上的投影分別為wTμ0 ，wTμ1

兩類樣本的協(xié)方差分別為wTΣ0w和wTΣ1w，即最大化目標(biāo)"

J = 類中心點距/協(xié)方差和

求解涉及到拉格朗日乘子法，奇異值分解等，詳見西瓜書P62

值得一提的是，LDA可從貝葉斯決策理論的角度來闡釋，并可證明，當(dāng)兩類數(shù)據(jù)同先驗，滿足高斯分布且協(xié)方差相等時，LDA可達(dá)到最優(yōu)分類

多分類LDA將樣本投影到d'維空間，d'通常遠(yuǎn)小于數(shù)據(jù)原有的屬性d,因此LDA也常被視為一種經(jīng)典的監(jiān)督降維技術(shù)。