線性判別方法（Linear Discriminant Analysis，簡稱LDA）是一種經(jīng)典的線性學(xué)習(xí)方法，在二分類問題上因為最早由（Fisher）提出，亦稱為“Fisher判別分析”。? ? ? ?（嚴(yán)格說來LDA與Fisher判別分析稍有不同，前者假設(shè)了各類樣本的協(xié)方差矩陣相同且滿秩）。
4.1.投影降維
LDA的思想非常樸素：給定訓(xùn)練設(shè)法將樣例投影到一條直線上，使得同類的樣例的投影點盡可能接近、異類樣例的投影點盡可能遠離；在對新樣本進行分類時，將其投影到同樣的這條直線上，再根據(jù)投影點的位置來確定新樣本的類別。如下圖是一個二維示意圖：
LDA二維示意圖
上面二維示意圖中的‘+’、‘-’分別代表正例和反例，橢圓表示數(shù)據(jù)簇的外輪廓，虛線表示投影，紅色實心圓和紅色實心三角形分別表示兩類樣本投影后的中心點。
以下先給出Fisher判別分析的步驟，以后會添加原理的內(nèi)容。
