在前面的Details中說道的邏輯回歸及分類，我們都是通過“三要素”的方式，先設(shè)立一個(gè)假設(shè)模型，然后確定目標(biāo)函數(shù)，對(duì)其進(jìn)行優(yōu)化來最終確定假設(shè)模型中的參數(shù)。當(dāng)確定了假設(shè)模型后，即可對(duì)輸入的一個(gè)新的數(shù)據(jù)進(jìn)行預(yù)測。這種方式的學(xué)習(xí)方法叫做判別模型（Discriminative Model），在分類問題中，其關(guān)注的是在該類特征下，其屬于某個(gè)類別的概率。在這一節(jié)中，要說到的生成模型(Generatic Model)，則是另一種確定模型的方式，它更關(guān)注的是怎樣的數(shù)據(jù)特征更有可能使得其成為所屬的類別。下面我將把理解的生成模型的相關(guān)內(nèi)容進(jìn)行通俗化的說明，來幫助理解~~

第一種：GDA
引：多變量高斯分布下的生成模型（x是多維向量，取值是連續(xù)的，μ?為各維度的均值向量，Σ?為協(xié)方差矩陣）

1

1、模型假設(shè)(對(duì)于一個(gè)二分類問題，分別建立兩個(gè)模型)

2、目標(biāo)函數(shù)：

經(jīng)過優(yōu)化求解出各個(gè)參數(shù)后，即可得到，各個(gè)參數(shù)的取值：

3

則其對(duì)應(yīng)的高斯分布的如下圖3所示：

4

上圖中的兩個(gè)模型是高斯分布圖的投影曲線，越往里，其概率值越高，即說明其更有可能屬于該類。圖中的直線是p(y = 1jx) = 0.5 的決策邊界

?
3、判別模型vs生成模型
生成模型可以轉(zhuǎn)換成判別模型，如圖4所示：

5

故生成模型具有更強(qiáng)的模型假設(shè)能力，在數(shù)據(jù)量有限的情況下，是很好的優(yōu)先選擇的模型方式。
判別模型有更好的魯棒性，在數(shù)據(jù)量較大的情況下，一般會(huì)選擇此方法，且效率較高。?

由此，便可通過貝葉斯公式間接得到判別表達(dá)式：

故當(dāng)?shù)玫缴赡Ｐ偷母怕史植紙D后，對(duì)于一個(gè)新的輸入，根據(jù)其特征，則可對(duì)應(yīng)到其所屬某類別的概率取值。另外也可利用貝葉斯公式得到其y=1的概率取值，若>0.5則為1，否則為0，以此可得到其所屬類別。

第二種：Naive Bayes

第一種的基于高斯分布的假設(shè)針對(duì)特征值的取值為連續(xù)型的數(shù)據(jù)，樸素貝葉斯則是對(duì)特征值取值為離散型的數(shù)據(jù)而言，即基于貝葉斯假設(shè)（NB?assumption）,各個(gè)特征量是獨(dú)立的。

1、樸素貝葉斯假設(shè)：（以垃圾郵件分類為例）

2、目標(biāo)函數(shù)：

3、優(yōu)化取值：

4、判別式：

由此便可得到其所屬的類別。

注：對(duì)于連續(xù)型的特征量，也可以將其進(jìn)行離散化后采用樸素貝葉斯分類器的方法僅進(jìn)行預(yù)測

生成模型考慮所屬類別的數(shù)據(jù)是如何生成的，再根據(jù)此來判斷新的數(shù)據(jù)與訓(xùn)練數(shù)據(jù)的相似程度來劃分新數(shù)據(jù)的類別；判別模型則考慮不同類別之間的差異，而對(duì)類別內(nèi)部的關(guān)系不在乎，對(duì)于一個(gè)新的數(shù)據(jù)，根據(jù)這樣的一種差異性進(jìn)行分類。