判別模型 vs 生成模型

tags: 機(jī)器學(xué)習(xí)


監(jiān)督學(xué)習(xí)模型

監(jiān)督學(xué)習(xí)的任務(wù)是學(xué)習(xí)一個模型,對給定的輸入預(yù)測相應(yīng)的輸出,這個模型的一般形式維一個決策函數(shù)或一個條件概率分布。

  • 決策函數(shù):輸入 X 返回 Y;其中 Y 與一個閾值比較,然后根據(jù)比較結(jié)果判定 X 的類別 Y = f(X)

  • 條件概率分布:輸入 X 返回 X 屬于每個類別的概率;將其中概率最大的作為 X 所屬的類別 P = (Y|X)

1. 判別模型

  • 代表:K 近鄰、感知機(jī)(神經(jīng)網(wǎng)絡(luò))、決策樹、邏輯斯蒂回歸、最大熵模型、SVM、提升方法、條件隨機(jī)場
  • 思想: 由數(shù)據(jù)直接學(xué)習(xí)決策函數(shù) Y=f(X)條件概率分布 P(Y|X) 作為預(yù)測的模型。
  • 理解: 直觀的說,判別模型學(xué)習(xí)的是類別之間的最優(yōu)分隔面,反映的是不同類數(shù)據(jù)之間的差異
  • 舉例:要確定一個羊是山羊還是綿羊,用判別模型的方法是從歷史數(shù)據(jù)中學(xué)習(xí)到模型,然后通過提取這只羊的特征來預(yù)測出這只羊是山羊的概率,是綿羊的概率。

2. 生成模型

  • 代表:樸素貝葉斯、隱馬爾可夫模型、混合高斯模型、貝葉斯網(wǎng)絡(luò)、馬爾可夫隨機(jī)場

  • 思想:由數(shù)據(jù)學(xué)習(xí)得到聯(lián)合概率密度分布 P(X,Y), 然后求出條件概率分布 P(Y|X) 作為預(yù)測的模型: P(Y|X) = \frac{P(X,Y)}{P(X)}

  • 舉例:利用生成模型是根據(jù)山羊的特征首先學(xué)習(xí)出一個山羊的模型,然后根據(jù)綿羊的特征學(xué)習(xí)出一個綿羊的模型,然后從這只羊中提取特征,放到山羊模型中看概率多少,放到綿羊模型中看概率多少,哪個大就是哪個。

3. 判別模型 vs 生成模型

  • 由生成模型能夠得到判別模型,但由判別模型得不到生成模型

  • 當(dāng)存在“隱變量”時(shí),只能使用生成模型

隱變量:當(dāng)我們找不到引起某一現(xiàn)象的原因時(shí),就把這個在起作用,但無法確定的因素,叫“隱變量”

  • 判別方法的特點(diǎn):

    • 缺點(diǎn):不能反映訓(xùn)練數(shù)據(jù)本身的特性。
    • 優(yōu)點(diǎn):它尋找不同類別之間的最優(yōu)分類面,反映的是異類數(shù)據(jù)之間的差異。
    • 優(yōu)點(diǎn):直接面對預(yù)測,往往學(xué)習(xí)的準(zhǔn)確率更高。
    • 優(yōu)點(diǎn):由于直接學(xué)習(xí)P(Y|X)或P(X),可以對數(shù)據(jù)進(jìn)行各種程度上的抽象、定義特征并使用特征,因此可以簡化學(xué)習(xí)問題。
  • 生成方法的特點(diǎn):

    • 優(yōu)點(diǎn): 可以從統(tǒng)計(jì)的角度表示數(shù)據(jù)的分布情況,能夠反映同類數(shù)據(jù)本身的相似度**。但它不關(guān)心到底劃分各類的那個分類邊界在哪。
    • 優(yōu)點(diǎn):生成方法的學(xué)習(xí)收斂速度更快,即當(dāng)樣本容量增加的時(shí)候,學(xué)到的模型可以更快的收斂于真實(shí)模型。
    • 優(yōu)點(diǎn):當(dāng)存在隱變量時(shí),仍可以用生成方法學(xué)習(xí)。此時(shí)判別方法就不能用。
    • 缺點(diǎn):學(xué)習(xí)和計(jì)算過程比較復(fù)雜

QA

1. 生成模型和判別模型基本形式,有哪些?

  • 生成模型: 樸素貝葉斯、HMM、混合高斯模型、馬爾科夫隨機(jī)場
  • 判別模型: LR,SVM,神經(jīng)網(wǎng)絡(luò),CRF,Boosting
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容