tags: 機(jī)器學(xué)習(xí)
監(jiān)督學(xué)習(xí)模型
監(jiān)督學(xué)習(xí)的任務(wù)是學(xué)習(xí)一個模型,對給定的輸入預(yù)測相應(yīng)的輸出,這個模型的一般形式維一個決策函數(shù)或一個條件概率分布。
決策函數(shù):輸入 X 返回 Y;其中 Y 與一個閾值比較,然后根據(jù)比較結(jié)果判定 X 的類別
條件概率分布:輸入 X 返回 X 屬于每個類別的概率;將其中概率最大的作為 X 所屬的類別
1. 判別模型
- 代表:K 近鄰、感知機(jī)(神經(jīng)網(wǎng)絡(luò))、決策樹、邏輯斯蒂回歸、最大熵模型、SVM、提升方法、條件隨機(jī)場
- 思想: 由數(shù)據(jù)直接學(xué)習(xí)決策函數(shù)
或條件概率分布
作為預(yù)測的模型。
- 理解: 直觀的說,判別模型學(xué)習(xí)的是類別之間的最優(yōu)分隔面,反映的是不同類數(shù)據(jù)之間的差異
- 舉例:要確定一個羊是山羊還是綿羊,用判別模型的方法是從歷史數(shù)據(jù)中學(xué)習(xí)到模型,然后通過提取這只羊的特征來預(yù)測出這只羊是山羊的概率,是綿羊的概率。
2. 生成模型
代表:樸素貝葉斯、隱馬爾可夫模型、混合高斯模型、貝葉斯網(wǎng)絡(luò)、馬爾可夫隨機(jī)場
思想:由數(shù)據(jù)學(xué)習(xí)得到聯(lián)合概率密度分布
, 然后求出條件概率分布
作為預(yù)測的模型:
舉例:利用生成模型是根據(jù)山羊的特征首先學(xué)習(xí)出一個山羊的模型,然后根據(jù)綿羊的特征學(xué)習(xí)出一個綿羊的模型,然后從這只羊中提取特征,放到山羊模型中看概率多少,放到綿羊模型中看概率多少,哪個大就是哪個。
3. 判別模型 vs 生成模型
由生成模型能夠得到判別模型,但由判別模型得不到生成模型
當(dāng)存在“隱變量”時(shí),只能使用生成模型
隱變量:當(dāng)我們找不到引起某一現(xiàn)象的原因時(shí),就把這個在起作用,但無法確定的因素,叫“隱變量”
-
判別方法的特點(diǎn):
- 缺點(diǎn):不能反映訓(xùn)練數(shù)據(jù)本身的特性。
- 優(yōu)點(diǎn):它尋找不同類別之間的最優(yōu)分類面,反映的是異類數(shù)據(jù)之間的差異。
- 優(yōu)點(diǎn):直接面對預(yù)測,往往學(xué)習(xí)的準(zhǔn)確率更高。
- 優(yōu)點(diǎn):由于直接學(xué)習(xí)P(Y|X)或P(X),可以對數(shù)據(jù)進(jìn)行各種程度上的抽象、定義特征并使用特征,因此可以簡化學(xué)習(xí)問題。
-
生成方法的特點(diǎn):
- 優(yōu)點(diǎn): 可以從統(tǒng)計(jì)的角度表示數(shù)據(jù)的分布情況,能夠反映同類數(shù)據(jù)本身的相似度**。但它不關(guān)心到底劃分各類的那個分類邊界在哪。
- 優(yōu)點(diǎn):生成方法的學(xué)習(xí)收斂速度更快,即當(dāng)樣本容量增加的時(shí)候,學(xué)到的模型可以更快的收斂于真實(shí)模型。
- 優(yōu)點(diǎn):當(dāng)存在隱變量時(shí),仍可以用生成方法學(xué)習(xí)。此時(shí)判別方法就不能用。
- 缺點(diǎn):學(xué)習(xí)和計(jì)算過程比較復(fù)雜
QA
1. 生成模型和判別模型基本形式,有哪些?
- 生成模型: 樸素貝葉斯、HMM、混合高斯模型、馬爾科夫隨機(jī)場
- 判別模型: LR,SVM,神經(jīng)網(wǎng)絡(luò),CRF,Boosting