貝葉斯分類(lèi)器：

1 極大似然估計(jì)? ? ?

a? 類(lèi)條件概率的一種常用策略是先假定其具有某種確定的概率分布形式，再基于訓(xùn)練樣本對(duì)概率分布的參數(shù)進(jìn)行估計(jì),如 具體的，關(guān)于類(lèi)別C 的類(lèi)條件概率為??---> 假定具有確定的形式并且參數(shù)向量唯一且確定

b? 令表示訓(xùn)練集D 中 第 c 類(lèi)樣本組成的集合，假定這些樣本獨(dú)立同分布 則參數(shù)?對(duì)于數(shù)據(jù)集的似然 是

? ? ? ? ? ? ? ? ? ? ? ? ? ? ?? ? ? ? ? ? ? ? （1）

? ? ? ? ? ? ? ?對(duì)??進(jìn)行極大似然估計(jì) 就是 去尋找能最大化 似然?的參數(shù)? --->? 直觀上看 ，極大似然估計(jì)是試圖在?的所有可能的取值中，找到一個(gè)能使數(shù)據(jù)出現(xiàn)的 “ 可能性 "最大的值

c? ? 對(duì)于 （1） 連乘 操作 容易出現(xiàn)下溢，通常使用對(duì)數(shù)似然：?

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

D? 參數(shù) 的極大似然估計(jì)為 ：?

E? ?所以 對(duì)于 連續(xù)屬性 情況下 ， p(x|c) 服從 分布---> 該參數(shù)??是 該分布的樣本均值和方差

注意 ：? 對(duì)于極大似然估計(jì) 局限性 ：? 估計(jì)的結(jié)果嚴(yán)重依賴(lài)所假設(shè)的概率分布是否符合潛在的真實(shí)數(shù)據(jù)分布? ?，現(xiàn)實(shí) 中，在一定程度上 會(huì)利用先驗(yàn)知識(shí)?

2? 樸素貝葉斯分類(lèi)器

1? 目的：? ?求? 后驗(yàn)概率： P(c|x)

2? 前提 ： 假設(shè) 所有屬性相互獨(dú)立，即 每個(gè)屬性獨(dú)立地對(duì)分類(lèi)結(jié)果發(fā)生影響

3? ? 所以 ： p(c|x) =??? ?(d 為屬性的數(shù)目，xi 為x 在第i 個(gè)屬性上的取值)

4? p(x) 都相同 ： 所以樸素貝葉斯分類(lèi)器的表達(dá)式：

? ? ? ? ? ? ? ? ? ??

5

6? ?拉普拉斯修正