貝葉斯分類是機(jī)器學(xué)習(xí)中一個(gè)重要的分類算法，由于其簡(jiǎn)單高效，所以在實(shí)戰(zhàn)中非常受歡迎。

本文將介紹貝葉斯分類中兩個(gè)比較典型的算法——樸素貝葉斯與貝葉斯信念網(wǎng)絡(luò)。

** 由于簡(jiǎn)書對(duì)數(shù)學(xué)公式的支持不太好，所以很多公式顯示不出來，感興趣的同學(xué)可以移步至我的CSDN文章地址:http://blog.csdn.net/qq756161569/article/details/72965440 **

基礎(chǔ)知識(shí)

在開始介紹算法之前，我們先溫習(xí)幾個(gè)概率論上幾個(gè)基礎(chǔ)知識(shí)。

1.條件概率:P(A|B)

表示在B發(fā)生的情況下A發(fā)生的概率。

例如：在一堆棋子中有方形和圓形兩種，方形有紅色和白色，圓形有黃色和綠色。問，在已知一顆棋子是方形的情況下該棋子是紅色的概率是多少。

那么這個(gè)問題就可以表示成——P(棋子是紅色|方形棋子)

2.先驗(yàn)概率

是在獲得某些信息或者依據(jù)前，對(duì) P 的不確定性進(jìn)行猜測(cè)。

例如：下雨之前會(huì)刮風(fēng)，那么在沒有觀察是否刮風(fēng)之前求下雨的概率就是先驗(yàn)概率。

3.后驗(yàn)概率

"后驗(yàn)"在這里意思是，考慮相關(guān)事件已經(jīng)被檢視并且能夠得到一些信息。比如在判斷到刮風(fēng)的情況下再預(yù)測(cè)下雨的概率。

后驗(yàn)概率包含了先驗(yàn)信息以及觀測(cè)樣本數(shù)據(jù)提供的后驗(yàn)信息，對(duì)先驗(yàn)概率進(jìn)行了修正，更接近真實(shí)情況。

貝葉斯定理

$$ P(A|B) = \frac{P(B|A)P(A)}{P(B)} $$

其中P(A|B)是在B發(fā)生的情況下A發(fā)生的可能性。

在貝葉斯定理中，每個(gè)名詞都有約定俗成的名稱:

?   P(A|B)是已知B發(fā)生后A的條件概率，也由于得自B的取值而被稱作A的后驗(yàn)概率。
?   P(B|A)是已知A發(fā)生后B的條件概率，也由于得自A的取值而被稱作B的后驗(yàn)概率。
?   P(A)是A的先驗(yàn)概率（或邊緣概率）。之所以稱為"先驗(yàn)"是因?yàn)樗豢紤]任何B方面的因素。
?   P(B)是B的先驗(yàn)概率或邊緣概率。

按這些術(shù)語，貝葉斯定理可表述為：
后驗(yàn)概率 = (相似度*先驗(yàn)概率)/標(biāo)準(zhǔn)化常量

也就是說，后驗(yàn)概率與先驗(yàn)概率和相似度的乘積成正比。

另外，比例P(B|A)/P(B)也有時(shí)被稱作標(biāo)準(zhǔn)相似度（standardised likelihood），貝葉斯定理可表述為：

后驗(yàn)概率 = 標(biāo)準(zhǔn)相似度*先驗(yàn)概率

樸素貝葉斯

在實(shí)際應(yīng)用中，特征值可能會(huì)包含多個(gè)。比如，給定一個(gè)人的身高、體重、膚色……等等特征，求這個(gè)人是女生的概率。

那么，概率表達(dá)式可以表示為:

$$ P(女生|F_1,F_2,\underbrace{\ldots}_{\rm n個(gè)特征} ,F_n)$$

那么根據(jù)貝葉斯定理，這個(gè)概率表達(dá)式就可以表示成：

$$ \frac{P(F_1,F_2,\underbrace{\ldots}{\rm n個(gè)特征} ,F_n|女生)P(女生)}{P(F_1,F_2,\underbrace{\ldots}{\rm n個(gè)特征} ,F_n)} $$

由于P(女生)和P(F)的概率都是常數(shù)，所以我們只需要關(guān)注: $$P(F_1,F_2,\underbrace{\ldots}_{\rm n個(gè)特征} ,F_n|女生)$$

要計(jì)算上面這個(gè)條件概率，成本是非常高的。為了簡(jiǎn)化計(jì)算，我們有了一個(gè)"樸素"的假設(shè)——特征F向量的所有屬性彼此獨(dú)立。(所以該算法才被稱為樸素貝葉斯)

有了樸素的假設(shè)，就有了以下等式:

$$P(F_1,F_2,\underbrace{\ldots}{\rm n個(gè)特征} ,F_n|女生)=\prod{i=1}^nP(F_i|女生)$$

所以我們只需要挨個(gè)計(jì)算"在已知是女生情況下出現(xiàn)特征$ F_i $的概率，并求出它們的乘積即可。

最后要說明的是，我們?cè)谔幚磉B續(xù)型特征時(shí)，我們一般會(huì)假設(shè)該屬性服從高斯分布。

$$ P(F_i|女生)=\frac{1}{\sigma\sqrt{2\pi}} e^{-\frac{(x-\mu)}2}{2\sigma^2}$$

我們可以使用高斯分布函數(shù)去計(jì)算條件概率的值。

到這里，關(guān)于樸素貝葉斯的內(nèi)容就已經(jīng)講完了。但樸素貝葉斯也有其不足的地方，那就是"樸素"。

在實(shí)際的應(yīng)用中，所有特征值不太可能完全獨(dú)立，所以樸素貝葉斯在很多時(shí)候表現(xiàn)并不是太好。
所以，在特征選項(xiàng)存在明顯依賴關(guān)系時(shí)，我們使用貝葉斯分類的效果往往不太理想，所以我將在下一章介紹基于特征依賴的貝葉斯分類——貝葉斯信念網(wǎng)絡(luò)。