一、什么是概率圖模型？

概率圖模型(PGM)是用圖來(lái)表示變量概率依賴關(guān)系的理論，表示與模型有關(guān)的變量的聯(lián)合概率分布。

PGM重在對(duì)現(xiàn)實(shí)世界的描述，核心是條件概率，基本的概率圖模型包括貝葉斯網(wǎng)絡(luò)和馬爾科夫網(wǎng)絡(luò)。

二、貝葉斯網(wǎng)絡(luò)是什么？

1.PGM

在介紹貝葉斯網(wǎng)絡(luò)之前，先更深層次的探討PGM。

首先，在條件概率中，引入概念：隨機(jī)變量。隨機(jī)變量是對(duì)現(xiàn)實(shí)世界的某種抽象，比如：抽到黃球個(gè)數(shù)用X=i來(lái)表示。條件概率，揭示了多組隨機(jī)變量?jī)?nèi)在聯(lián)系。在PGM中，我們用結(jié)點(diǎn)表示隨機(jī)變量。PGM就是解決：如何快速計(jì)算一組隨機(jī)變量的的概率，用數(shù)學(xué)方式表達(dá)，即：P(X=i,Y=j)

那么，如何快速的計(jì)算一組隨機(jī)變量的概率呢？

首先，我們探討隨機(jī)變量間的相關(guān)性。

隨機(jī)變量擁有三種關(guān)聯(lián)：

1）直接關(guān)聯(lián)：X直接影響Y?

2）間接關(guān)聯(lián)：X通過(guò)Z影響Y? 或者 ? Z同時(shí)作用于X與Y?

3）不關(guān)聯(lián):當(dāng)X與Y同時(shí)作用于Z時(shí)。

那么，不相關(guān)在條件概率的解釋是：P(X,Y|Z)，即：在Z被觀測(cè)的條件下，X與Y相互獨(dú)立。這表明，在某些條件下，一組隨機(jī)變量組合中，隨機(jī)變量是可以獨(dú)立考慮的，也被稱作d分離。

這在PGM中，含義是：在給定父節(jié)點(diǎn)（Z）的情況下，任意一個(gè)節(jié)點(diǎn)（X）都是與其非子節(jié)點(diǎn)（Z），都是d分離的。

再次重申下：PGM研究的是隨機(jī)變量之間的聯(lián)系，聯(lián)系就是條件?？梢哉f(shuō)，PGM就是為了解決條件概率分布（CPD)問(wèn)題而被發(fā)明出來(lái)的。

2.貝葉斯網(wǎng)絡(luò)

貝葉斯網(wǎng)絡(luò)，由一個(gè)有向無(wú)環(huán)圖(DAG)和條件概率表(CPT)組成。有向無(wú)環(huán)圖來(lái)表示一組隨機(jī)變量跟它們的條件依賴關(guān)系。用CPT表示隨機(jī)變量間的概率分布。

如何通過(guò)貝葉斯網(wǎng)絡(luò)計(jì)算條件分布概率呢？

將條件分布中，無(wú)關(guān)變量組成的聯(lián)合分布用獨(dú)立概率表示，從而減低參數(shù)個(gè)數(shù)，進(jìn)而減少計(jì)算復(fù)雜度。

如：P(D,I,G,L,S)

=P(L|G)?P(S|I)?P(G|D,I)?P(D)?P(I)P(D,I,G,L,S)

=P(L|G)?P(S|I)?P(G|D,I)?P(D)?P(I)