概率圖模型基礎(chǔ)(2)——貝葉斯網(wǎng)絡(luò)中的因果關(guān)系

1. 貝葉斯網(wǎng)絡(luò)

1.1 網(wǎng)絡(luò)結(jié)構(gòu)

仍然是學(xué)生成績的例子，假設(shè)有以下5個隨機變量，Grade(G)，Course Difficulty(D)、Student Intelligence(I)、Student SAT(S)、Reference Letter(L)。其結(jié)構(gòu)如圖example右側(cè)所示。

圖1

1.2 貝葉斯網(wǎng)絡(luò)的表達式

對于無向無環(huán)圖(DGA)中的每一個節(jié)點X_1,...,X_n，每一個節(jié)點的概率可以寫成P(X_i| Par_G(X_i))。

圖2.png

在圖2中，D,S是兩個不相鄰的節(jié)點，在 G 和 L 未被觀測的條件下，D,S在給定I的條件下保持獨立。因此有

對于上例中的結(jié)構(gòu)，有
P(D,I,G,S,L)=P(D)P(I)P(G|D,I)P(S|I)P(L|G)

貝葉斯網(wǎng)絡(luò)中，個節(jié)點的概率和為1.
image.png

1.3 樸素貝葉斯

假設(shè)所有的事例都屬于若干兩兩互斥且報刊所有事例情況的類中的一個。比如，學(xué)生的智商I，存在事例的兩個類——高智商和低智商。
除此之外，模型還包括一定數(shù)量的、可以觀測到其值的特征（features）X_1,...,X_n。樸素貝葉斯假設(shè)（naive Bayes assumption）是在給定事例的類的條件下，這些特征條件獨立。

基于上述獨立性假設(shè)，模型的因子分解可以表示為：
P(C,X_1,...,X_n)=P(C) \prod_{i=1}^{n}P(X_i|C)

樸素貝葉斯模型的貝葉斯網(wǎng)圖

2 符號定義

  • ?：“滿足”
  • ⊥：“獨立”

示例1：

image.png

上圖的意思為：對于事件\alpha，\beta，若有
P(\alpha, \beta)=P(\alpha)P(\beta)
P(\alpha| \beta)=P(\alpha)
P(\beta| \alpha)=P(\beta)
則P滿足\alpha，\beta相互獨立

示例2：

image.png

對于隨機變量X，Y，若有
P(X, Y)=P(X)P(Y)
P(X| Y)=P(X)
P(Y| X)=P(Y)
則P滿足X，Y相互獨立

3 因果關(guān)系

3.1 具體實例

  1. Intelligence和Difficulty為觀測值，Grade和Letter為未知值。
    因果關(guān)系1
  • 如果Intelligence取較低值，則在此基礎(chǔ)上，獲得letter的概率下降
  • 如果在此基礎(chǔ)上繼續(xù)減少課程的難度，則P(L^1 | i^0,d^0)的概率會有提升提升。

表現(xiàn)為：概率從上到下影響。

  1. Intelligence和Difficulty為先驗概率值（不是觀測值），Grade為觀測值。
    執(zhí)果索因
  • 如果Grade取較低值，則在此基礎(chǔ)上，可以推測出，1、智商不夠，2、考試很難。
    表現(xiàn)為：概率從下到上影響。
  1. Intelligence和Difficulty為先驗概率值（不是觀測值），Grade為觀測值。
    image.png
  • 如果加上了SAT，對difficulty和Intelligence也有很大影響。
    表現(xiàn)為：概率的影響具有傳遞性。

3.2 貝葉斯網(wǎng)絡(luò)中各節(jié)點如何相互影響？

1. 直接連接
XY互連1
XY互連2

在此情況下：Grade改變影響Difficulty，同樣的，Difficulty改變也會影響到Grade。

2. 如果W不是觀測變量，則X-W-Y可以完成X影響Y。
  • Difficulty->Grade->Letter
    傳遞性

當(dāng)Grade不為觀測變量時，Difficulty可以通過Grade對是否獲取Letter進行影響。

  • Letter->Grade->Difficulty
    反向傳遞

當(dāng)Grade不為觀測變量時，Letter的可以通過Grade判斷課程的難度。

  • Grade<-Intelligence->SAT

當(dāng)Intelligence不為觀測變量時，SAT的可以通過Intelligence判斷成績。

3. 如果W是觀測變量，則如下情況X不會影響Y。

  • Difficulty->Grade->Letter

    傳遞性

  • Letter->Grade->Difficulty

    反向傳遞

  • Grade<-Intelligence->SAT

4. 如果W以及W的子結(jié)點沒有被觀測的話，則X不會影響Y【v-結(jié)構(gòu)】
  • Difficulty->Grade<-Intelligence，其中(Grade和Letter都沒有被觀測到)
5. 如果W或W的子結(jié)點有被觀測的話，則X會影響Y【v-結(jié)構(gòu)】
  • Difficulty->Grade<-Intelligence，或Difficulty->Letter<-Intelligence
    其中(Grade和Letter只要有一個被觀測到)

4. 參考課程

Coursera——Probabilistic Graphical Models
PGM課程筆記

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容