先驗(yàn)概率是怎么來(lái)的？

我們?cè)谇耙徽乱恢睆?qiáng)調(diào)先驗(yàn)概率的重要性。很自然的一個(gè)問(wèn)題是，某個(gè)原因的先驗(yàn)概率
P(原因 i), 是怎么來(lái)的呢？

有人說(shuō)，從先驗(yàn)概率 P(原因 i) 的表達(dá)式來(lái)看，這不就是原因i本身，在不依賴于任何觀察的條件下發(fā)生的概率么？

真的是這樣么？從對(duì)事物的認(rèn)知來(lái)講，一定是有觀測(cè)，才能建立對(duì)它的看法啊。所以，某個(gè)原因的先驗(yàn)概率 P(原因 i)，一定是基于某些觀測(cè)得到的。例如在我們前面坐飛機(jī)遇見(jiàn)劇烈顛簸的例子中， P(飛機(jī)很安全) 這個(gè)先驗(yàn)概率，就是基于過(guò)去歷史上的所有的觀察到的統(tǒng)計(jì)數(shù)據(jù)得到的結(jié)果。從這個(gè)角度上來(lái)講，先驗(yàn)概率是基于過(guò)去的觀測(cè)，更確切的說(shuō)是過(guò)去所有的歷史觀測(cè)下得到的原因i的發(fā)生的概率。

可是這樣一來(lái)，某個(gè)原因i的先驗(yàn)概率 P(原因 i)，實(shí)際上不就變成了后驗(yàn)概率 P(原因i|歷史上的觀測(cè))了么？那我們之前學(xué)的貝葉斯定理，

還能夠針對(duì)這種情況么？

先說(shuō)結(jié)論：答案是肯定的。
當(dāng)我們用上面的貝葉斯定理進(jìn)行推理的時(shí)候，我們實(shí)際上用的是

也就是說(shuō)，原始貝葉斯定理中的后驗(yàn)概率 P(原因i|歷史上的觀測(cè))，表面上是基于當(dāng)前的觀測(cè)得到的，實(shí)則還結(jié)合了所有的歷史觀測(cè)，即P(原因i|歷史觀測(cè),當(dāng)前觀測(cè)})。 這非常符合實(shí)際情況。例如，在挑瓜的例子中，你其實(shí)并不是僅僅基于通過(guò)拍當(dāng)前的西瓜聽(tīng)到的聲音這個(gè)信息來(lái)挑瓜，你是用你過(guò)去了解到的，與這個(gè)西瓜相關(guān)的所有的信息(包括品種、季節(jié)對(duì)瓜的成熟度的影響)對(duì)你手里的瓜進(jìn)行判斷。在`坐飛機(jī)遇見(jiàn)顛簸'的例子中，你其實(shí)不僅僅是依賴當(dāng)前碰到的飛機(jī)顛簸這個(gè)證據(jù)來(lái)進(jìn)行判斷，而是用過(guò)去歷史上累積下來(lái)的所有與飛機(jī)安全性相關(guān)的數(shù)據(jù)進(jìn)行判斷。

此外，原始貝葉斯定理中的先驗(yàn)概率 P(原因i)}，表面上不基于任何觀測(cè)，但實(shí)際上是基于歷史上的所有觀測(cè)，即 P(原因i|歷史上所有證據(jù)}。換句話說(shuō)當(dāng)前的先驗(yàn)概率，實(shí)際上是歷史的后驗(yàn)概率。

再次，貝葉斯定理中的先驗(yàn)概率和后驗(yàn)概率都是相對(duì)某一個(gè)時(shí)刻的。如果'觀測(cè)1'、'觀測(cè)2'、'觀測(cè)3'隨時(shí)間先后到來(lái)，P(原因i|觀測(cè)1) 對(duì)于觀測(cè)1而言是后驗(yàn)概率(因?yàn)槭褂昧擞^測(cè)1的信息)，但對(duì)于觀測(cè)2而言又是先驗(yàn)概率。P(原因i|觀測(cè)1,觀測(cè)2) 對(duì)于觀測(cè)1、觀測(cè)2來(lái)講是后驗(yàn)概率，但又是觀測(cè)3的先驗(yàn)概率。

最后，每一個(gè)時(shí)刻當(dāng)前的觀測(cè)，都會(huì)成為下一時(shí)刻歷史的觀測(cè)，并且其作用會(huì)融入到先驗(yàn)概率中永不消失。例如，觀測(cè)1不僅僅會(huì)影響k=2時(shí)對(duì)原因i的估計(jì)，而且還會(huì)影響k=n+1時(shí)對(duì)原因i的估計(jì)。這樣，隨著時(shí)間的推移，

中的歷史觀測(cè)會(huì)越積累越多。隨著時(shí)間的推移，我們會(huì)發(fā)現(xiàn)，在絕大多數(shù)情況下，擺在臺(tái)面上所謂的當(dāng)前的觀測(cè)相對(duì)于歷史上所有的觀測(cè)和證據(jù)而言，只是冰山一角罷了。

相比較于歷史上累積下來(lái)的所有觀測(cè)，當(dāng)前拿到臺(tái)面上的觀測(cè)只是冰山一角。因此基于歷史上所有的觀測(cè)得到的先驗(yàn)概率P(原因i)，要比當(dāng)前的觀測(cè)做起的作用往往更加重要

因此，貝葉斯定理中的先驗(yàn)概率 P(原因i|歷史觀測(cè))，往往信息量和重要性要比當(dāng)前的觀測(cè)做出的調(diào)整: P(當(dāng)前觀測(cè)|原因i)/P(當(dāng)前觀測(cè)) 要大得多。這樣，我們就從原理上證明了我們前一幾節(jié)中反復(fù)強(qiáng)調(diào)的先驗(yàn)概率的重要性。

當(dāng)證據(jù)源源不斷到來(lái)時(shí)如何更新的例子

我舉一個(gè)例子來(lái)說(shuō)明當(dāng)我們?cè)丛床粩嗟挠^測(cè)到現(xiàn)象時(shí)，如何對(duì)某個(gè)原因更新的例子。

你進(jìn)入開(kāi)水房準(zhǔn)備打開(kāi)水，你想知道這個(gè)水房里的開(kāi)水器里的水是否開(kāi)了(假設(shè)1: 水開(kāi)，假設(shè)2: 水沒(méi)開(kāi))。我們將在下面演示，在這個(gè)過(guò)程中，你是如何根據(jù)不斷拿到的證據(jù)來(lái)逐步更新這兩個(gè)假設(shè)的概率的。

1. 在你還未看到這個(gè)燒開(kāi)水的機(jī)器之前，假設(shè)你對(duì)這個(gè)機(jī)器之前的情況一無(wú)所知，我們可以假設(shè)先驗(yàn)概率 P(水開(kāi))=P(水沒(méi)開(kāi))=0.5。
2. 然后，你會(huì)先觀察一下開(kāi)水器的電源燈是否亮起，如果亮了(觀測(cè)1=燈亮)，那么根據(jù)貝葉斯公式，我們有：

我們可以證明，上式中 P(燈亮|水開(kāi))/P(燈亮)>1 (將分母全概率公式展開(kāi)可證)，因此在燈亮的前提下，你會(huì)進(jìn)一步調(diào)高水開(kāi)的概率，即 P(水開(kāi)了|燈亮)>P(水開(kāi)了)，否則，你會(huì)調(diào)低水開(kāi)的概率。

3. 其次，你在灌水的初始，會(huì)觀察水是否冒熱氣(觀測(cè)2=冒熱氣)，并把這個(gè)觀察用加入到證據(jù)中對(duì)水開(kāi)了的概率進(jìn)行更新，即得到P(水開(kāi)了|燈亮,冒熱氣)。由于

同樣可以證明P(冒熱氣|水開(kāi))/P(冒熱氣)>1，因此，你會(huì)進(jìn)一步加強(qiáng)水開(kāi)的概率，即
P(水開(kāi)|燈亮,冒熱氣)>P(水開(kāi)|燈亮)。否則，會(huì)調(diào)低水開(kāi)的概率。

4. 最后，當(dāng)水進(jìn)了你的杯子，你會(huì)隔著杯子感受這個(gè)溫度(觀測(cè)3=溫度高)，并將這個(gè)觀測(cè)加入到之前的證據(jù)中對(duì)水開(kāi)了這個(gè)假設(shè)的概率做更新，即得到 P(水開(kāi)|燈亮,冒熱氣,溫度高)}。如果你感覺(jué)很燙，你進(jìn)一步加強(qiáng)這個(gè)假設(shè)：P(水開(kāi)|燈亮,冒熱氣,溫度高)>P(水開(kāi)|燈亮,冒熱氣)}。否則，會(huì)調(diào)低這個(gè)假設(shè)。

這個(gè)例子中，和某個(gè)原因相關(guān)的觀測(cè)是源源不斷到來(lái)的。在拿到每一個(gè)新觀測(cè)的時(shí)候，你都用該觀測(cè)來(lái)調(diào)整之前的估計(jì)。隨著時(shí)間的推移，當(dāng)前的觀測(cè)成為歷史的觀測(cè)。這種更新方法，叫做在線貝葉斯估計(jì)。

本章總結(jié)

1. 首先,原始貝葉斯定理中的后驗(yàn)概率，表面上是基于當(dāng)前的觀測(cè)得到的，實(shí)則還結(jié)合了 所有的歷史觀測(cè)。
2. 原始貝葉斯定理中的先驗(yàn)概率，表面上不基于任何觀測(cè)，但實(shí)際上是基于歷史上的所有觀測(cè)。
3. 貝葉斯定理中的先驗(yàn)概率和后驗(yàn)概率都是相對(duì)某一個(gè)時(shí)刻而言的。每一個(gè)時(shí)刻的后驗(yàn)，都會(huì)成為下一時(shí)刻的先驗(yàn)。
4. 因此先驗(yàn)概率非常重要，因?yàn)樵诮^大多數(shù)情況下當(dāng)前的觀測(cè)相對(duì)于歷史上所有的觀測(cè)和證 據(jù)而言只是冰山一角而已。