心智樂高04 - 很傻很天真的貝葉斯定理

image

感謝大家對(duì)標(biāo)題黨 00 的寬容,這篇文章的完整標(biāo)題應(yīng)該是:很傻很天真 - 但是擁有迷妹萬(wàn)千 - 不黃很暴力 - 十分鐘提高智商的貝葉斯定理

上一篇心智樂高探討了基本比率謬誤(base rate fallacy),跟盆友討論時(shí)提到了貝葉斯。于是心智樂高第四篇,我們嚴(yán)肅正經(jīng)地來(lái)八卦一下特別重要的貝葉斯定理。

等等,為什么我們要去了解一個(gè)數(shù)學(xué)定理……還是統(tǒng)計(jì)學(xué)定理?

在你點(diǎn)返回、罵辣雞、憤而取關(guān)之前,再看幾條對(duì)貝葉斯的安利:

  • 一個(gè)看上去很傻很天真的定理,卻在學(xué)術(shù)和生活中意外的很強(qiáng)大很好用
  • 你看不見它,它卻無(wú)處不在,幾乎所有需要作出概率預(yù)測(cè)的地方,它都陰魂不散
  • 是機(jī)器學(xué)習(xí)的核心方法之一
  • 關(guān)鍵時(shí)刻可以令你智商上線,用來(lái)保命,或者掙得巨額財(cái)富

(啊,簡(jiǎn)直 POI 根妹即視感!)

貝葉斯在生活中真的有用嘛?別著急,00 先代表廣大宅男/宅女提一個(gè)問(wèn)題:

我發(fā)給女神/男神的微信,只有一半會(huì)收到回復(fù),她/他是喜歡我還是討厭我?我們有發(fā)展的可能嗎……

然后我們來(lái)慢慢解答。

貝葉斯定理的由來(lái)

話說(shuō) 18 世紀(jì) 70 年代,有個(gè)一個(gè)牧師叫 Thomas Bayes,為解決一個(gè)「逆向概率」問(wèn)題寫了一篇文章。嘗試解答在沒有太多可靠證據(jù)的情況下,怎樣做出更符合數(shù)學(xué)邏輯的推測(cè)。

image

所謂「逆向概率」是相對(duì)「正向概率」而言。正向概率的問(wèn)題很容易理解,如“假設(shè)袋子里面有 N 個(gè)白球,M 個(gè)黑球,你伸手進(jìn)去摸一把,摸出黑球的概率是多大”。但是實(shí)際場(chǎng)景中,這個(gè)問(wèn)題往往是反過(guò)來(lái)的:“如果事先并不知道袋子里面黑白球的比例,而是閉著眼睛摸出一個(gè)(或好幾個(gè))球,觀察這些取出來(lái)的球的顏色,我們可以對(duì)袋子里面黑白球的比例作出什么樣的推測(cè)”。

貝葉斯推斷與其他統(tǒng)計(jì)學(xué)推斷方法截然不同。它建立在主觀判斷的基礎(chǔ)上,也就是說(shuō),你可以不需要客觀證據(jù),先估計(jì)一個(gè)值,然后根據(jù)實(shí)際結(jié)果不斷修正。

貝葉斯生前并沒有發(fā)表他的文章,他的“朋友” Richard Price 在他死后去他的住處揩油,發(fā)現(xiàn)了這篇文章,并發(fā)表出來(lái)。

image

1812 年,法國(guó)人 Pierre Simona 將貝葉斯的理論進(jìn)一步發(fā)展為條件概率,幫助人們?cè)诟怕氏嚓P(guān)的決策過(guò)程中,通過(guò)新獲得的觀察結(jié)果來(lái)更正對(duì)概率的判斷。

貝葉斯定理(Bayes' theorem)告知我們?nèi)绾卫眯伦C據(jù)修改已有的看法。在事件 B 出現(xiàn)的前提下,事件 A 出現(xiàn)的概率,等于 A 和 B 都出現(xiàn)的概率,除以 B 出現(xiàn)的概率。用公式表示就是:

[圖片上傳失敗...(image-fa3701-1512554797861)]

幾個(gè)相關(guān)概念:

  • 先驗(yàn)概率:在考慮觀測(cè)數(shù)據(jù)前,能表達(dá)不確定量 p 的概率分布
  • 后驗(yàn)概率:在考慮和給出相關(guān)證據(jù)或數(shù)據(jù)后所得到的條件概率
  • 條件概率:事件 A 在另外一個(gè)事件 B 已經(jīng)發(fā)生條件下的發(fā)生概率,表示為 P(A|B)
  • 可能性函數(shù)/似然函數(shù):一種關(guān)于統(tǒng)計(jì)模型中參數(shù)的函數(shù),用于在已知某些觀測(cè)所得到的結(jié)果時(shí),對(duì)有關(guān)事物的性質(zhì)的參數(shù)進(jìn)行估計(jì)
image

這就是貝葉斯定理的含義:我們先預(yù)估一個(gè)「先驗(yàn)概率」,然后加入實(shí)驗(yàn)結(jié)果,看這個(gè)實(shí)驗(yàn)到底是增強(qiáng)還是削弱了「先驗(yàn)概率」,由此得到更接近事實(shí)的「后驗(yàn)概率」。

「AM I SICK?」貝葉斯定理的經(jīng)典用法

假設(shè),有一種叫做「葉貝死」的病,人群中得病概率是萬(wàn)分之一,即 0.0001。然后,有一種測(cè)試可以檢測(cè)你是否患有「葉貝死」病,準(zhǔn)確率為 99.9%。你做了一次測(cè)試,結(jié)果被告知得病了!

然后你的世界坍塌了,把這個(gè)不幸的消息告訴家人,開始準(zhǔn)備遺囑,甚至皈依了一個(gè)莫名其妙的宗教,好走完最后的日子……

image

這個(gè)時(shí)候,你的智商不知道被誰(shuí)通知上線了,讓我們?cè)僬一貦z測(cè)報(bào)告,看看遺漏了些什么。

逃出生天之圖解版

我們知道,每當(dāng) 1 萬(wàn)人中會(huì)有 1 個(gè)人患病,這也意味著另外 9999 個(gè)人沒病。

再來(lái)看看檢測(cè)的準(zhǔn)確率。如果真正患病的人去做檢查,那么 99.9% 的概率會(huì)被診斷出來(lái)。如果實(shí)際上沒有患病的人,會(huì)有 0.1% 的概率會(huì)被誤診斷。于是這 1 萬(wàn)人中,9989 人相安無(wú)事,總共有 11 人被診斷為「葉貝死」,但只有 1 人真正患病。

image

所以,你雖然被告知患病,但實(shí)際上真正患病的概率是:1/11 ,約 9%。

逃出生天之公式版

把題目正經(jīng)描述一下:

已知「葉貝死」的發(fā)病率是0.0001,即10000人中會(huì)有1個(gè)人得病?,F(xiàn)有一種測(cè)試可以檢驗(yàn)患者是否得病,的準(zhǔn)確率是0.999,即在患者確實(shí)得病的情況下,它有 99.9% 的可能呈現(xiàn)陽(yáng)性。它的誤報(bào)率是 0.1%,即在沒有得病的情況下,它有 0.1% 的可能呈現(xiàn)陽(yáng)性。 現(xiàn)在張三的檢驗(yàn)結(jié)果為陽(yáng)性,請(qǐng)問(wèn)他確實(shí)得病的可能性有多大?

用貝葉斯定理進(jìn)行計(jì)算,步驟是這樣的:

S 表示患病事件,N表示未患病事件,Y表示檢驗(yàn)結(jié)果為陽(yáng)性事件。

我們想要計(jì)算的是,在檢驗(yàn)結(jié)果為陽(yáng)性的條件下,張三確實(shí)「葉貝死」的概率:

image

從題目中找到公式右邊的三個(gè)變量:

變量 含義 題目描述
P(Y|S) 患病時(shí)檢驗(yàn)結(jié)果為陽(yáng)性的概率 在患者確實(shí)得病的情況下,它有 99.9 %的可能呈現(xiàn)陽(yáng)性 0.999
P(S) 患病的概率 某種疾病的發(fā)病率是0.0001 0.0001
P(Y) 檢驗(yàn)結(jié)果為陽(yáng)性的概率 某種疾病的發(fā)病率是0.0001,在患者確實(shí)得病的情況下,它有 99.9% 的可能呈現(xiàn)陽(yáng)性;患者沒有得病的情況下,它有 0.1% 的可能呈現(xiàn)陽(yáng)性 0.0001*0.999+0.9999*0.001

將表格中的值代入上面公式可得

image

結(jié)果為:9%

女/男神到底愛不愛我

正襟危坐這么久,終于可以回到正題胡說(shuō)八道了。

我發(fā)給女神/男神的微信,只有一半會(huì)收到回復(fù),她/他是喜歡我還是討厭我?我們有發(fā)展的可能嗎……

世界上不知道有多少癡漢,每天在癡癡地等著某個(gè)微信好友頭像出現(xiàn)新消息提示。每發(fā)出一條消息,心中就有一群?jiǎn)栴}如羊駝般呼嘯而過(guò):ta 在忙嗎?會(huì)不會(huì)看不到我的消息?一分鐘過(guò)去了他還是沒有回我的消息,我要不要再等等?剛才那條消息會(huì)不會(huì)太無(wú)聊了啊我自己可能都懶得回我怎么這么蠢???不過(guò)說(shuō)不定 ta 今天心情好或者正在無(wú)聊地等車呢?不知道其他人給他發(fā)消息他會(huì)秒回呢還是要等高冷的一小時(shí)?哎呀如果 ta 回復(fù)了我該說(shuō)些什么呢?啊啊啊什么時(shí)候可以見到 ta?我們都認(rèn)識(shí)這么久了 ta 對(duì)我到底有沒有意思呢?…………

生活在這些問(wèn)題中,實(shí)在是太可怕了。

自黑黨的癡漢們,做癡漢也要做得有極客范。用貝葉斯定理來(lái)幫助我們 YY 吧!把羊駝們哄回羊圈,沐浴齋戒,攤開紙筆,寫下通往未知和答案的神奇公式:

  • P(喜歡一個(gè)人|回微信):回復(fù)微信的情況下喜歡一個(gè)人的概率
  • P(回微信|喜歡一個(gè)人):喜歡一個(gè)人時(shí)會(huì)回復(fù)微信的概率
  • P(喜歡一個(gè)人):女/男神喜歡一個(gè)人的概率
  • P(回微信):女/男神正常情況下回復(fù)微信的概率

假設(shè)你通過(guò)八卦、潛伏、收買人心、純粹臆想等花式調(diào)研,獲得了以下情報(bào):

情報(bào) 高冷女神 C 陽(yáng)光男神 S
P(回微信|喜歡一個(gè)人) 50% 100%
P(喜歡一個(gè)人) 0.1% 5%
P(回微信) 10% 90%

那么計(jì)算的結(jié)果是:

結(jié)論1:女神真難追??!

結(jié)論2:少年你想多了,這概率比 P2P 的投資回報(bào)率還低,還是乖乖回家提升自己吧!

結(jié)論3:愚蠢的人類,用微信就想推斷女/男神的心?有本事約去旅行看看?

注:這部分純屬胡說(shuō)八道,請(qǐng)勿作為指引!如路遇女/男神,還請(qǐng)勇敢壁咚

你貝葉斯了嗎?

貝葉斯定理,其實(shí)體現(xiàn)了一種概率觀,它利用過(guò)往信息來(lái)逐漸逼近事件發(fā)生概率,這是一種啟發(fā)式的統(tǒng)計(jì)學(xué)思考方式。

具有貝葉斯思維的人,并不試圖刻畫事件本身,甚至也不去假設(shè)那類事件是隨機(jī)的,或者有一個(gè)逼近極限的總體概率。而只是從觀察者信息補(bǔ)全的角度出發(fā),先從以往經(jīng)驗(yàn)中總結(jié)一個(gè)大致結(jié)果,再基于這個(gè)結(jié)果判斷下次出現(xiàn)這類事件的概率,每次的結(jié)果會(huì)不斷修正之前的判斷,如此往復(fù)。這個(gè)過(guò)程反應(yīng)的是我們知識(shí)狀態(tài)的情況,而并非試圖描述客觀世界中事件發(fā)生的概率。

image

人類基因里可以給予我們的直覺只能指導(dǎo)我們?nèi)绾我捠?,躲避天敵,在危險(xiǎn)的世界活下來(lái)。而一旦涉及到科學(xué)范疇,那些原始的直覺就不起作用了。想用更理性的思維分析周遭,就要摒棄固有的直覺,不斷通過(guò)理解與學(xué)習(xí)建立新的直覺。

今天,你貝葉斯了嗎?

參考資料


Kidult00 的心智樂高專題將持續(xù)尋找并學(xué)習(xí)不同學(xué)科重要的模型和“知識(shí)樂高”,幫助自黑黨們更好地 Hack yourself。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

友情鏈接更多精彩內(nèi)容