燒腦的貝葉斯

機(jī)器學(xué)習(xí)基礎(chǔ)

概率派和樸素貝葉斯派

概率

推動(dòng)概率論

概率相比大家都學(xué)習(xí)過(guò)，但是大家可能還不知道概率背后是可重復(fù)性。我們還是拿最簡(jiǎn)單最經(jīng)典的示例，也就是投硬幣大家都知道只要我們做足夠多一次然后進(jìn)行統(tǒng)計(jì)就會(huì)發(fā)現(xiàn)出現(xiàn)正面和背面概率分別都是 50%
我好那么什么是可重復(fù)性，合適因?yàn)槿绻覀冞M(jìn)行多輪投幣測(cè)試，每輪測(cè)試 1000 次，發(fā)現(xiàn)每一輪下來(lái)正面和反面出現(xiàn)次數(shù)比例1比1，這就是概率的可重復(fù)性。如果沒(méi)有可重復(fù)性概率也就是沒(méi)有意義。
所以我們發(fā)現(xiàn)一些事物背后是一定穩(wěn)定性的東西(也就是模式)，這是我們機(jī)器學(xué)習(xí)基礎(chǔ)。

下面介紹一些概率出現(xiàn)術(shù)語(yǔ)和一些基本計(jì)算公式來(lái)幫助我們更好理解要機(jī)器學(xué)習(xí)。我們補(bǔ)充一些基礎(chǔ)知識(shí)都是為了機(jī)器學(xué)習(xí)

術(shù)語(yǔ)

  • 實(shí)驗(yàn): 我們要研究?jī)?nèi)容，例如投硬幣
  • 事件: 試驗(yàn)的結(jié)果就是事件，也就是投硬幣后正面就是事件，用于 A B 大寫(xiě)字母表示。事件是可以組合
  • 概率空間：就是所有事件集合表示

概率運(yùn)算

  1. A \bigcup B : P(A+B)
  2. A \bigcap B : P(A,B) 這里兩個(gè)事件是獨(dú)立 P(A,B) = P(A)P(B)
  3. \overline{A}:P(\overline{A}) = 1 - P(A)
  4. P(A|B): P(A|B) = P(A,B)/P(B)
  5. P(A) = P(A|B)P(B) + P(A| \overline B)P(\overline B)

推導(dǎo)貝葉斯公式

P(A,B) = P(B,A) \Rightarrow P(A|B)P(B) = P(B|A)P(A)
P(A|B) = \frac{P(B|A)P(A)}{P(B)}
P(A|B) = \frac{P(B|A)P(A)}{P(A)P(B|A) + P(\overline A)P(B|\overline A)}

  • P(A) 先驗(yàn)概率
  • P(A|B) 后驗(yàn)概率
  • B 證據(jù)
  • A 事件

P(A) 什么都不知道我們對(duì) A 事件發(fā)生概率估計(jì)，隨后得到 B 證據(jù)，這樣有了證據(jù)就增加對(duì) A 發(fā)生推斷后驗(yàn)概率 P(A|B)

貝葉斯公式的內(nèi)容（根據(jù)數(shù)據(jù)(證據(jù))更新對(duì)事件可能性的估計(jì)）這就就是大數(shù)據(jù)被后支撐理論。

練習(xí)

monty_hall_problem

三門(mén)問(wèn)題（Monty Hall problem）亦稱為蒙提霍爾問(wèn)題、蒙特霍問(wèn)題或蒙提霍爾悖論，大致出自美國(guó)的電視游戲節(jié)目Let’s Make a Deal。
問(wèn)題名字來(lái)自該節(jié)目的主持人蒙提·霍爾（Monty Hall）。參賽者會(huì)看見(jiàn)三扇關(guān)閉了的門(mén)，其中一扇的后面有一輛汽車，選中后面有車的那扇門(mén)可贏得該汽車。當(dāng)參賽者選定了一扇門(mén)，但未去開(kāi)啟它的時(shí)候，節(jié)目主持人開(kāi)啟剩下兩扇門(mén)的其中一扇，里面當(dāng)然沒(méi)有汽車。主持人其后會(huì)問(wèn)參賽者要不要換另一扇仍然關(guān)上的門(mén)。問(wèn)題是：換另一扇門(mén)會(huì)否增加參賽者贏得汽車的機(jī)會(huì)？

錯(cuò)誤答案

根據(jù)常識(shí)我們會(huì)認(rèn)為概率是 1/2

答案

那么答案是會(huì)。不換門(mén)的話，贏得汽車的幾率是1/3。換門(mén)的話，贏得汽車的幾率是2/3。

推導(dǎo)

我們看一看本質(zhì)就是主持開(kāi)門(mén)這個(gè)事件是不是影響到之前我們認(rèn)為 1/2 概率的事件。也就是我們之前提到證據(jù)。


monty_hall_problem_solution

我們用 A_1,A_2,A_3 三個(gè)事件分別表示 1 號(hào) 2 號(hào)和 3 號(hào)門(mén)有車事件概率，那么我們每一個(gè)事件概率都是 A_n = \frac{1}{3}

  • 參加者選擇 1 號(hào)門(mén)
  • 開(kāi)門(mén)前的先驗(yàn)概率為 A_1 = 1/3
  • 然后主持人開(kāi) 3 號(hào)門(mén)，主持人開(kāi)門(mén)事件就是證據(jù), 用事件 B 來(lái)表示
    • 如果 1 號(hào)門(mén)有車主持打開(kāi) 3 號(hào)門(mén)概率是 1/2
    • 如果 2 號(hào)門(mén)有車主持人打開(kāi) 3 號(hào)門(mén)概率 1
    • 如果 3 號(hào)門(mén)有車主持人打開(kāi) 3 號(hào)門(mén)概率為 0
      P(A_1|B) = P\frac{P(B|A_1)P(A_1)}{P(B)} \Rightarrow \frac{P(B|A_1)P(A_1)}{P(B|A_1)P(A_1) + P(B|A_2)P(A_2) + P(B|A_3)P(A_3)}

\frac{(\frac{1}{2} * \frac{1}{3})}{ 1 * \frac{1}{3} + \frac{1}{2} * \frac{1}{3} + 0 * \frac{1}{3} } = \frac{2}{3}

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書(shū)系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 統(tǒng)計(jì)學(xué)研究方向 什么是統(tǒng)計(jì)是關(guān)于數(shù)據(jù)的學(xué)科，我們想要增加對(duì)大自然了解。搜集數(shù)據(jù)然后對(duì)自然進(jìn)行推斷。我們?nèi)粘Ｓ?jì)算均值...
    zidea閱讀 397評(píng)論 0贊 4
  • 貝葉斯定理 貝葉斯定理是以條件概率為基礎(chǔ)的，所以我們要首先復(fù)習(xí)下條件概率。所謂"條件概率"（Conditional...
    帝都De霧霾閱讀 1,476評(píng)論 0贊 1
  • 專業(yè)考題類型管理運(yùn)行工作負(fù)責(zé)人一般作業(yè)考題內(nèi)容選項(xiàng)A選項(xiàng)B選項(xiàng)C選項(xiàng)D選項(xiàng)E選項(xiàng)F正確答案 變電單選GYSZ本規(guī)程...
    小白兔去釣魚(yú)閱讀 10,565評(píng)論 0贊 13
  • 可能公式太長(zhǎng)，在手機(jī)上瀏覽這個(gè)網(wǎng)頁(yè)很多公式都顯示不出來(lái)，在瀏覽器上就很正常了！* 首先在學(xué)習(xí)貝葉斯概率前我們先弄清...
    王阿根閱讀 905評(píng)論 3贊 4
  • 你正參加一個(gè)節(jié)目，一共有三扇門(mén)，只有一扇門(mén)后面有汽車，其余兩扇門(mén)是空，選到汽車算贏。你選了一扇，然后主持人會(huì)在剩下...
    哈啊啊啊啊啊啊閱讀 28,566評(píng)論 21贊 5

友情鏈接更多精彩內(nèi)容