音頻：概率論22講
作者：劉嘉
01 | 全局：從局部隨機(jī)性到整體確定性
知道了概率論的本質(zhì)
- 把局部的隨機(jī)性轉(zhuǎn)變?yōu)檎w的確定性，是概率論解決問(wèn)題的本質(zhì)。
- 概率論不是用來(lái)預(yù)測(cè)未來(lái)，也不是對(duì)一次偶然的結(jié)果進(jìn)行計(jì)算，它是更高層次的、確定性的認(rèn)知。
- 概率論的大廈像什么？我更愿意說(shuō)：概率論不是一棟建筑，而是一個(gè)城市。我可以不知道城市里每一棟建筑的樣子，但我確定地知道這個(gè)城市的建筑模式。
02 | 隨機(jī)：隨機(jī)性不等于不確定性
- 隨機(jī)性不等于不確定性。概率論研究的是隨機(jī)性，而不是不確定性。
- 隨機(jī)分真?zhèn)?。真隨機(jī)是數(shù)學(xué)上的理想概念，是絕對(duì)不可預(yù)測(cè)。而我們最常遇到的，是在效果上類似于真隨機(jī)效果的隨機(jī)。
- 隨機(jī)是這個(gè)世界的決定性力量。
03 | 概率：對(duì)世界可能性的度量
- 概率是隨機(jī)事件發(fā)生可能性大小的定量描述。
- 概率是隨機(jī)事件在樣本空間的比率。
- 樣本空間的完備性是一個(gè)幽靈。從某種角度來(lái)說(shuō)，我們對(duì)世界的認(rèn)識(shí)，就是對(duì)樣本空間完備性的認(rèn)識(shí)。
04 | 獨(dú)立性：隨機(jī)事件的相互關(guān)系
- 如果一個(gè)隨機(jī)事件發(fā)生的結(jié)果，不會(huì)影響另一個(gè)隨機(jī)事件的概率，那它們就是互相獨(dú)立的事件，反之就是非獨(dú)立事件。
- 只有明白了隨機(jī)事件之間的關(guān)系，判斷它們是否有獨(dú)立性，才能正確分析和度量它的概率。
- 很多看似獨(dú)立的事件，其實(shí)都是互相聯(lián)系、互相影響的。評(píng)估隨機(jī)事件的概率時(shí)，對(duì)獨(dú)立事件的設(shè)定需要格外謹(jǐn)慎。
05 | 概率計(jì)算：定義問(wèn)題比計(jì)算更重要
- 排列組合法則、加法法則、乘法法則，是概率計(jì)算最基礎(chǔ)的三個(gè)法則，可以解決大部分概率計(jì)算問(wèn)題。
- 大部分人不會(huì)做概率題，不是因?yàn)椴粫?huì)計(jì)算，而是因?yàn)闆](méi)看明白題目。
- 概率計(jì)算之所以復(fù)雜，是因?yàn)楹茈y將現(xiàn)實(shí)問(wèn)題準(zhǔn)確的抽象成“對(duì)”的概率問(wèn)題。準(zhǔn)確的翻譯現(xiàn)實(shí)問(wèn)題，就是概率思維的核心。
06 | 概率度量：建立整體確定性的三種方式
這就是精益思維的數(shù)學(xué)依據(jù)。小步快跑、MVP都明白了。
迭代法就是說(shuō)，先利用手頭少量的數(shù)據(jù)做推測(cè)，甚至是主觀猜測(cè)一件事兒的概率，然后再通過(guò)收集來(lái)的新數(shù)據(jù)，不斷調(diào)整對(duì)這件事概率的估算。最常用的方法就叫作“貝葉斯”。
08 | 大數(shù)定律：局部頻率不是整體概率
黃金定律
到此為止，我們先用弱大數(shù)定律找到了整體，又用強(qiáng)大數(shù)定律確定了整體一定是穩(wěn)定的。大數(shù)定律又被稱為“黃金定理”，它讓我們真正能用整體的確定性來(lái)對(duì)抗局部的隨機(jī)性。
常見誤區(qū)
整體不需要對(duì)局部進(jìn)行補(bǔ)償
這種整體對(duì)局部的約束作用，是怎么進(jìn)行的呢？
很多人會(huì)有一種樸素的想法，叫作“補(bǔ)償思維”。舉個(gè)例子，當(dāng)硬幣連續(xù)拋了10次都是正面朝上后，很多人就認(rèn)為，下一次反面朝上的概率肯定得更高一些。因?yàn)橹挥羞@樣才能補(bǔ)償不平衡的狀況，要不然怎么保證最終硬幣正面朝上的概率還是50%呢？
看起來(lái)很合理，但我要告訴你的是，這種思維是錯(cuò)的。整體不需要通過(guò)補(bǔ)償來(lái)對(duì)局部產(chǎn)生作用，大數(shù)定律并不通過(guò)補(bǔ)償來(lái)實(shí)現(xiàn)。
還是剛才的例子，假如拋硬幣前10次都是正面，那想讓正面朝上的概率穩(wěn)定在50%，后面是不是得拋出更多的反面來(lái)補(bǔ)償呢？不需要。
09 | 數(shù)學(xué)期望：對(duì)隨機(jī)事件長(zhǎng)期價(jià)值的衡量
決策的數(shù)學(xué)依據(jù)
幾乎所有金融產(chǎn)品的價(jià)值，比如基金、股票是否值得投資，也都可以使用數(shù)學(xué)期望來(lái)衡量。如果贏的期望超過(guò)輸?shù)钠谕?，也就是說(shuō)，如果數(shù)學(xué)期望是正的，就證明它值得長(zhǎng)期投資。這就是金融領(lǐng)域“價(jià)值投資”的真諦。
11 | 概率分布：認(rèn)識(shí)現(xiàn)實(shí)世界的數(shù)學(xué)模型
面對(duì)不確定性，先假設(shè)再求證，貝葉斯定理思維。假設(shè)權(quán)是你擁有的最大權(quán)利！
用模型不斷逼近世界的真相
找到了變化規(guī)律的，可以用概率分布模型描述。還沒(méi)有找到變化規(guī)律的怎么辦呢？只能束手無(wú)策嗎？
當(dāng)然不是。
一般情況下，面對(duì)一個(gè)無(wú)法解釋的現(xiàn)象，專家會(huì)先假設(shè)它服從某個(gè)概率分布模型，然后再去驗(yàn)證假設(shè)。
比如對(duì)于股市這個(gè)問(wèn)題，過(guò)去的經(jīng)濟(jì)學(xué)家發(fā)現(xiàn)：股票的波動(dòng)情況和拋硬幣一樣，連續(xù)兩天都漲或連續(xù)兩天都跌的可能性差不多都是50%，挺服從正態(tài)分布的。于是，他們就用正態(tài)分布來(lái)模擬股市，并根據(jù)這個(gè)模型的數(shù)學(xué)特征，比如數(shù)學(xué)期望、方差、極端情況出現(xiàn)的可能性等，來(lái)構(gòu)建整個(gè)金融體系的風(fēng)險(xiǎn)系統(tǒng)。
最后，人們拿模型的預(yù)測(cè)和現(xiàn)實(shí)中股市的漲跌情況做個(gè)對(duì)比，發(fā)現(xiàn)變化挺一致的。所以人們就認(rèn)為，股市的變化服從正態(tài)分布這個(gè)模型。
但是很快，這個(gè)結(jié)論就出問(wèn)題了。金融危機(jī)爆發(fā)的時(shí)候，市場(chǎng)完全不遵循正態(tài)分布的規(guī)律。在正態(tài)分布的模型中，幾十億年才會(huì)出現(xiàn)一次的極端情況，會(huì)在一天內(nèi)反復(fù)出現(xiàn)。
這時(shí)候，人們終于明白——用正態(tài)分布來(lái)評(píng)估股市的風(fēng)險(xiǎn)，可能壓根就是錯(cuò)的。換句話說(shuō)，我們可能從一開始就選錯(cuò)了模型。
請(qǐng)注意，是我們選錯(cuò)了模型，而不是說(shuō)模型本身是錯(cuò)的。概率分布模型是邏輯的產(chǎn)物，百分之百是正確的；但是模型那么多，我們選擇時(shí)可能出錯(cuò)。打個(gè)比方，菜刀的設(shè)計(jì)沒(méi)有錯(cuò)，但你用菜刀釘釘子，就不免會(huì)傷到手。錯(cuò)的不是菜刀，而是你選錯(cuò)了工具。
12 | 正態(tài)分布：最簡(jiǎn)單卻最重要的概率分布
專業(yè)和業(yè)余的數(shù)學(xué)量化就是概率的均值和標(biāo)準(zhǔn)差。
其他人總是用“刻意練習(xí)”“精準(zhǔn)”等來(lái)評(píng)價(jià)專業(yè)和業(yè)余，但在數(shù)學(xué)家看來(lái)，這些詞都太模糊。真正精確的標(biāo)準(zhǔn)只有兩個(gè)——均值和標(biāo)準(zhǔn)差。專業(yè)就是均值更高，標(biāo)準(zhǔn)差更小，業(yè)余恰恰相反。
13 | 中心極限定理：正態(tài)分布是概率分布的神
信息熵和正態(tài)分布聯(lián)系起來(lái)了
而巧合的是，正態(tài)分布就是所有已知均值和方差的分布中，信息熵最大的一種分布。如果熵不斷增長(zhǎng)是孤立系統(tǒng)確定的演化方向，那熵的最大化，也就是正態(tài)分布，就是孤立系統(tǒng)演化的必然結(jié)果。
14 | 冪律分布：給人帶來(lái)希望的魔鬼
冪律分布是對(duì)抗熵增的有效辦法，也就是長(zhǎng)期主義的數(shù)學(xué)依據(jù)。
其中一個(gè)比較主流，也是我最喜歡的，是1982年諾貝爾物理學(xué)獎(jiǎng)得主肯尼斯·威爾遜的觀點(diǎn)。因?yàn)檫@個(gè)研究給人類對(duì)抗熵增，對(duì)抗世界的宿命，提供了新的希望。
威爾遜的研究突破，源于水變成冰這個(gè)常見的生活現(xiàn)象。他發(fā)現(xiàn)，在水變成冰的過(guò)程中，存在一個(gè)神奇的臨界溫度——在臨界溫度之前，水分子里原子的自旋都是隨機(jī)指向不同的方向；可一旦到了臨界溫度，就會(huì)非常有序地指向同一個(gè)方向。
這是個(gè)神奇的事情，為什么在那一瞬間突然就從混亂變成了有序呢？
威爾遜收集了很多臨界態(tài)一瞬間的關(guān)鍵數(shù)據(jù)，結(jié)果發(fā)現(xiàn)，每個(gè)指標(biāo)都在臨界態(tài)附近涌現(xiàn)出了冪律分布。換句話說(shuō)，在水變成冰，也就是從無(wú)序到有序的臨界狀態(tài)上，所有指標(biāo)都呈現(xiàn)出冪律分布的現(xiàn)象。而我們知道，無(wú)序是熵值最大，有序是熵值最小，所以這也就說(shuō)明，在從無(wú)序到有序這個(gè)熵減的過(guò)程中，冪律分布必然發(fā)生。
為什么說(shuō)這個(gè)結(jié)論給人帶來(lái)希望呢？
你想，如果這個(gè)理論是冪律分布產(chǎn)生的原因，那冪律分布就是我們對(duì)抗熵增的必經(jīng)狀態(tài)。只要一個(gè)生命還存在，一個(gè)系統(tǒng)還在演化，它就必然在做熵減的工作，所以出現(xiàn)冪律分布也就不足為奇。這也正好解釋了正態(tài)分布和冪律分布在生活里都很常見，秒殺其他分布的原因。
所以你看，雖然冪律分布像魔鬼一樣狡詐、難以預(yù)料，但它可能是我們對(duì)抗熵增的必然選擇，是每個(gè)系統(tǒng)從無(wú)序到有序，從混沌到清晰，從未知世界到規(guī)律世界的必經(jīng)之路。冪律分布存在的地方，看似兇險(xiǎn)，卻恰恰是對(duì)抗熵增，對(duì)抗死寂，對(duì)抗死亡的角斗場(chǎng)，是我們的希望之光。
19 | 貝葉斯推理：概率是對(duì)信心的度量
概率本質(zhì)上是對(duì)信心的度量，信心也就是確定性。
在貝葉斯的世界里，概率本質(zhì)上是對(duì)信心的度量，是我們對(duì)某個(gè)結(jié)果相信程度的一種定量化的表達(dá)。
生活里，我們說(shuō)的很多概率，其實(shí)表達(dá)的都是我們對(duì)某個(gè)結(jié)果的相信程度。
比如說(shuō)，一場(chǎng)精彩的球賽看下來(lái)，我們總說(shuō)比賽跌宕起伏、千回百轉(zhuǎn)，其實(shí)就是因?yàn)閳?chǎng)上局勢(shì)不斷變化，我們對(duì)比賽結(jié)果、對(duì)某支球隊(duì)輸贏的信心在不斷調(diào)整。
起點(diǎn)不重要，迭代更重要。
生活里，為什么我們總是尋找新信息，爭(zhēng)取信息完備？其實(shí)就是為了運(yùn)用盡可能多的信息，提高自己判斷的準(zhǔn)確率，本質(zhì)上還是貝葉斯推理。
這其實(shí)是一種非常高級(jí)的思維模式。起點(diǎn)不重要，迭代很重要，就需要保持充分的開放和積累；而信息越充分，結(jié)果越可靠，又要求隨時(shí)調(diào)整、不斷逼近真相。這樣每次精進(jìn)一點(diǎn)，每次精進(jìn)一點(diǎn)，這樣的人可不就越活越通透，越活越聰明嗎？
20 | 貝葉斯計(jì)算：定量解決逆概率問(wèn)題
需求決定科學(xué)價(jià)值。
從數(shù)學(xué)上，貝葉斯老先生并沒(méi)有發(fā)明任何東西，他只是對(duì)條件概率公式做了簡(jiǎn)單變形。如果你相信條件概率公式，就得堅(jiān)信貝葉斯公式也一定正確。
21 | 主觀與客觀：不同的概率學(xué)派在爭(zhēng)什么？
下圍棋和打麻將的比喻太貼切了！
而貝葉斯，是個(gè)動(dòng)態(tài)的、反復(fù)的過(guò)程。每個(gè)新信息的加入都要重新進(jìn)行一遍計(jì)算，獲得一個(gè)新概率。貝葉斯沒(méi)有什么限制條件，只是在這一次次獲得新信息、重新計(jì)算的過(guò)程中迭代自己的判斷。它甚至不認(rèn)為現(xiàn)實(shí)的事兒都有正確答案，因?yàn)樗^答案，也是在不斷變化的。
打個(gè)比方，頻率法就像下圍棋，對(duì)局雙方都是完全信息的，每個(gè)人都能看到雙方棋局的全貌。在某個(gè)時(shí)刻，一定存在一個(gè)最優(yōu)解，而且對(duì)于下棋的雙方都是一樣的；而貝葉斯更像打麻將，只能看到自己的牌，而看不到別人的牌，參與者獲得的是非完全信息。根據(jù)局勢(shì)的不斷變化，每個(gè)人都會(huì)針對(duì)自己獲得的信息決定怎么打，也許有不一樣的最優(yōu)解和打法。
概率論的兩兄弟
確切的說(shuō)，頻率法和貝葉斯這兩種方法都是基于嚴(yán)格的數(shù)學(xué)證明和推導(dǎo)，都是客觀的，但在使用的過(guò)程中，都會(huì)或多或少的產(chǎn)生主觀性。
說(shuō)實(shí)話，主觀、客觀屬于哲學(xué)討論的范疇，是認(rèn)識(shí)論的基本問(wèn)題。在現(xiàn)在的數(shù)學(xué)領(lǐng)域，應(yīng)用數(shù)學(xué)家基本是不太討論這些問(wèn)題的，而是兩者都用，哪個(gè)好用用哪個(gè)。
不管是過(guò)去，還是在大數(shù)據(jù)技術(shù)非?；鸬默F(xiàn)在，頻率法都非常有用，甚至在很多領(lǐng)域可能都是最好的方法。它特別適合解決那些普遍的、通用的、群體性的問(wèn)題，比如拋硬幣、玩德州撲克，或者計(jì)算生育率、患病概率、飛機(jī)失事率等。畢竟對(duì)于這類問(wèn)題，得到最終那個(gè)普適的概率值就好了嘛。
而貝葉斯更適合解決變化的、個(gè)體的、無(wú)法重復(fù)的概率問(wèn)題，比如明天比賽某球隊(duì)獲勝的概率、發(fā)生金融危機(jī)的概率，以及人工智能這些技術(shù)等。畢竟它衡量的就是信心，而且本身就是通過(guò)搜集不同的信息，不斷調(diào)整、不斷迭代的。
而在更多的時(shí)候，兩個(gè)方法并不是涇渭分明，而是混合著使用的。
通常，我們會(huì)先用頻率法獲得先驗(yàn)概率，再用貝葉斯計(jì)算某個(gè)證據(jù)的權(quán)重。這時(shí)候，頻率法就是貝葉斯方法的前提，提供相對(duì)靠譜的先驗(yàn)概率。而有些問(wèn)題，貝葉斯方法又能為頻率法提供原始的估算，方便頻率法在茫茫的噪音中快速定位問(wèn)題。這時(shí)候，貝葉斯又為頻率法提供了支撐。
也許很多年以后，數(shù)學(xué)家能做出突破，將頻率法和貝葉斯融合為一個(gè)統(tǒng)一的理論。但現(xiàn)在，用好它就行了。頻率法和貝葉斯就像概率論的兩個(gè)兒子，雖然兩個(gè)兒子性格不同，但它們常常合作解決現(xiàn)實(shí)問(wèn)題。這就叫“兄弟同心，其利斷金”。
