大師兄的貝葉斯網(wǎng)絡(luò)學習筆記（二十九）：貝葉斯網(wǎng)絡(luò)（三）
大師兄的貝葉斯網(wǎng)絡(luò)學習筆記（三十一）：貝葉斯網(wǎng)絡(luò)（五）
三、單參數(shù)貝葉斯估計
2. 貝葉斯估計的計算
- 考慮投擲圖釘問題1：
- 由于沒有關(guān)于投擲圖釘?shù)南闰炛R，所以假設(shè)先驗分布是貝塔分布B[0,0]
- 于是，
，而
- 下一次投擲圖釘?shù)玫筋^朝上的概率為：
- 考慮投擲圖釘問題2：
- 由于知道投擲正常硬幣正面朝上的概率為1/2，而且問題所涉及的硬幣應(yīng)該是正常硬幣，但又不能完全排除它是魔術(shù)硬幣的可能性
- 所以假設(shè)先驗分布是貝塔分布B[100,100]
- 于是
，而
。
- 根據(jù)貝葉斯估計，下一次投得硬幣正面朝上的概率為
，這里樣本量m=6很小，先驗知識占主導作用。
- 另一方面，如果假設(shè)共投擲硬幣6萬次，得到2萬次正面朝上，4萬次反面朝上，即
，那么下一次投幣正面朝上的概率是
。
3. 共軛分布族
- 再看公式
：
- 它的右邊是先驗概率分布
的乘積。
- 在i.i.d假設(shè)下，
是二項似然函數(shù)，上面
來自貝塔分布族。
- 這是因為貝塔分布族是二項似然函數(shù)的共軛分布族(conjugate family)，即如果先驗分布
也是貝塔分布。
- 這使得貝葉斯估計的計算簡單易行。
- 事實上，如果假設(shè)
來自另一分布族，比如正態(tài)分布，那么貝葉斯估計計算起來就要困難得多。
- 另外，共軛分布族的使用也使得我們可以清楚地了解到貝葉斯估計是怎樣把先驗知識與觀測數(shù)據(jù)結(jié)合到一起。
- 假設(shè)
實際上就是做如下假設(shè)：
- 先驗知識相當于一組包含
哥頭朝上和
個尾朝上的樣本的虛擬數(shù)據(jù)(imaginary data)。
- 貝葉斯估計把這些虛擬數(shù)據(jù)和實際觀測所得到的數(shù)據(jù)放到一起，得到一組由
個頭朝上和
個尾朝上的樣本所組成的數(shù)據(jù)，于是
。
4. 順序?qū)W習與批量學習
- 機器學習有兩種模式，即順序?qū)W習與批量學習。
- 順序?qū)W習(sequential learning)指一個一個地處理數(shù)據(jù)樣本，每處理一個樣本就更新一次參數(shù)，而且更新是在當前參數(shù)值的基礎(chǔ)上進行的。
- 批量學習(batch learning)則指同時處理所有數(shù)據(jù)，一次性得到參數(shù)估計。在處理完當前數(shù)據(jù)之后的一段時間內(nèi)，如果有新的數(shù)據(jù)出現(xiàn)，就把新老數(shù)據(jù)混合在一起，重新進行參數(shù)估計，這個過程完全不依賴以前的估計。
- 貝葉斯估計既可以用于順序?qū)W習，也可以用于批量學習，而最大似然估計只能用于批量學習。
