基本上很多機器學(xué)習(xí)的算法的目標(biāo)函數(shù)都是條件概率分布。所以這里會重點的談?wù)勎覍l件概率分布的理解。?

條件概率分布到底意味著什么呢？

條件概率分布的數(shù)學(xué)表達公式為：P(Y|X)。這里X 和 Y 都是隨機變量。 如何理解該公式呢？?

該公式可以理解為：尋找一種觀察結(jié)果的最可能原因

說白了， 就是從結(jié)果反推出原因。 那么哪個是原因？ 哪個是結(jié)果？

在條件概率分布中，??X代表結(jié)果， Y代表原因， 這一點非常重要。由于結(jié)果是可觀察的， 所以X是已知變量， Y是要求解的未知變量。

所以條件概率分布可以理解在不確定環(huán)境下的因果推導(dǎo)模型。?

比較常見的例子就是醫(yī)療診斷，醫(yī)生會根據(jù)患者的癥狀（觀察的結(jié)果），推斷出具體病因（原因）。?

如何進行條件概率的推理？

根據(jù)貝葉斯定理，有如下公式：

從貝葉斯推理可知：

只要能求解隨機變量 X, Y的聯(lián)合概率分布，?就可以求得條件概率分布。

如何求解聯(lián)合概率分布？

根據(jù)如下概率公式

在這里X是一個向量。?從上述公式看， 關(guān)鍵在于求解?。如果特征變量是布爾類型， 則向量X的取值范圍有， 這個值是指數(shù)級別的，是不可計算的。

所以，有沒有辦法降低計算復(fù)雜度呢？?

另辟道路：變量的獨立性

如果假設(shè)??是互相獨立的， 那么則可以推導(dǎo)出：

則求解的復(fù)雜度從指數(shù)級降低到了線性。?

但是， 天下沒有免費的午餐。 現(xiàn)實情況中， 隨機變量的絕對獨立性非常少見。 所以，這種計算方法雖然提高了計算效率， 但是降低了對現(xiàn)實模擬的準(zhǔn)確度

所以，有沒有其它辦法，即可提高計算效率， 又不降低精確度呢？

柳暗花明又一村：貝葉斯網(wǎng)絡(luò)

貝葉斯網(wǎng)絡(luò)是機器學(xué)習(xí)的一個重要分支， 在這里不具體展開它。

需要記住一點： 貝葉斯網(wǎng)絡(luò)是和聯(lián)合概率分布是等價的。同時貝葉斯網(wǎng)絡(luò)的計算效率提高不少。

如果想進一步深入了解貝葉斯網(wǎng)絡(luò)的話， 可以參考《概率圖模型原理與技術(shù)[科勒，弗里德曼著]》??