本文整理自：http://www.cnblogs.com/vamei
聯(lián)合分布(joint distribution)描述了多個(gè)隨機(jī)變量的概率分布，是對(duì)單一隨機(jī)變量的自然拓展。聯(lián)合分布的多個(gè)隨機(jī)變量都定義在同一個(gè)樣本空間中。

1、離散隨機(jī)變量的聯(lián)合分布

我們先從離散的情況出發(fā)，了解多個(gè)隨機(jī)變量并存的含義。
一個(gè)隨機(jī)變量是從樣本空間到實(shí)數(shù)的映射。然而，所謂的映射是人為創(chuàng)造的。從一個(gè)樣本空間，可以同時(shí)產(chǎn)生多個(gè)映射。比如，我們的實(shí)驗(yàn)是連續(xù)三次投硬幣，樣本空間為：Ω={hhh,hht,hth,thh,htt,tht,tth,ttt}
h為正面，t為反面。在同一樣本空間上，我們可以定義多個(gè)隨機(jī)變量，比如:

X: 投擲為正面的總數(shù)，可以取值0，1，2，3
Y: 最后一次出現(xiàn)負(fù)面的總數(shù)，可以取值0，1
Z: 將正面記為10，負(fù)面記為5，第一次與第三次取值的差，可以有5, -5, 0

如果樣本空間Ω中每個(gè)結(jié)果出現(xiàn)的概率相等。而樣本空間中共有8個(gè)結(jié)果，那么個(gè)每個(gè)結(jié)果的出現(xiàn)的概率都是1/8。據(jù)此，我們可以計(jì)算聯(lián)合概率，比如：

對(duì)于X=x,Y=y，我們尋找樣本空間中滿足這兩個(gè)取值的所有元素。這些元素構(gòu)成一個(gè)樣本空間的子集，該子集的概率就是P(X=x,Y=y)的聯(lián)合概率。p(x,y)=P(X=x,Y=y)稱(chēng)為聯(lián)合概率質(zhì)量函數(shù)(joint PMF, joint probability mass function)。聯(lián)合概率可以看做兩個(gè)事件同時(shí)發(fā)生時(shí)的概率，事件A為X=x，事件B為Y=y，即P(A∩B)找到所有可能取值組合的概率，就找到了這兩個(gè)隨機(jī)變量的聯(lián)合分布:

2、連續(xù)隨機(jī)變量的聯(lián)合分布

我們知道，單個(gè)連續(xù)隨機(jī)變量的概率是變量在某個(gè)區(qū)間(某段線的“長(zhǎng)度”)取值的概率。做類(lèi)似的推廣，多個(gè)連續(xù)隨機(jī)變量的概率，是這多個(gè)隨機(jī)變量在多維區(qū)間的概率。比如兩個(gè)隨機(jī)變量，我們需要表達(dá)一個(gè)二維區(qū)間的概率，比如P(a≤X≤b,c≤Y≤d)。這個(gè)二維區(qū)間可以有一個(gè)類(lèi)似于一個(gè)小補(bǔ)丁的“面積”。二維區(qū)間對(duì)應(yīng)的概率是一個(gè)體積。

在單變量情況下，概率是一個(gè)“面積”，是由區(qū)間的“長(zhǎng)度”和密度函數(shù)(一條曲線)圍成的。這里的“體積”是二維區(qū)間的“面積”和密度函數(shù)(一個(gè)曲面)圍成的。我們可以使用聯(lián)合概率密度函數(shù)(joint PDF, joint probability density function)來(lái)表達(dá)多隨機(jī)變量的分布。對(duì)于雙變量的聯(lián)合分布來(lái)說(shuō)，它等于無(wú)窮小塊的概率，除以無(wú)窮小塊的面積。

用微積分的語(yǔ)言來(lái)說(shuō)，就是：

f(x,y)就是描述X和Y的聯(lián)合分布的聯(lián)合概率密度函數(shù)。

3、邊緣概率

聯(lián)合分布包含了多個(gè)隨機(jī)變量的分布信息。我們當(dāng)然可以從聯(lián)合分布中，提取出任意一個(gè)單一隨機(jī)變量的分布，也就是所謂的邊緣分布(marginal distribution)。

對(duì)于離散隨機(jī)變量，可以獲得邊緣概率質(zhì)量函數(shù)(marginal pmf):

在求X的單一邊緣分布時(shí)， 我們累加了相同x值、不同y值時(shí)的多個(gè)聯(lián)合概率，從而獲得該x值的的總體概率，即邊緣概率。
連續(xù)隨機(jī)變量X的邊緣密度函數(shù)(marginal pdf, marginal probability density function)可以定義為：

4、邊緣分布舉例：