1.條件期望

1.1期望

image

image

對比平均值和期望

平時常見的多是平均數(shù)的概念，平均數(shù)和期望兩者既有聯(lián)系也有區(qū)別，也容易弄混。

平均數(shù)是統(tǒng)計學(xué)概念，主體是特征樣本。
期望是概率論概念，主體是隨機變量。平均數(shù)和期望可以通過大數(shù)定理聯(lián)系起來：

image

用擲單個骰子的過程來展示大數(shù)定律，同時說明平均數(shù)（均值）和期望。隨著投擲次數(shù)的增加，所有結(jié)果的均值趨于3.5（骰子點數(shù)的期望值）。不同時候做的這個實驗會在投擲次數(shù)較小的時候（左部）會表現(xiàn)出不同的形狀，當(dāng)次數(shù)變得很大（右部）的時候，它們將會非常相似。

簡而言之：

概率是頻率隨樣本數(shù)趨于無窮的極限
期望是均值（平均數(shù)）隨樣本數(shù)趨于無窮的極限

1.2條件期望

image

EX是對所有ω∈Ω，X(ω)取值全體的加權(quán)平均 E(X|Y=y)是局限在ω∈{ω:Y(ω)=y}時，X(ω)取值局部的加權(quán)平均對于局部理解：按照Y的不同取值，整個樣本空間Ω被劃分為n個互不相容的事件（Ω=∑B(j)）。因此E(X|Y=y)是在某一個{B(j)，j∈N}上X(ω)的局部加權(quán)平均。引用：左超-條件數(shù)學(xué)期望

對比EX、E(X|Y)、E(X|Y=y)

EX是一個數(shù)值
E(X|Y)是一個關(guān)于Y的函數(shù)，沒有固定的y值，是一個隨機變量
E(X|Y=y)隨著y的取值不同而不同, 但是只要y確定, 一定是個定值 Before we observe Y,we don't know the value of E(X|Y=y) so it is a random varible which we denote E(X|Y).因此(X|Y)是隨機變量Y的函數(shù)，事實上，它只是局部平均{E(X|Y=y_(j)),j∈N}的統(tǒng)一表達式。

引入E(X|Y)

顯然E(X|Y=y₍₁₎),E(X|Y=y₍₂₎),....，依賴于Y=y_(j),即依賴于全局樣本空間的劃分。這樣，從樣本空間Ω及對ω∈Ω可以變化的觀點看，有必要引進一個新的隨機變量，記為E(X|Y)。對于這個隨機變量E(X|Y)，當(dāng)Y=y時它的取值為E(X|Y=y)，稱隨機變量E(X|Y)為隨機變量X關(guān)于隨機變量Y的條件數(shù)學(xué)期望。引用：左超-條件數(shù)學(xué)期望

1.3迭代期望定律該定律研究的是E(E(X|Y))是什么

image

推導(dǎo)過程

連續(xù)隨機變量

image

證明中的 E(Y|x) 即 E(Y|X=x)，即連續(xù)型期望公式中的 "x" 當(dāng)給定條件X時， 條件期望 E(Y|X) 是一個隨機變量，有自己的分布當(dāng)給定條件X=x時， 條件概率 E(Y|X=x) 是一個函數(shù)，可以記為h(x)，像普通函數(shù)那樣進行計算即可兩者聯(lián)系即X會有一定的概率取值為x，此時E(Y|X=x) =h(x)，按照 h 的運算法則即可 （一個隨機變量的期望取決于分布，不同的隨機變量有同樣的分布的時候，期望是一樣的，進一步說每個分布對應(yīng)唯一的期望）

引用：譚升-條件期望