期望，方差，協(xié)方差，標(biāo)準(zhǔn)差

期望

概率論中描述一個(gè)隨機(jī)事件中的隨機(jī)變量的平均值的大小可以用數(shù)學(xué)期望這個(gè)概念，數(shù)學(xué)期望的定義是實(shí)驗(yàn)中可能的結(jié)果的概率乘以其結(jié)果的總和。

定義

設(shè) $P(x)$ 是一個(gè)離散概率分布，自變量的取值范圍為 ${x_1,x_2,...,x_n}$ 。其期望被定義為：

設(shè) $P(x)$ 是一個(gè)連續(xù)概率密度函數(shù)，其期望為：

性質(zhì)

期望服從線性性質(zhì)，因此線性運(yùn)算的期望等于期望的線性運(yùn)算。
$E(ax+by+c)=aE(x)+bE(y)+c$

這個(gè)性質(zhì)可以推廣：

函數(shù)的期望：
離散

連續(xù)

但是，函數(shù)的期望不等于期望的函數(shù)，即 $E(f(x))≠f(E(x))$ 。

設(shè)C為常數(shù)： $E(C)=C$
設(shè)C為常數(shù)： $E(CX)=CE(X)$
加法： $E(X+Y)=E(X)+E(Y)$
$當(dāng)X和Y相互獨(dú)立時(shí)$ ， $E(XY)=E(X)E(Y)$
（注意，X和Y的相互獨(dú)立性可以通過(guò)下面的“協(xié)方差”描述）

意義

數(shù)學(xué)期望可以用于預(yù)測(cè)一個(gè)隨機(jī)事件的平均預(yù)期情況。

方差

方差是在概率論和統(tǒng)計(jì)方差衡量隨機(jī)變量或一組數(shù)據(jù)時(shí)的離散程度的度量，換句化說(shuō)如果想知道一組數(shù)據(jù)之間的分散程度的話就可以使用方差來(lái)表示。

統(tǒng)計(jì)學(xué)方差

定義: 在統(tǒng)計(jì)描述中，方差用來(lái)計(jì)算每一個(gè)變量與總體均值之間的差異。為避免出現(xiàn)離均差總和為0，離均差平均和受樣本含量的影響。統(tǒng)計(jì)學(xué)采用平均離均差平方來(lái)描述變量的變異程度。意思應(yīng)該就是為了避免有的數(shù)據(jù)和均值的差值是正數(shù)，有的是負(fù)數(shù)，他們相加會(huì)相互抵消，所以用平方的形式來(lái)衡量。

公式

其中 $σ2$ 為總體方差， $X$ 為變量， $μ$ 為整體均值， $N$ 為總體例數(shù)。

樣本方差

由于在實(shí)際環(huán)境中沒(méi)有辦法窮舉所有例子，所以只能找出部分樣本數(shù)據(jù)，基于這部分樣本進(jìn)行測(cè)算?？梢园压睫D(zhuǎn)換為：

其中 $S2$ 為樣本的方差， $μ$ 為采集樣本的均值， $n$ 為樣本的個(gè)數(shù).

概率論方差

在概率論中，設(shè)X是一個(gè)離散型隨機(jī)變量。

定義：在概率分布中，設(shè)X是一個(gè)離散型的隨機(jī)變量，若 $E((X?E(X))^2))$ 存在，則稱(chēng)它為 $X$ 的方差，記為 $D(X)$ , $Var(X)$ . 其中 $E(X)$ 是 $X$ 的期望， $X$ 是變量值。
離散型隨機(jī)變量方差計(jì)算公式:
$D(X)=E((X?E(X))^2)=E(X^2)?(E(X))^2$
連續(xù)型變量X，其定義域（a, b），概率密度函數(shù)為f(x)，連續(xù)型隨機(jī)變量X方差計(jì)算公式：
$D(X)=∫^b_a(x?μ)^2f(x)$
標(biāo)準(zhǔn)差（Standard Deviation）

定義
又叫均方差，是離均差平方的算數(shù)平方根。標(biāo)準(zhǔn)差能體現(xiàn)一個(gè)數(shù)據(jù)集的離散程度，平均數(shù)相同的兩組數(shù)，標(biāo)準(zhǔn)差未必相同。

公式

標(biāo)準(zhǔn)差的意義

標(biāo)準(zhǔn)差和方差都是用來(lái)衡量樣本離散程度的量，那么為什么要有標(biāo)準(zhǔn)差呢？因?yàn)榉讲詈蜆颖镜牧烤V不一樣。換句話說(shuō)不在一個(gè)層次，怎么理解這個(gè)層次，從公式來(lái)看方差是樣本和均值的平方和的平均。這里有一個(gè)平方運(yùn)算，這是導(dǎo)致量綱不在一個(gè)層次的原因。而標(biāo)準(zhǔn)差和均值的量綱（單位）是一致的，在描述一個(gè)波動(dòng)范圍時(shí)標(biāo)準(zhǔn)差比方差更方便。

協(xié)方差（Covariance）

方差/ 標(biāo)準(zhǔn)差描述的是一維數(shù)據(jù)集合的離散程度，但世界上現(xiàn)象普遍是多維數(shù)據(jù)描述的，那么很自然就會(huì)想到現(xiàn)象和數(shù)據(jù)的相關(guān)程度，以及各維度間相關(guān)程度。
比如，一個(gè)產(chǎn)品賣(mài)的好不好有很多因素構(gòu)成，比如產(chǎn)品質(zhì)量，價(jià)格等。那么價(jià)格質(zhì)量之間是否由相關(guān)性呢？這個(gè)問(wèn)題就可以用協(xié)方差來(lái)解決。

公式

期望值分別為 $E(X), E(Y)$ 的兩個(gè)變量 $X,Y$ 的協(xié)方差
$Conv(X,Y)=E[(X?E(X))(Y?E(Y))]$
$=E(XY)?2E(X)E(Y)+E(X)E(Y)Y)$
$=E(X)$
協(xié)方差表示兩個(gè)變量的總體的誤差。這和只表示一個(gè)變量誤差的方差不同。如果兩個(gè)變量變化的趨勢(shì)一致，也就是說(shuō)如果其中一個(gè)大于自身的期望值，另外一個(gè)也大于自身期望值。那么兩個(gè)變量之間的協(xié)方差就是正。如果兩個(gè)變量的變化趨勢(shì)相反，即其中一個(gè)大于自身的期望值，另外一個(gè)小于自身期望值，那么這兩個(gè)變量之間的協(xié)方差就是負(fù)值。如果X，Y之間是獨(dú)立的，那么兩者的協(xié)方差就是0。