1. 數(shù)學(xué)期望

數(shù)學(xué)期望刻畫了隨機(jī)變量X的所有可能取值在概率意義下的平均值，實(shí)際上是均值的一種體現(xiàn)。

離散型隨機(jī)變量的數(shù)學(xué)期望：

連續(xù)型隨機(jī)變量的數(shù)學(xué)期望：

隨機(jī)變量函數(shù)的數(shù)學(xué)期望:

數(shù)學(xué)期望的性質(zhì)：

2. 方差

定義：反應(yīng)隨機(jī)變量與其數(shù)學(xué)期望的偏離程度

設(shè) $X$ 是一個(gè)隨機(jī)變量，如果 $E([X-E(X)])^{2}$ 存在，則稱 $E([X-E(X)])^{2}$ 為 $X$ 的方差，記為 $D(X)$ ，即
$D(X)=E([X-E(X)])^{2}$ 稱 $\sqrt{D(X)}$ 為 $X$ 的標(biāo)準(zhǔn)差。

性質(zhì)：

重要分布的期望和方差：

其中，指數(shù)分布的概率密度函數(shù)為： $f(x)=\begin{cases}\frac{1}{\theta} e^{-\frac{1}{\theta} x}, &x>0\\ 0, &x\le0 \end{cases}$

3. 協(xié)方差

描述二維隨機(jī)變量 $(X,Y)$ 之間的 $X$ 與 $Y$ 的關(guān)系。

協(xié)方差的定義：

協(xié)方差的計(jì)算式以及性質(zhì)：

補(bǔ)：
$D(X\pm Y)=D(X)+D(Y)\pm 2Cov(X,Y)$ 推廣到n維隨機(jī)變量得到：
$D(\sum_{i=1}^{n}X_{i})=\sum_{i=1}^{n}D(X_{i})+2\sum_{1\le i<j \le n}Cov(X_{i},X_{j})$

4. 相關(guān)系數(shù)

相關(guān)系數(shù)的定義："標(biāo)準(zhǔn)化的協(xié)方差"

設(shè) $(X,Y)$ 是二維隨機(jī)變量，若 $D(X)>0,D(Y)>0$ ，稱
$\rho_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$ 為 $X$ 和 $Y$ 的相關(guān)系數(shù)，當(dāng) $\rho_{XY}=0$ ，稱隨機(jī)變量 $X$ 與 $Y$ 不相關(guān)。
注意：當(dāng) $X$ 與 $Y$ 獨(dú)立時(shí)， $X$ 與 $Y$ 不相關(guān)。因?yàn)椋?br> $Cov(X,Y)=E(XY)-E(X)E(Y)=0$

等價(jià)定義：將隨機(jī)變量標(biāo)準(zhǔn)化為
$X^{*}=\frac{X-E(X)}{\sqrt{D(X)}},Y^{*}=\frac{Y-E(Y)}{\sqrt{D(Y)}}$ 則， $\rho_{XY}=E(X^{*}Y^{*})=Cov(X^{*},Y^{*})$

相關(guān)系數(shù)的性質(zhì)：

設(shè) $\rho_{XY}$ 為隨機(jī)變量 $(X,Y)$ 的相關(guān)系數(shù)，則有：
(1). $|\rho_{XY}|\le 1$ 。
(2). $|\rho_{XY}| = 1$ 的充要條件是 $X$ 與 $Y$ 依概率線性相關(guān)，即存在常數(shù) $a(a\ne 0),b$ ，使 $P(Y=aX+b)=1$ 證明過程見《概率論與隨機(jī)過程》P115

討論：

當(dāng) $|\rho_{XY}| = 1$ 時(shí)， $X$ 與 $Y$ 存在線性相關(guān)的概率為1，不存在線性相關(guān)的概率為0.

當(dāng) $|\rho_{XY}| < 1$ 時(shí)，這種線性相關(guān)的概率隨著 $\rho_{XY}$ 的降低而減小。

當(dāng) $|\rho_{XY}| = 0$ 時(shí)，它們之間不存在線性關(guān)系。