大數(shù)定理是研究隨機(jī)變量序列的算術(shù)平均的收斂性問題；而中心極限定理是研究隨機(jī)變量有限和的分布函數(shù)的收斂性問題。

注意：大數(shù)定律與中心極限定義研究的是隨機(jī)變量序列 $\{X_{n}\}$

1. 切比雪夫不等式

這說明方差越小，隨機(jī)變量取值密集在數(shù)學(xué)期望附近的概率越大，這個(gè)結(jié)論也說明方差是描述隨機(jī)變量取值與數(shù)學(xué)期望離散程度的一個(gè)量。

2. 隨機(jī)變量序列的極限

定義：

設(shè) $X_{1},X_{2},\cdots,X_{n},\cdots$ 是一隨機(jī)變量序列，如果存在一個(gè)常數(shù) $a$ ，使得對(duì)任意一個(gè)實(shí)數(shù) $\varepsilon>0$ ，總有
$\lim_{n\rightarrow \infty}P(|X_{n}-a|<\varepsilon)=1$ 成立，則稱隨機(jī)變量序列 $X_{1},X_{2},\cdots,X_{n},\cdots$ 依概率收斂于 $a$ ，記為 $X_{n}\stackrel{P}{\longrightarrow a}$ 。
依概率收斂的直觀意義是：當(dāng) $n$ 充分大時(shí)，隨機(jī)變量序列 $\{X_{n}\}$ 與 $a$ 的距離充分小的事件概率趨于1.

如何證明用頻率來表示概率？

在 $n$ 重貝努里試驗(yàn)中，設(shè) $N_{A}$ 為事件 $A$ 發(fā)生的次數(shù)，每次試驗(yàn)發(fā)生的概率 $P(A)=p$ ，則 $A\sim B(n,p)$ ，事件A發(fā)生的頻率為 $\frac{N_{A}}{n}$ ，則
$\begin{split} &E(\frac{N_{A}}{n})=\frac{np}{n}=p\\ &D(\frac{N_{A}}{n})= \frac{np(1-1)}{n^{2}} = \frac{p(1-P)}{n} \end{split}$ 根據(jù)切比雪夫不等式可得，對(duì)任意一個(gè)實(shí)數(shù) $\varepsilon>0$ ，當(dāng) $n \rightarrow\infty$ 時(shí)，有
$0\le P(|\frac{N_{A}}{n}-p|\ge \varepsilon) \le \frac{p(1-p)}{n\varepsilon} \le \frac{1}{4n\varepsilon}\rightarrow 0$ 則有 $\frac{N_{A}}{n}\stackrel{P}{\longrightarrow}p$ ，上述證明即為頻率穩(wěn)定性的嚴(yán)格證明。

3. 大數(shù)定律

定義:

設(shè) $\{X_{n}\}$ 是一隨機(jī)變量序列，其數(shù)學(xué)期望 $E(X_{n})$ 存在， $n=1,2,\cdots,$ ，令 $\varepsilon_{n}=\frac{1}{n}\sum_{i=1}^{n}X_{i}$ ，若 $\varepsilon_{n}-E(\varepsilon_{n})\stackrel{P}{\longrightarrow}0$ ，則稱隨機(jī)變量序列 $\{X_{n}\}$ 服從大數(shù)定律。

三種大數(shù)定律：

切比雪夫大數(shù)定律：設(shè) $X_{1},X_{2},\cdots,X_{n},\cdots$ 是相互獨(dú)立的隨機(jī)變量序列，如果存在常數(shù) $C$ ，使得 $D(X_{i})\le C,i=1,2,\cdots,$
則此隨機(jī)變量序列服從大數(shù)定律，即對(duì)任意的 $\varepsilon > 0$ ，有
$\lim_{n\rightarrow\infty}P(|\frac{1}{n}\sum_{i=1}^{n}X_{i}-\frac{1}{n}\sum_{i=1}^{n}E(X_{i})|<\varepsilon)=1$

貝努里大數(shù)定律：設(shè) $N_{A}$ 是 $n$ 重貝努里試驗(yàn)中 $A$ 發(fā)生的次數(shù)， $p$ 是 $A$ 發(fā)生的概率，則對(duì)任意的實(shí)數(shù) $\varepsilon > 0$ ，有
$\lim_{n\rightarrow\infty}P(|\frac{N_{A}}{n}-p|<\varepsilon) =1$ 上式實(shí)際上就是頻率穩(wěn)定性的嚴(yán)格數(shù)學(xué)描述。

辛欽大數(shù)定律：設(shè) $X_{1},X_{2},\cdots,X_{n},\cdots$ 是獨(dú)立同分布的隨機(jī)變量序列，且
$E(X_{i})=\mu,i=1,2,\cdots,$ 則對(duì)任意的實(shí)數(shù) $\varepsilon >0$ ，有
$\lim_{n\rightarrow\infty}P(|\frac{1}{n}\sum_{i=1}^{n}X_{i}-\mu|<\varepsilon) =1$ 由辛欽大數(shù)定律可知，當(dāng)n充分大時(shí)，對(duì)某隨機(jī)變量的n次測量結(jié)果 $x_{1},x_{2},\cdots,x_{n}$ 的算術(shù)平均值作為該隨機(jī)變量的期望的近似值。

4. 中心極限定理

中心極限定理本質(zhì)上是研究隨機(jī)變量序列的有限和在什么條件下，它的極限分布是標(biāo)準(zhǔn)正態(tài)分布的問題。

定義：

凡是使得概率分布函數(shù) $F_{n}(x)\stackrel{n\rightarrow \infty}{\longrightarrow} \phi(x)$ 一致成立的定理都叫做中心極限定理。其中 $\phi(x)$ 是標(biāo)準(zhǔn)正態(tài)分布的概率分布函數(shù)。

隨機(jī)變量序列的標(biāo)準(zhǔn)化：

令
$\varepsilon_{n}=\frac{\sum_{i=1}^{n}[X_{i}-E(X_{i})]}{\sqrt{D(\sum_{i=1}^{n}X_{i})}}$ 則有
$E(\varepsilon_{n})=0,D(\varepsilon_{n})=1,n=1,2,\cdots,$ 所以 $\varepsilon_{n}$ 就是 $\sum_{i=1}^{n}X_{i}$ 經(jīng)標(biāo)準(zhǔn)化后的隨機(jī)變量序列。

獨(dú)立同分布下的中心極限定理：

設(shè) $X_{1},X_{2},\cdots,X_{n}$ 是獨(dú)立同分布的隨機(jī)變量序列，當(dāng) $n$ 充分大時(shí)，可近似認(rèn)為
$\frac{\sum_{i=1}^{n}X_{i}-n\mu}{\sqrt{n}\sigma}\sim N(0,1)$ 或
$\sum_{i=1}^{n}X_{i}\sim N(n\mu,n\sigma^{2})$ 一般地，當(dāng) $n$ 充分大時(shí)，可用以下近似等式計(jì)算概率
$\begin{split} &(1). \space \space \space P(a<\frac{\sum_{i=1}^{n}X_{i}-n\mu}{\sqrt{n}\sigma} \le b)\approx \phi(b)-\phi(a)\\ &(2). \space\space \space P(a<\sum_{i=1}^{n}X_{i} \le b)\approx \phi(\frac{b-n\mu}{\sqrt{n}\sigma})- \phi(\frac{a-n\mu}{\sqrt{n}\sigma} )\end{split}$

拉普拉斯中心極限定理：

設(shè) $N_{A}$ 是 $n$ 次獨(dú)立重復(fù)試驗(yàn)中事件 $A$ 發(fā)生的次數(shù)， $p$ 是每次試驗(yàn)事件A發(fā)生的概率， $N_{A}\sim B(n,p)$ ，則對(duì)任意有限區(qū)間 $(a,b]$ ，有 $\lim_{n\rightarrow\infty}P(a<\frac{N_{A}-np}{\sqrt{np(1-p)}} \le b)= \phi(b)-\phi(a)$