目錄
- 1.概率論基礎(chǔ)
- 2.統(tǒng)計(jì)量
- 3.大數(shù)定律
- 4.中心極限定理
- 5.最大似然估計(jì)
1. 概率論基礎(chǔ)
1.1 概率論基本概念
1.1.1 什么是概率
表示事件發(fā)生可能大小的一個(gè)量叫做概率。
1.1.2 概率公式
（1）條件概率公式
P(A|B)稱為事件B發(fā)生的情況下A發(fā)生的概率，計(jì)算公式如下：
通常，條件概率P(A|B)和無(wú)條件概率P(A)是不同的。
（2）全概率公式
在很多實(shí)際問(wèn)題中，往往不易直接求出概率
P(A)，但卻容易找到S的一個(gè)劃分B1,B2,...,Bn，且Bi和P(A|Bi)為已知，則根據(jù)全概率公式很容易求出P(A)。
（3）貝葉斯公式
根據(jù)前面條件概率公式和全概率公式可以推導(dǎo)出貝葉斯公式，如下：
在這里，P(Bi)是B的先驗(yàn)概率，之所以稱為“先驗(yàn)”，是因?yàn)椴恍枰紤]任何A方面的因素。
1.2 常見概率分布
1.2.1 0-1分布
0-1分布是經(jīng)常遇到的一種分布，定義如下：
并且：
期望 E(X) = 1p + 0(1-p) = p
方差 D(X) = E(X^2) - [E(X)]^2 = pq
1.2.2 二項(xiàng)分布
設(shè)實(shí)驗(yàn)E只有兩個(gè)可能結(jié)果A和B，則稱E為伯努利(Bernoulli)實(shí)驗(yàn)，設(shè)P(A)=p（0<p<1），此時(shí)P(B)=1-p，將E獨(dú)立重復(fù)的執(zhí)行n次，則稱這一串的重復(fù)實(shí)驗(yàn)為n重伯努利實(shí)驗(yàn)。
伯努利實(shí)驗(yàn)的特點(diǎn)：
- 重復(fù)，即每次實(shí)驗(yàn)的概率是相同的
- 獨(dú)立，各次實(shí)驗(yàn)的結(jié)果互不影響
- 每次實(shí)驗(yàn)可能的結(jié)果只有兩個(gè)，即A&B
二項(xiàng)分布即重復(fù)n次的伯努利實(shí)驗(yàn)，每次實(shí)驗(yàn)結(jié)果為A的概率是p，結(jié)果為B的概率是q(其中q=1-p)，則在n次實(shí)驗(yàn)中有k次為A，n-k次結(jié)果為B的概率為：
即有
顯然
觀察下面這個(gè)表達(dá)式
發(fā)現(xiàn)剛好是(p+q)^n 的展開式中出現(xiàn)p^k的那一項(xiàng)，我們稱隨機(jī)變量X服從參數(shù)為n,p的二項(xiàng)分布，并記為X~b(n,p)。
當(dāng)n=1時(shí)，二項(xiàng)分布就是(0-1)分布
期望E(X)為
方差D(X)為
1.2.3 泊松分布
泊松分布適合描述單位時(shí)間（空間）內(nèi)隨機(jī)事件的發(fā)生次數(shù)，例如，一本書一頁(yè)中的印刷錯(cuò)誤數(shù)、某地區(qū)一個(gè)時(shí)間間隔內(nèi)發(fā)生交通事故的次數(shù)等。
在總結(jié)以下幾個(gè)概率分布前，先解釋一下連續(xù)型隨機(jī)變量。
一般，如果對(duì)于隨機(jī)變量X的分布函數(shù)F(x)，存在非負(fù)函數(shù)f(x)，使對(duì)于任意實(shí)數(shù)x有
則稱X為連續(xù)性隨機(jī)變量，其中函數(shù)f(x)稱為X的概率密度函數(shù)，簡(jiǎn)稱概率密度。
實(shí)際應(yīng)用中遇到的基本上是離散型或者連續(xù)性隨機(jī)變量，本文也只討論這兩種隨機(jī)變量。
概率密度函數(shù)有以下幾個(gè)特點(diǎn)：
下面總結(jié)一下三種重要的連續(xù)型隨機(jī)變量的概率密度。
1.2.4 均勻分布
若連續(xù)型隨機(jī)變量X具有概率密度
則稱X在區(qū)間(a,b)上服從均勻分布，記為X~U(a,b)
很容易推導(dǎo)出X的分布函數(shù)為
1.2.5 指數(shù)分布
若連續(xù)型隨機(jī)變量X概率密度為
其中，θ>0為常數(shù)，則稱X服從參數(shù)為θ的指數(shù)分布。
1.2.6 正態(tài)分布
若連續(xù)型隨機(jī)變量X的概率密度為
其中μ,σ(σ>0)為常數(shù)，則稱X服從參數(shù)為μ,σ的正態(tài)分布或高斯分布(Gauss)，記為X~N(μ,σ^2)
1.2.7 Beta分布
暫時(shí)省去500字
2.統(tǒng)計(jì)量
2.1 獨(dú)立和不相關(guān)
給定A,B兩個(gè)事件，如果滿足等式
P(AB) = P(A)P(B)
則稱事件A,B相互獨(dú)立，簡(jiǎn)稱A,B獨(dú)立。
其中：
獨(dú)立一定不相關(guān)；
不相關(guān)不一定獨(dú)立；
實(shí)際上不相關(guān)就是兩者沒(méi)有線性關(guān)系，但是不排除存在其他關(guān)系的可能性，而獨(dú)立就是不存在任何關(guān)系。
2.2 期望
2.2.1 定義
-
離散型
-
連續(xù)型
2.2.2 性質(zhì)
-
無(wú)條件成立
- E(kX) = kE(X)
- E(X + Y) = E(X) + E(Y)
若X和Y相互獨(dú)立
E(XY) = E(X)E(Y) 反之不成立
2.2 方差
2.2.1 定義
設(shè)X是一個(gè)隨機(jī)變量，若E{[X-E(X)]^2}存在，則稱E{ [X-E(X)]^2 }是X的方差，記做D(X)或者Var(x)，即
D(X)=Var(x)=E{[X-E(X)]^2}
2.2.2 性質(zhì)
-
無(wú)條件成立
- Var(c) = 0
- Var(X+c) = Var(X)
- Var(kX) = k^2Var(X)
-
X和Y相互獨(dú)立
- Var(X+Y) = Var(X) + Var(Y)
2.3 協(xié)方差
2.3.1 定義
E{[X-E(X)][Y-E(Y)]}稱為隨機(jī)變量X與Y的協(xié)方差，記為Cov(X,Y)。
協(xié)方差是兩個(gè)變量是否具有相同變化趨勢(shì)的度量：
- 若Cov(X,Y) > 0，他們的變化趨勢(shì)相同；
- 若Cov(X,Y) < 0，他們的變化趨勢(shì)相反；
- 若Cov(X,Y) = 0，他們不相關(guān)；
2.3.2 性質(zhì)
- Cov(X,Y) = Cov(Y,X)
- Cov(aX+b, cY+d) = acCov(X,Y)
- Cov(X1+X2,Y) = Cov(X1,Y) + Cov(X2,Y)
- Cov(XY) = E(XY) - E(X)E(Y)
而
稱為隨機(jī)變量X和Y的相關(guān)系數(shù)
參考資料：
[1] 《概率論與數(shù)理統(tǒng)計(jì)（浙大 第四版）》
