久久久久久国产九色,青青青青手机视频

概率論

我們需要描述一組數(shù)據(jù)時(shí)候，本質(zhì)上需要描述每一個(gè)點(diǎn)。但是如果我們可以用分布去表示這些數(shù)據(jù)，就只需要均值或者方差分布參數(shù)，大大節(jié)省了存儲(chǔ)空間。

離散型隨機(jī)分布

伯努利分布：一次實(shí)驗(yàn)，結(jié)果只有兩種結(jié)果。 $p(k)=p^k(1-p)^{(1-k)}, k\in\{0, 1\}$ ，期望： $p$ ，方差： $p(1-p)$

二項(xiàng)分布：n次伯努利實(shí)驗(yàn)正好得到k次成功的概率，單次成功的概率為p。當(dāng)n=1的時(shí)候退化到伯努利分布。當(dāng)p=0.5的時(shí)候，整體上和正態(tài)分布圖形類似。 $p(k)=C_n^kp^k(1-p)^{n-k}$ ，期望： $np$ ，方差： $np(1-p)$

幾何分布：進(jìn)行n次伯努利實(shí)驗(yàn)，在獲取成功前需要進(jìn)行多少次實(shí)驗(yàn)。分布圖形是越往前概率越大， $p(k)=(1-p)^{k-1}p$ , 期望 $\frac{1}{p}$ , 方差是 $\frac{(1-p)}{p^k}$

泊松分布：?jiǎn)挝粫r(shí)間內(nèi)獨(dú)立事件發(fā)生次數(shù)的概率分布，它是二項(xiàng)分布n很大而p很小時(shí)的極限。泊松分布可以把單位時(shí)間切成n次，每次成功的概率為p，那么單位時(shí)間內(nèi)出現(xiàn)k次的概率就是二項(xiàng)分布，所以泊松分布是二項(xiàng)分布的一種極限形式。它的分布圖形也和二項(xiàng)分布類似，特別是n很大而p很小時(shí)。 $p(k)=\frac{e^{-\lambda}\lambda^k}{k!}$ , 期望和方差都是 $\lambda$ ,其中k是發(fā)生的次數(shù)， $\lambda$ 是發(fā)生的平均次數(shù)，當(dāng) $\lambda>=20$ 時(shí)，泊松分布趨向于正態(tài)分布。

指數(shù)分布：對(duì)應(yīng)于泊松分布，指數(shù)分布是指兩次獨(dú)立事件發(fā)生的時(shí)間間隔的概率分布。
$p(k)=\lambda e^{-\lambda k}$ ，其中 $\lambda$ 是指單位時(shí)間內(nèi)獨(dú)立事件發(fā)生的次數(shù)。期望= $\frac{1}{\lambda}$ ，方差= $\frac{1}{\lambda^2}$

負(fù)二項(xiàng)分布：在一連串伯努利實(shí)驗(yàn)中，恰好在第r+k次實(shí)驗(yàn)出現(xiàn)第r次成功的概率。換句話說，是指出現(xiàn)第r次成功時(shí)所需要的總實(shí)驗(yàn)次數(shù)的概率分布。
$p(k,r,p)=C_{r+k-1}^{r-1}p^{r}(1-p)^{k}$ ，期望 $E(k)=\frac{k(1-p)}{p}$ , 方差 $D(k)=\frac{k(1-p)}{p^2}$

多項(xiàng)分布：二項(xiàng)分布的擴(kuò)展。

連續(xù)型隨機(jī)分布

均勻分布： $p(x)=\frac{1}{b-a}$ ，期望 $\frac{b+a}{2}$ ，方差 $\frac{(b-a)^2}{12}$

正態(tài)分布： $p(x)=N(\mu, \sigma)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}$ ，期望 $\mu$ ，方差 $\sigma$ 。

指數(shù)分布：可以擴(kuò)展到連續(xù)隨機(jī)變量，仍然代表兩次獨(dú)立事件發(fā)生的事件間隔（實(shí)數(shù)）。公式和上面一致。

最大熵

那么以上的概率分布是如何來的呢？最大熵理論提供了一種解釋的方法，概率分布是滿足一定約束條件下的最大熵概率分布。對(duì)于一個(gè)隨機(jī)變量來說，如果沒有任何約束，我們大概率傾向于該隨機(jī)變量符合均勻分布。對(duì)應(yīng)到現(xiàn)實(shí)中，如果沒有任何前提條件，我們認(rèn)為事件發(fā)生的概率是相同的。比如骰子，我們會(huì)默認(rèn)每一面的概率是1/6。最大熵概率分布滿足一下條件：
$math max_pH(p)=-\int_yp(y)logp(y)dy, st. \int_yp(y)=1, p(y)>=0, \int_yp(y)*f_i(y)dy=a_i$
其中ai是預(yù)先定好的約束條件，比如均值、方差。使用拉格朗日乘子得到：

$math L(p,\mu,\lambda)=\int_yp(y)logp(y)dy - \mu_0p(y) + \mu_1(\int_yp(y)-1) + \sum_i\lambda_i(\int_yp(y)*f_i(y)dy-a_i)$
其中 $\mu,\lambda$ 都為正數(shù)，解為：
$math p^* = min_p max_{\mu,\lambda}L=max_{\mu,\lambda}min_pL$
假設(shè)y值固定在某個(gè)確定的值，對(duì)p求偏導(dǎo)：
$math \frac{\partial L}{\partial p} = logp + \frac{1}{ln2}-\mu_0 + \mu_1 + \sum_i\lambda_if_i(y) = 0$
等式兩邊乘以ln2，對(duì)logp進(jìn)行換底：

$math lnp + 1 - \mu_0 + \mu_1 + \sum_i\lambda_if_i(y) = 0$
得到解p*：
$math p^*(y) = e^{ - 1 + \mu_0 - \mu_1 - \sum_i\lambda_if_i(y)} = c*e^{-\sum_i\lambda_if_i(y)}$

伯努利分布推導(dǎo)

約束條件：
$math f(y) = y\rightarrow\int_yp(y)*y=\mu, y\in\{0,1\}$
其中 $\mu$ 代表事件成功的概率，也是伯努利分布的期望值，得到 $c*e^{-\lambda}=\mu$
同時(shí)： $p(0) + p(1) = 1 \rightarrow c + ce^{-\lambda}=1$
由以上兩式得到： $c=1-\mu, \lambda=-ln\frac{\mu}{1-\mu}$
綜合以上： $p(y)=(1-\mu)*(\frac{\mu}{1-\mu})^y=(1-\mu)^{1-y}\mu^y$ , 我們就得到了伯努利分布的公式，伯努利分布是在約束期望值下的最大熵概率分布。