久久精品国产av,一区的二区视频亚三级

概率與統(tǒng)計(jì)

概率是已知模型、參數(shù)推數(shù)據(jù)，而統(tǒng)計(jì)是已知數(shù)據(jù)推模型和參數(shù)。
似然和概率是兩個(gè)意思很相似的詞，但含義不同。相當(dāng)于從不同視角理解同一個(gè)東西。
對(duì)于函數(shù) $P(x|\theta)$ ，其中x為數(shù)據(jù)， $\theta$ 為參數(shù)。

若參數(shù) $\theta$ 是確定的，數(shù)據(jù)x是未知的，則P叫概率函數(shù)。描述的是，對(duì)于不同的樣本x，其出現(xiàn)時(shí)的概率是多少；
若數(shù)據(jù)x是已知的，參數(shù) $\theta$ 是未知的，則P就叫似然函數(shù)。描述的是，對(duì)于不同的參數(shù) $\theta$ ，出現(xiàn)樣本點(diǎn)x的概率是多少；

貝葉斯公式

$P(A|B)=\frac{P(B|A)P(A)}{P(B)} = \frac{P(B|A)P(A)}{P(B|A)P(A)+P(B|~A)P(~A)}$

最大似然估計(jì)

已知一組樣本 $x_1,x_2,...,x_n$ ，和模型 $f(x|\theta)$ ，估計(jì)其參數(shù) $\theta$ 。
似然估計(jì)認(rèn)為，已經(jīng)出現(xiàn)的事件就是發(fā)生可能性最大的事件。
任一樣本 $x_i$ ，發(fā)生的概率為 $f(x_i|\theta)$ 。因此對(duì)于這組樣本，其整體發(fā)生的概率，即聯(lián)合分布概率為 $L(x_1;...;x_n|\theta)=\prod _{i=1}^{n}f(x_i|\theta)$
只需要對(duì)L求極大值即可，一般會(huì)根據(jù)情況取ln，求導(dǎo)。若不可導(dǎo)，則利用函數(shù)特性求解。

最大后驗(yàn)概率估計(jì)

最大似然估計(jì)時(shí)，估計(jì)的是 $P(x|\theta)$ （P即f）。而最大后驗(yàn)概率估計(jì)，估計(jì)的是 $P(x|\theta)P(\theta)$ ，即將參數(shù)本身的概率也考慮進(jìn)去，既希望概率最大，也希望參數(shù)自身先驗(yàn)概率也最大，相當(dāng)于是一個(gè)期望更大值的正則項(xiàng)。舉例解釋見(jiàn)例子
$\frac{P(x|\theta)P(\theta)}{P(x)}=P(\theta|x)$ ，其中P(x)已知了，所以估計(jì) $P(x|\theta)P(\theta)$ 就是估計(jì) $P(\theta|x)$ ，即后驗(yàn)概率。
在求解時(shí)可將 $P(\theta)$ 代入，同理求解最大值，得到得到最大后驗(yàn)概率估計(jì)。