先驗(yàn)概率, 后驗(yàn)概率, 似然函數(shù), 證據(jù)因子

理論

假設(shè)有變量 $x?$ 和 $y?$ , $x?$ 表示特征, $y?$ 表示我們關(guān)心的變量, 可以是分類變量或者連續(xù)變量. 那么, 關(guān)于 $y?$ 的先驗(yàn)概率為 $p(y)?$ , 關(guān)于 $y?$ 的后驗(yàn)概率為 $p(y|x)?$ , 似然函數(shù)為 $p(x|y)?$ , 證據(jù)因子 $p(x)?$ , 根據(jù)全概率公式和貝葉斯公式可以得到它們之間的關(guān)系, 預(yù)先假設(shè) $y?$ 有 $m?$ 種取值:
$\begin{align} p(y_i|x) &= \frac{p(x,y_i)}{p(x)} \\ &= \frac{p(x|y_i)p(y_i)}{p(x)} \\ &= \frac{p(x|y_i)p(y_i)}{\sum_{j=1}^{m}{p(x|y_j)p(y_j)}}, (1 \leq i \leq m) \end{align}$
根據(jù)訓(xùn)練樣本(包含特征和類別), 無法直接求出后驗(yàn)概率, 后驗(yàn)概率需要通過似然函數(shù)和先驗(yàn)概率間接求得.

注意: 這里的先驗(yàn)概率和后驗(yàn)概率是相對(duì)的, $p(x)$ 也可以是先驗(yàn)概率, $p(x|y)$ 為后驗(yàn)概率, 只是相對(duì)于 $x?$ 而已.

例子

假設(shè) $x$ 表示特征, 特征取值范圍有: $\{陰天, 晴天\}$ , $y$ 表示分類, 取值范圍有: $\{下雨, 不下雨\}$ . 現(xiàn)在我們根據(jù)"是否陰天"這個(gè)隨機(jī)變量 $x$ 的觀測(cè)樣本數(shù)據(jù)(特征樣本), 來判斷是否會(huì)下雨.