久久日av,一区二区网站,9久在线精品视频

樸素貝葉斯 - 貝葉斯估計(jì)Python復(fù)現(xiàn)：

舟曉南：樸素貝葉斯（Bayes）模型python復(fù)現(xiàn) - 貝葉斯估計(jì)；下溢出問題

在《統(tǒng)計(jì)學(xué)習(xí)方法》一書中，詳細(xì)說明了后驗(yàn)概率最大化與期望風(fēng)險(xiǎn)最小化之間的關(guān)系，深入地說明了后驗(yàn)概率最大化的含義，但其中的推導(dǎo)過程有所省略，這篇文章作為補(bǔ)充說明。

后驗(yàn)概率最大化的含義：

書中提到，樸素貝葉斯法將實(shí)例分到后驗(yàn)概率最大的類中，這等價(jià)于期望風(fēng)險(xiǎn)最小化。

要明白什么是期望風(fēng)險(xiǎn)最小化，首先要明白什么是期望。

期望是指某件事大量發(fā)生后的平均結(jié)果，反應(yīng)了隨機(jī)變量平均取值的大小。計(jì)算期望的公式：

其中x為X的取值，p為在X為該取值的概率，K為x可取值的數(shù)量。

期望與平均值之間的關(guān)系：

其中N是實(shí)例總數(shù)，n是X為x取值時(shí)的實(shí)例數(shù)量。

舉個(gè)例子，在10戶人家中有3戶擁有1個(gè)孩子，有3戶擁有2個(gè)孩子，有4戶擁有3個(gè)孩子，則其期望為：

即對(duì)家庭的期望是每個(gè)家庭有2.1個(gè)孩子。

說回期望風(fēng)險(xiǎn)，按照書中的定義，期望風(fēng)險(xiǎn)的含義是：模型關(guān)于聯(lián)合分布的期望損失，學(xué)習(xí)的目標(biāo)就是選擇期望風(fēng)險(xiǎn)最小的模型。

既然期望風(fēng)險(xiǎn)就是期望損失，那么我們需要定義一個(gè)損失函數(shù)，用來判斷模型的好壞。

假設(shè)我們?cè)跇闼刎惾~斯分類器中使用0-1損失函數(shù)：

其中f(X)就是習(xí)得的樸素貝葉斯模型。

那么期望風(fēng)險(xiǎn)代表的就是損失的平均值，函數(shù)為：

因?yàn)槠谕亩x是值出現(xiàn)的概率乘以具體值之和，所以上式可轉(zhuǎn)換為損失函數(shù)與聯(lián)合概率之積的積分：

在上式的轉(zhuǎn)換中運(yùn)用了聯(lián)合概率，邊緣概率和條件概率的關(guān)系。

我們?cè)O(shè)? $\int_{Y}^{\cdot } L(y, f(x)) P( y| x)dy$ ?為H(x)。

H(x)中損失函數(shù)大于等于0，條件概率P(y|x)大于0，因此H(x)大于0。同時(shí)P(x)也大于0，且當(dāng)X=x時(shí)P(x)（先驗(yàn)概率）為常數(shù)，因此期望風(fēng)險(xiǎn)最小化可轉(zhuǎn)換為條件期望最小化，即argminH(x)