TIME : 2018-05-17
sklearn.naive_bayes.BernoulliNB
與多項(xiàng)式模型一樣，伯努利模型適用于離散特征的情況，所不同的是，伯努利模型中每個特征的取值只能是1和0(以文本分類為例，某個單詞在文檔中出現(xiàn)過，則其特征值為1，否則為0).
伯努利模型和多項(xiàng)式模型是一致的，BernoulliNB需要比MultinomialNB多定義一個二值化的方法，該方法會接受一個閾值并將輸入的特征二值化(1，0).當(dāng)然也可以直接采用MultinomialNB，但需要預(yù)先將輸入的特征二值化.
參數(shù):
BernoulliNB(alpha=1.0, binarize=0.0, fit_prior=True,class_prior=None)
- alpha
- binarize
- fit_prior
- class_prior
[其他參數(shù)說明見<<多項(xiàng)式樸素貝葉斯>>文章]
屬性:
- class_log_prior_
參數(shù)說明:
參數(shù) binarize：將數(shù)據(jù)特征二值化的閾值
<=binarize的值處理為0,>binarize的值處理為1
import numpy as np
from sklearn.naive_bayes import BernoulliNB
x = np.array([[1,2,3,4],[1,3,4,4],[2,4,5,5]])
# 等價于 <=> X = np.array([[0,0,0,1],[0,0,1,1],[0,1,1,1]])
y = np.array([1,1,2])
clf = BernoulliNB(alpha=2.0,binarize = 3.0,fit_prior=True)
clf.fit(x,y)
屬性說明:
屬性 class_log_prior_
類先驗(yàn)概率對數(shù)值，類先驗(yàn)概率=各類的個數(shù)/類的總個數(shù)
clf.class_log_prior_
#>>output:
[-0.40546511, -1.09861229]
等價于 <=>
print(np.log(1/3))
>>output:-1.0986122886681098
print(np.log(2/3))
>>output:-0.40546510810816444
屬性 feature_log_prob_
指定類的各特征概率(條件概率)對數(shù)值，返回形狀為(n_classes, n_features)數(shù)組
計算過程：
假設(shè)X對應(yīng)的四個特征為A1、A2、A3、A4，類別為c1,c2,類別為c1時，特征A1的概率為：P(A1|c=c1) = P(A1=0|c=c1)* A1+P(A1=1|c=c1)* A1
由于A1=0, 所以:
P(A1|c=c1)=(類c1中 含有A1特征的樣本數(shù) +α )/(當(dāng)前類別的樣本數(shù) + α*類別數(shù))
import numpy as np
from sklearn.naive_bayes import BernoulliNB
X = np.array([[1,2,3,4],[1,3,4,4],[2,4,5,5]])
y = np.array([1,1,2])
clf = BernoulliNB(alpha=2.0,binarize = 3.0,fit_prior=True)
clf.fit(X,y)
print(clf.feature_log_prob_)
>>output:
[[-1.09861229 -1.09861229 -0.69314718 -0.40546511]
[-0.91629073 -0.51082562 -0.51082562 -0.51082562]]
print(
[np.log((2+2)/(2+2*2))*0+np.log((0 + 2 )/(2+ 2 * 2))*1,
np.log((2+2)/(2+2*2))*0+np.log((0 + 2 )/(2+ 2 * 2))*1,
np.log((1+2)/(2+2*2))*0+np.log((1 + 2 )/(2+ 2 * 2))*1,
np.log((0+2)/(2+2*2))*0+np.log((2 + 2 )/(2+ 2 * 2))*1])
↑A ↑B ↑α ↑樣本 ↑α ↑類別數(shù)
#說明:
二值化后如下
[[0,0,0,1], 類別1
[0,0,1,1], 類別1
[0,1,1,1]] 類別2
A列為2,2,1,0 類別1中0個數(shù)
B列為0,0,1,2 類別2中1個數(shù)
樣本:為當(dāng)前類別樣本數(shù)
>>output:
[-1.0986122886681098, -1.0986122886681098,
-0.69314718055994529, -0.40546510810816444]
print(
[np.log((0+2)/(1+2*2))*1,
np.log((1+2)/(1+2*2))*1,
np.log((1+2)/(1+2*2))*1,
np.log((1+2)/(1+2*2))*1])
>>output:
>[-0.916290731874155, -0.5108256237659907,
-0.5108256237659907, -0.5108256237659907]
屬性 class_count_
按類別順序輸出其對應(yīng)的個數(shù)
print(clf.class_count_)
#>>output:[ 2., 1.]
屬性 eature_count_
各類別各特征值之和，按類的順序輸出，返回形狀為(n_classes, n_features) 的數(shù)組
clf.feature_count_
#>>output:
[[ 0., 0., 1., 2.],
[ 0., 1., 1., 1.]]
方法說明:
[見<<多項(xiàng)式樸素貝葉斯>>文章]
伯努利與多項(xiàng)式區(qū)別:
多項(xiàng)式模型中：
設(shè)某文檔d=(t1,t2,…,tk)，tk是該文檔中出現(xiàn)過的單詞，允許重復(fù)，則
(1)先驗(yàn)概率P(c)= 類c下樣本總數(shù)/整個訓(xùn)練樣本的樣本總數(shù)
(2)類條件概率P(tk|c) =(類c下單詞tk數(shù)目+α)/(指定類下所有特征出現(xiàn)次數(shù)之和+類別數(shù)*α)
伯努利模型中：
(1)先驗(yàn)概率P(c)= 類c下樣本總數(shù)/整個訓(xùn)練樣本的樣本總數(shù)
(2)類條件概率P(tk|c)=(類c下包含單詞tk的文件數(shù)+α)/(類c下樣本數(shù)+類別數(shù)*α)
[注:如果有平滑修正,需要加平滑修正值]
