理論

公式推導(dǎo)

樸素貝葉斯法是基于貝葉斯定理和特征條件獨(dú)立假設(shè)的分類方法，即對給定的輸入 ，預(yù)測其類別 。
此方法的思路是首先由訓(xùn)練數(shù)據(jù)計(jì)算 和 的估計(jì),然后得到聯(lián)合概率分布

之后利用貝葉斯定理及學(xué)到的聯(lián)合概率分布計(jì)算 屬于類別 的概率

對于給定的輸入 ，通過上式計(jì)算 屬于類別 的概率 ，即

又由樸素貝葉斯法的特征條件獨(dú)立性假設(shè)，有

其中， 為 維向量， 為 的第 個特征。故

將 分到后驗(yàn)概率最大的類中，樸素貝葉斯分類器可表示為

又因?yàn)樯鲜街蟹帜笇τ谒? 都是相同的，故上式可以簡化為

由上式可知，只要由訓(xùn)練數(shù)據(jù)估計(jì)出每一個類別的概率 和輸入的每一個特征值在某一類別下的概率 ，便可進(jìn)行預(yù)測。下面介紹進(jìn)行估計(jì)的兩種方法。

參數(shù)估計(jì)

極大似然估計(jì)

假設(shè)訓(xùn)練數(shù)據(jù)集為 。
先驗(yàn)概率 的極大似然估計(jì)為

設(shè)第 個特征 可能取值的集合為 ，條件概率 的極大似然估計(jì)為


其中， 是第 個樣本的第 個特征； 是第 個特征可能取的第 個值； 為指示函數(shù)，滿足取 ，否則取 。

貝葉斯估計(jì)

極大似然估計(jì)可能會出現(xiàn)所要估計(jì)的概率值為0的情況，在隨機(jī)變量各個取值的頻數(shù)上賦予一個正數(shù) ，常取 ，稱為拉普拉斯平滑。

實(shí)現(xiàn)

訓(xùn)練一個樸素貝葉斯分類器并確定 的類標(biāo)記 。表中 ， 為特征，取值集合分別為 ， ， 為類標(biāo)記，。

訓(xùn)練數(shù)據(jù) train_data.csv

ID,X1,X2,Y
1,1,S,-1
2,1,M,-1
3,1,M,1
4,1,S,1
5,1,S,-1
6,2,S,-1
7,2,M,-1
8,2,M,1
9,2,L,1
10,2,L,1
11,3,L,1
12,3,M,1
13,3,M,1
14,3,L,1
15,3,L,-1

代碼實(shí)現(xiàn) naivebayes.py

 # -*- coding: utf-8 -*-
import pandas as pd


def add2dict(thedict, key_a, key_b, val):
    if key_a in thedict.keys():
        thedict[key_a].update({key_b: val})
    else:
        thedict.update({key_a:{key_b: val}})        

def conditionalProbability(obj, attribute, clazz, lambd):
    C = obj[clazz].value_counts()
    label = C.index
    counts = C.values

    CP = dict()
    for i in range(label.size):
        for j in range(attribute.size):
            temp = obj[obj[clazz] == label[i]][attribute[j]] 
            CC = temp.value_counts()
            Sj = obj[attribute[j]].value_counts().index.size
            P = ( CC + lambd) / ( counts[i] + Sj*lambd)
            add2dict(CP,label[i],attribute[j],P) # Using dict to store probabilities
    return CP

def priorProbability(obj, clazz, lambd):
    C = obj[clazz].value_counts()
    N = float(obj.index.size)
    K = float(C.index.size)
    P = ( C + lambd ) / ( N + K*lambd)
    return P

def predicts(x, obj, attribute, clazz,lambd):
    label = obj[clazz].value_counts().index # Types of class
    P = priorProbability(obj,clazz, lambd) # Prior probability
    CP = conditionalProbability(obj, attribute, clazz, lambd) # Conditional probability
    max_p = 0 # Probability of the most likely class
    max_c = '' # The most likely class
    for i in range(label.size):
        cur_max_p = 1
        for j in range(attribute.size):
            cur_max_p *= CP[label[i]][attribute[j]][x[j]]
        cur_max_p *= P[label[i]]
        if cur_max_p > max_p:
            max_c = str(label[i])
            max_p = cur_max_p
    return [max_c,max_p]

df = pd.read_csv('train_data.csv', encoding='utf-8')
[max_c,max_p] = predicts([2,'S'],df, df.columns.drop('Y').drop('ID'), 'Y', 1)
print(max_c,max_p)