引言

這篇文章主要是貝葉斯分類器的實戰(zhàn)篇，主要講的是樸素貝葉斯分類器。

樸素貝葉斯分類器

回顧上篇文章，我們知道直接基于貝葉斯分類會比較麻煩，因為我們必須要估計類條件概率。首先我們要假定其具有某種確定的概率分布模型，然后再使用極大似然法來估計其參數(shù)。所以在實踐中，我們經常增加限制條件：樣本的每個屬性之間都是獨立的，從而使用樸素貝葉斯分類器。從而對類條件概率的估計如下所示：

從而貝葉斯的判定準則為：

這些都是對上篇文章的簡單回顧，接下來我們來看看，我們怎么用程序實現(xiàn)。

我們將使用樸素貝葉斯分類器對BBS中的帖子進行過濾。我們的目標在于使用貝葉斯分類器將帖子分成侮辱類帖子和非侮辱類帖子。我們樣本的特征就是帖子中的文字。下面我們來構造一個demo數(shù)據(jù)，代碼如下：

def loadDataSet():
    postingList = [['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],
    ['maybe', 'not', 'take', 'him', 'dog','park','stupid'],
    ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],
    ['stop', 'posting', 'stupid', 'worthless', 'garbage'],
    ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],
    ['quit','buying', 'worthless', 'dog', 'food', 'stupid']]

    classVec = [0,1,0,1,0,1]  #1:帶侮辱性帖子； 0：正常的帖子
    return postingList, classVec

接下來我們寫一個幫助函數(shù)，它生成所有帖子中出現(xiàn)詞的集合，代碼如下：

def createVocabList(dataSet):
    vocabSet = set([])
    for document in dataSet:
        vocabSet = vocabSet|set(document)
    return list(vocabSet)

接下來，我們需要知道一個帖子中，各個詞在詞集出現(xiàn)的是否出現(xiàn)。如果出現(xiàn)，則用1表示，如果不出現(xiàn)，則用0表示。在這里，我做了一個簡化，即如果詞多次出現(xiàn)，也只記為1，代碼如下：

def setOfWords2Vec(vocabList, inputSet):
    returnVec = [0]*len(vocabList)
    for word in inputSet:
        if word in vocabList:
            returnVec[vocabList.index(word)] = 1
        else:
            print 'word:  %s is not in my vocabbulary!' %word
    return returnVec

現(xiàn)在我們這些前期的幫助函數(shù)已經寫完，現(xiàn)在正式進入算法的核心部分了。首先是訓練代碼，為了更好的理解算法流程，我們先來看看訓練代碼的偽代碼：

 計算每個類別中帖子的數(shù)目
 對每篇訓練文檔：
        對每個類別：
              如果詞條出現(xiàn)在帖子中->增加該詞條的計數(shù)值
              增加所有詞條的計數(shù)值
      對每個類別：
            對每個詞條：
                  將詞條的數(shù)目除以總詞條數(shù)目得到條件概率
 返回每個類別的條件概率

從上面的偽代碼我們可以看到，訓練過程主要是計算兩種概率值，一種是p(c): 每種類別的類先驗概率；另一種就是類條件概率：在每個類中，每個詞條出現(xiàn)的概率。代碼如下：

def trainNB0(trainMatrix, trainCategory):
 numTrainDoc = len(trainMatrix)
 numWords = len(trainMatrix[0])
 pAbusive = sum(trainCategory)/float(numTrainDoc)
 p0Num = np.ones(numWords)
 p1Num = np.ones(numWords)

 p0Denom = 2.0
 p1Denom = 2.0

 for i in range(numTrainDoc):
     if trainCategory[i] == 1:
         p1Num += trainMatrix[i]
         p1Denom += sum(trainMatrix[i])
     else:
        p0Num += trainMatrix[i]
        p0Denom += sum(trainMatrix[i])
 p1Vect = np.log(p1Num / p1Denom)
 p0Vect = np.log(p0Num / p0Denom)

 return p0Vect, p1Vect, pAbusive

其中，返回值p0Vect 和p1Vect表示類條件概率，而pAbusive表示類先驗概率。由于只要兩類，兩種類先驗概率之和為1，所以類先驗概率值需要其中一種即可。

下面要講的就是核心的測試代碼了。代碼如下：

def classifyNB(vec2Classify, p0Vec, p1Vec, pClass1):
    p1 = sum(vec2Classify*p1Vec) + np.log(pClass1)
    p2 = sum(vec2Classify*p0Vec) + np.log(1.-pClass1)
    if p1 > p2:
        return 1
    else:
        return 0

注意： 由于概率連乘容易導致下溢，所有我們習慣上把它們轉換為log函數(shù)計算。

下面的測試的完整代碼：

def testingNB():
    listPosts, listClasses = loadDataSet()
    myVocabList = createVocabList(listPosts)
    trainMat = []
    for postInDoc in listPosts:
        trainMat.append(setOfWords2Vec(myVocabList, postInDoc))
    p0V, p1V, pAb = trainNB0(trainMat, listClasses)
    testEntry = ['love', 'my', 'dalmation']
    thisDoc = np.array(setOfWords2Vec(myVocabList, testEntry))
    print testEntry, 'classified as: ', classifyNB(thisDoc, p0V, p1V, pAb)
    testEntry = ['stupid', 'garbage']
    thisDoc = np.array(setOfWords2Vec(myVocabList, testEntry))
    print testEntry, 'classified as: ', classifyNB(thisDoc, p0V, p1V, pAb)

測試的結果如下：