基本概念

樸素貝葉斯是分類(lèi)算法。

數(shù)據(jù)類(lèi)型：標(biāo)稱型。

工作原理

如果p1(x, y) > p2(x, y)，類(lèi)別為1
如果p2(x, y) > p1(x, y)，類(lèi)別為2
也就是說(shuō)，我們會(huì)選擇高概率對(duì)應(yīng)的類(lèi)別。這就是貝葉斯決策理論的核心思想。

條件概率：

image.png

如果P(c1|x, y) > P(c2|x, y)，則類(lèi)別為c1
如果P(c1|x, y) < P(c2|x, y)，則類(lèi)別為c2

樣例

from numpy import *

def loadDataSet():
    postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],
                 ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
                 ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],
                 ['stop', 'posting', 'stupid', 'worthless', 'garbage'],
                 ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],
                 ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]
    classVec = [0,1,0,1,0,1]    #1 is abusive, 0 not
    return postingList,classVec

找出侮辱性評(píng)論，并且把它屏蔽。

數(shù)據(jù)的轉(zhuǎn)換

# 去重得到了所有詞的集合。
def createVocabList(dataSet):
    vocabSet = set([]) 
    for document in dataSet:
        # 通過(guò)set去重
        vocabSet = vocabSet | set(document) 
    return list(vocabSet)

# 第一個(gè)參數(shù)為所有詞的集合，第二個(gè)數(shù)為當(dāng)前數(shù)據(jù)集。如果當(dāng)前數(shù)據(jù)集的詞在所有詞的集合中出現(xiàn)則標(biāo)記為1，否則默認(rèn)是0
def setOfWords2Vec(vocabList, inputSet):
    returnVec = [0]*len(vocabList)
    for word in inputSet:
        if word in vocabList:
            # 把詞轉(zhuǎn)換為向量，向量的每一元素為0或1
            returnVec[vocabList.index(word)] = 1
        else: print "the word: %s is not in my Vocabulary!" % word
    return returnVec

listOPosts,listClasses = loadDataSet()
myVocabList = createVocabList(listOPosts)
print myVocabList
# ['cute', 'love', 'help', 'garbage', 'quit', 'I', 'problems', 'is', 'park', 'stop', 'flea', 'dalmation', 'licks', 'food', 'not', 'him', 'buying', 'posting', 'has', 'worthless', 'ate', 'to', 'maybe', 'please', 'dog', 'how', 'stupid', 'so', 'take', 'mr', 'steak', 'my']
print setOfWords2Vec(myVocabList, listOPosts[0])
# [0, 0, 1, 0, 0, 0, 1, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 1, 1, 0, 0, 0, 0, 0, 0, 1]

訓(xùn)練算法：從詞向量計(jì)算概率

根據(jù)樣例，用文字描述算法

image.png

• W是單詞，Ci是類(lèi)別
• P(W|Ci) => 在類(lèi)別Ci的情況下單詞W出現(xiàn)的概率
• P(Ci) => 這個(gè)類(lèi)別在所有類(lèi)別當(dāng)中出現(xiàn)的概率
• P(W) => 這個(gè)詞在所有詞中出現(xiàn)的概率
• P(Ci|W) => 在單詞W的情況下類(lèi)別Ci出現(xiàn)的概率
• 已知P(W|Ci)（通過(guò)已知數(shù)據(jù)集算出）
• 求P(Ci|W)＝(P(W|Ci)*P(Ci))/P(W)

首先通過(guò)類(lèi)別i（侮辱性留言或非侮辱性留言）中文檔數(shù)除以總的文檔數(shù)來(lái)計(jì)算概率P(Ci)。
這里要用到樸素貝葉斯假設(shè)，如果將w展開(kāi)為一個(gè)個(gè)獨(dú)立特征，那么就可以將上述概率寫(xiě)作P(W0,W1,W2...Wn|ci)。這里假設(shè)所有詞都相互獨(dú)立，該假設(shè)也稱作條件獨(dú)立性假設(shè)，意味這可以用
P(W0|ci)P(W1|ci)P(W2|ci)....P(Wn|ci)來(lái)計(jì)算上述概率，極大地簡(jiǎn)化了計(jì)算的過(guò)程。

偽代碼：

• 計(jì)算每個(gè)類(lèi)別中的文檔數(shù)目
• 對(duì)每篇訓(xùn)練文檔：
  • 對(duì)每個(gè)類(lèi)別：
    • 如果詞條出現(xiàn)文檔中->增加該詞條的計(jì)數(shù)值
    • 增加所有詞條的計(jì)數(shù)值
  • 對(duì)每個(gè)類(lèi)別：
    • 對(duì)每個(gè)詞條：
      • 將該詞條的數(shù)目除以總詞條數(shù)目得到條件概率
  • 返回每個(gè)類(lèi)別的條件概率

def trainNB0(trainMatrix,trainCategory):
    # 多少行數(shù)據(jù) 6
    numTrainDocs = len(trainMatrix)
    # 總共有多少個(gè)不重復(fù)的詞組 32
    numWords = len(trainMatrix[0])
    # pAbusive侮辱性語(yǔ)言在所有詞中的條件概率
    pAbusive = sum(trainCategory)/float(numTrainDocs)

    #避免乘積為0的初始化。如果其中一個(gè)概率的值為0，那么最后的乘積也為0
    p0Num = ones(numWords); p1Num = ones(numWords)
    p0Denom = 2.0; p1Denom = 2.0

    for i in range(numTrainDocs):
        if trainCategory[i] == 1:
            # 每一位相加
            p1Num += trainMatrix[i]
            # 求和
            p1Denom += sum(trainMatrix[i])
        else:
            p0Num += trainMatrix[i]
            p0Denom += sum(trainMatrix[i])
    # 相當(dāng)于 P(W|C1) P(W|C2)每一個(gè)詞出現(xiàn)的頻率。侮辱性和非侮辱性。

    # 用log避免小數(shù)相乘的下溢出最后得到0，因?yàn)閘og的函數(shù)ln(f(x))曲線和f(x)類(lèi)似
    p1Vect = log(p1Num/p1Denom)          #change to log()
    p0Vect = log(p0Num/p0Denom)          #change to log()
    return p0Vect,p1Vect,pAbusive

使用算法分類(lèi)

def classifyNB(vec2Classify, p0Vec, p1Vec, pAb):
    # 相當(dāng)于P(W0|ci)+P(W1|ci)+P(W2|ci)...+P(Wn|ci) =>
    # 因?yàn)镻(w)P(ci)兩者是一樣的，可以忽略
    p1 = sum(vec2Classify * p1Vec) + log(pAb)    #element-wise mult
    p0 = sum(vec2Classify * p0Vec) + log(1.0 - pAb)
    if p1 > p0:
        return 1
    else: 
        return 0

def testingNB():
    listOPosts,listClasses = loadDataSet()
    myVocabList = createVocabList(listOPosts)
    trainMat=[]
   # 構(gòu)建訓(xùn)練矩陣
    for postinDoc in listOPosts:
        trainMat.append(setOfWords2Vec(myVocabList, postinDoc))
   
    p0V,p1V,pAb = trainNB0(array(trainMat),array(listClasses))
    testEntry = ['love', 'my', 'dalmation']
    thisDoc = array(setOfWords2Vec(myVocabList, testEntry))
    print testEntry,'classified as: ',classifyNB(thisDoc,p0V,p1V,pAb)
    testEntry = ['stupid', 'garbage']
    thisDoc = array(setOfWords2Vec(myVocabList, testEntry))
    print testEntry,'classified as: ',classifyNB(thisDoc,p0V,p1V,pAb)

文檔詞袋模型

我們將一個(gè)次的出現(xiàn)與否作為一個(gè)特征，這可以被描述為詞集模型（set-of-words model）。如果一個(gè)詞在文檔中出現(xiàn)不止一次，
這可能意味著包含該詞但是否出現(xiàn)在文檔中所不能表達(dá)的某種信息，這種方法被稱為詞袋模型（bag-of-words model）。在詞袋中，每個(gè)單詞可以出現(xiàn)多次。

def bagOfWords2VecMN(vocabList, inputSet):
    returnVec = [0]*len(vocabList)
    for word in inputSet:
        if word in vocabList:
            returnVec[vocabList.index(word)] += 1
    return returnVec

把setOfWords2Vec替換成bagOfWords2VecMN

總結(jié)

對(duì)于分類(lèi)而言，使用概率有時(shí)要比使用硬規(guī)則更為有效。可以通過(guò)特征之間的條件獨(dú)立性假設(shè)，降低對(duì)數(shù)據(jù)量的需求。當(dāng)然我們知道這個(gè)假設(shè)過(guò)于簡(jiǎn)單，所以稱為樸素貝葉斯的原因。盡管條件獨(dú)立性假設(shè)并不正確，但是樸素貝葉斯是一種有效的分類(lèi)器。

詞袋模型在解決文檔分類(lèi)問(wèn)題上比詞集模型有所提高。

可以移除高頻詞和去除停用詞表中的詞來(lái)提高分類(lèi)準(zhǔn)確率。

去除高頻詞
def calcMostFreq(vocabList,fullText):
    import operator
    freqDict = {}
    for token in vocabList:
        freqDict[token]=fullText.count(token)
    sortedFreq = sorted(freqDict.iteritems(), key=operator.itemgetter(1), reverse=True) 
    return sortedFreq[:30]  

優(yōu)點(diǎn)

• 在數(shù)據(jù)較少的情況下任然有效，可以處理多類(lèi)別問(wèn)題

缺點(diǎn)

• 對(duì)于輸入數(shù)據(jù)的準(zhǔn)備方式較為敏感