貝葉斯算法
算法概述
樸素貝葉斯是使用概率論來分類的算法。其中樸素：各特征條件獨立；貝葉斯：根據(jù)貝葉斯定理。
根據(jù)貝葉斯定理，對一個分類問題，給定樣本特征x，樣本屬于類別y的概率是：
[圖片上傳失敗...(image-d68c02-1516030215687)]
在這里，x 是一個特征向量，設(shè) x 維度為 M。因為樸素的假設(shè)，即特征條件獨立，根據(jù)全概率公式展開，上式可以表達為：
[圖片上傳失敗...(image-1a13-1516030215687)]
這里，只要分別估計出，特征 Χi 在每一類的條件概率就可以了。類別 y 的先驗概率可以通過訓(xùn)練集算出，同樣通過訓(xùn)練集上的統(tǒng)計，可以得出對應(yīng)每一類上的，條件獨立的特征對應(yīng)的條件概率向量。
算法特點
優(yōu)點：在數(shù)據(jù)較少的情況下仍然有效，可以處理多類別問題。
缺點：對于輸入數(shù)據(jù)的準(zhǔn)備方式較為敏感。
適用數(shù)據(jù)類型：標(biāo)稱型數(shù)據(jù)。
代碼
要從文本中獲取特征，需要先拆分文本?？梢园言~條想象為單詞，也可以使用非單詞詞條，如URL、IP地址或者任意其他字符串。然后將每一個文本片段表示為一個詞條向量，其中值為1表示詞條出現(xiàn)在文檔中，0表示詞條未出現(xiàn)。
from numpy import *
def loadDataSet():
'''
postingList: 進行詞條切分后的文檔集合
classVec:類別標(biāo)簽
'''
postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],
['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],
['stop', 'posting', 'stupid', 'worthless', 'garbage'],
['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],
['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]
classVec = [0,1,0,1,0,1] #1代表侮辱性文字，0代表正常言論
return postingList,classVec
def createVocabList(dataSet):
vocabSet = set([])#使用set創(chuàng)建不重復(fù)詞表庫
for document in dataSet:
vocabSet = vocabSet | set(document) #創(chuàng)建兩個集合的并集
return list(vocabSet)
def setOfWords2Vec(vocabList, inputSet):
returnVec = [0]*len(vocabList)#創(chuàng)建一個所包含元素都為0的向量
#遍歷文檔中的所有單詞，如果出現(xiàn)了詞匯表中的單詞，則將輸出的文檔向量中的對應(yīng)值設(shè)為1
for word in inputSet:
if word in vocabList:
returnVec[vocabList.index(word)] = 1
else: print("the word: %s is not in my Vocabulary!" % word)
return returnVec
'''
我們將每個詞的出現(xiàn)與否作為一個特征，這可以被描述為詞集模型(set-of-words model)。
如果一個詞在文檔中出現(xiàn)不止一次，這可能意味著包含該詞是否出現(xiàn)在文檔中所不能表達的某種信息,
這種方法被稱為詞袋模型(bag-of-words model)。
在詞袋中，每個單詞可以出現(xiàn)多次，而在詞集中，每個詞只能出現(xiàn)一次。
為適應(yīng)詞袋模型，需要對函數(shù)setOfWords2Vec稍加修改，修改后的函數(shù)稱為bagOfWords2VecMN
'''
def bagOfWords2VecMN(vocabList, inputSet):
returnVec = [0]*len(vocabList)
for word in inputSet:
if word in vocabList:
returnVec[vocabList.index(word)] += 1
return returnVec
訓(xùn)練算法：從詞向量計算概率
計算每個類別的條件概率，偽代碼：
[圖片上傳失敗...(image-5e4d59-1516030215687)]
def trainNB0(trainMatrix,trainCategory):
'''
樸素貝葉斯分類器訓(xùn)練函數(shù)(此處僅處理兩類分類問題)
trainMatrix:文檔矩陣
trainCategory:每篇文檔類別標(biāo)簽
'''
numTrainDocs = len(trainMatrix)
numWords = len(trainMatrix[0])
pAbusive = sum(trainCategory)/float(numTrainDocs)
#初始化所有詞出現(xiàn)數(shù)為1，并將分母初始化為2，避免某一個概率值為0
p0Num = ones(numWords); p1Num = ones(numWords)#
p0Denom = 2.0; p1Denom = 2.0 #
for i in range(numTrainDocs):
if trainCategory[i] == 1:
p1Num += trainMatrix[I]
p1Denom += sum(trainMatrix[I])
else:
p0Num += trainMatrix[I]
p0Denom += sum(trainMatrix[I])
#將結(jié)果取自然對數(shù)，避免下溢出，即太多很小的數(shù)相乘造成的影響
p1Vect = log(p1Num/p1Denom)#change to log()
p0Vect = log(p0Num/p0Denom)#change to log()
return p0Vect,p1Vect,pAbusive
分類函數(shù)
def classifyNB(vec2Classify, p0Vec, p1Vec, pClass1):
'''
分類函數(shù)
vec2Classify:要分類的向量
p0Vec, p1Vec, pClass1:分別對應(yīng)trainNB0計算得到的3個概率
'''
p1 = sum(vec2Classify * p1Vec) + log(pClass1)
p0 = sum(vec2Classify * p0Vec) + log(1.0 - pClass1)
if p1 > p0:
return 1
else:
return 0
測試
def testingNB():
listOPosts,listClasses = loadDataSet()
myVocabList = createVocabList(listOPosts)
trainMat=[]
for postinDoc in listOPosts:
trainMat.append(setOfWords2Vec(myVocabList, postinDoc))
#訓(xùn)練模型，注意此處使用array
p0V,p1V,pAb = trainNB0(array(trainMat),array(listClasses))
testEntry = ['love', 'my', 'dalmation']
thisDoc = array(setOfWords2Vec(myVocabList, testEntry))
print(testEntry,'classified as: ',classifyNB(thisDoc,p0V,p1V,pAb))
testEntry = ['stupid', 'garbage']
thisDoc = array(setOfWords2Vec(myVocabList, testEntry))
print(testEntry,'classified as: ',classifyNB(thisDoc,p0V,p1V,pAb))
