Hadoop：數(shù)值型數(shù)據(jù)的樸素貝葉斯分類

樸素貝葉斯分類器用在符號型數(shù)據(jù)上比較多，如何處理數(shù)值型數(shù)據(jù)能找到的資料比較少，《數(shù)據(jù)算法：Hadoop/Saprk大數(shù)據(jù)處理技巧》這本書簡要介紹了如何處理數(shù)值型數(shù)據(jù)。

假設數(shù)據(jù)服從一定的分布，通常假設為高斯分布（正態(tài)分布），于是只需要從訓練數(shù)據(jù)中計算出每一類每一維度的均值和方差，就可以估計給定任一數(shù)值的后驗概率。

對于一條新的數(shù)據(jù) x，x 的第 i 維上的數(shù)據(jù)在給定類別c_j時出現(xiàn)的概率：
P(x_i|c_j) = \frac{1}{\sqrt{2 \pi}\sigma_{ji}} \exp{(-\frac{(x_i-\mu_{ji})^2}{2\sigma_{ji}^2})} x 在給定類別c_j時出現(xiàn)的概率：
P(x|c_j) = \prod_{i=0}^d P(x_i|c_j) 預測 x 的類別為
j=\arg \max_j P(x|c_j) 使用Hadoop實現(xiàn)時可以分為3個Job：

  • Job1：計算均值
  • Job2：計算方差
  • Job3：預測

重點是前兩個Job，預測的Job可以與前兩個分離，保存計算的結果，實現(xiàn)一次訓練，多次預測

?著作權歸作者所有,轉載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時請結合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務。

相關閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容