Linux第10課：數據挖掘理論

時間 2019-03-14 下午3：30

主講?楊成林

地點 四樓電教室

隨著Hadoop技術的成熟，海量數據的存儲和計算突破了技術瓶頸。那么，大數據的價值該如何體現？這就是數據挖掘需要解決的問題。數據挖掘不僅是一個技術問題，也是一個理論問題，需要站在理論的高度，認識其客觀規(guī)律性，為大數據的應用奠定基礎。

一、數據挖掘的定義

數據挖掘（Data Mining）就是從大量的、不完全的、有噪聲的、模糊的、隨機的實際應用數據中，提取隱含在其中的、但又是潛在有用的信息和知識的過程。

數據挖掘又稱為數據庫中的知識發(fā)現，實際上數據挖掘是知識發(fā)現過程的一個基本步驟。

知識發(fā)現過程如下圖所示，由以下步驟的迭代序列組成：

1，數據清理（消除噪聲和刪除不一致的數據）；

2，數據集成（多種數據源可以組合在一起）；

3，數據選擇（從數據庫中提取與分析任務相關的數據）；

4，數據變換（通過匯總或聚集操作，把數據變換和統(tǒng)一成適合挖掘的形式）；

5，數據挖掘（基本步驟，使用智能方法提取數據模式）；

6，模式評估（根據某種興趣度度量，識別代表知識的真正有趣的模式）；

7，知識表示（使用可視化和知識表示技術，向用戶提供挖掘的知識）。

二、數據挖掘的流程

基本步驟包括：

1，業(yè)務理解

2，數據理解

3，數據準備

4，數據建模

5，模型評估

6，模型實施

三、數據挖掘的應用

1，谷歌趨勢分析：

通過分析大量用戶的搜索記錄，比如“咳嗽”、“發(fā)燒”等特定詞條，谷歌公司能準確預測美國冬季流感傳播趨勢；和官方機構相比，谷歌能提前一兩周預測流感暴發(fā)，預測結果與官方數據的相關性高達97%；2009年甲型H1N1流感暴發(fā)時，“谷歌流感趨勢”系統(tǒng)大顯身手。這已經成為大數據應用的一個經典案例。

2，塔吉特的“數據關聯挖掘”：

美國第三大零售商塔吉特，通過分析所有女性客戶購買記錄，可以“猜出”哪些是孕婦。其發(fā)現女性客戶會在懷孕四個月左右，大量購買無香味乳液。由此挖掘出25項與懷孕高度相關的商品，制作“懷孕預測”指數。推算出預產期后，就能搶先一步，將孕婦裝、嬰兒床等折扣券寄給客戶。塔吉特還創(chuàng)建了一套購買女性行為在懷孕期間產生變化的模型，不僅如此，如果用戶從它們的店鋪中購買了嬰兒用品，它們在接下來的幾年中會根據嬰兒的生長周期定期給這些顧客推送相關產品，使這些客戶形成長期的忠誠度。

3，NBA優(yōu)化戰(zhàn)術組合：

大約20個NBA球隊使用了IBM公司開發(fā)的數據挖掘應用軟件Advanced Scout系統(tǒng)來優(yōu)化他們的戰(zhàn)術組合。系統(tǒng)分析顯示魔術隊的兩個后衛(wèi)安佛尼.哈德衛(wèi)和伯蘭.紹在前兩場中被評為-17分。但當哈德衛(wèi)與替補后衛(wèi)達利爾.阿姆斯創(chuàng)組合時，魔術隊得分為正14分。魔術隊增加了阿姆斯創(chuàng)的上場時間，此著果然見效；Advanced Scout是一個數據分析工具，教練可以用便攜式電腦在家里或在路上挖掘存儲在NBA中心的服務器上的數據。每一場比賽的事件都被統(tǒng)計分類，按得分、助攻、失誤等等。時間標記讓教練非常容易地通過搜索NBA比賽的錄像來理解統(tǒng)計發(fā)現的含義。