1.LA框架的提出 最早由Twitter工程師Nathan Marz提出來，它是一種大數(shù)據(jù)軟件設計架構，其目的是指導用戶充分利用批處理和流式計算技術各自的優(yōu)點，在延遲、吞吐量...
發(fā)簡信
IP屬地：廣東
-
「大數(shù)據(jù)」04大數(shù)據(jù)框架：Lambda Architecture(LA)
-
「大數(shù)據(jù)」03Hadoop與Spark開源大數(shù)據(jù)技術棧Hadoop與Spark開源大數(shù)據(jù)技術棧如下圖： （1）數(shù)據(jù)收集層：主要由關系型與非關系型數(shù)據(jù)收集組件、分布式消息隊列構成。 ①Sqoop/Canal：關系型數(shù)據(jù)收集和導入工...
-
「大數(shù)據(jù)」02大數(shù)據(jù)技術體系從數(shù)據(jù)在信息系統(tǒng)中的生命周期看，大數(shù)據(jù)從數(shù)據(jù)源開始，經過分析、挖掘到最終環(huán)節(jié)獲得價值一般需要經過6個主要環(huán)節(jié)：數(shù)據(jù)收集、數(shù)據(jù)存儲、資源管理與服務協(xié)調、計算引擎、數(shù)據(jù)分析和數(shù)據(jù)...
-
「大數(shù)據(jù)」01大數(shù)據(jù)的概念及應用場景
1.大數(shù)據(jù)的概念 2015年國務院向社會公布了《促進大數(shù)據(jù)發(fā)展行動綱要》明確提出了大數(shù)據(jù)的基本概念：大數(shù)據(jù)是以容量大、類型多、存取速度快、應用價值高為主要特征的數(shù)據(jù)集合，...
-
「爬蟲」19利用PhantomJS編寫爬蟲程序雖然PhantomJS的開發(fā)者已經停止更新了，但現(xiàn)存版本依舊可以使用，仍然可以用來解決爬蟲中遇到的某些問題，所以還是很值得了解學習一下的。 （1）下載：https://pha...
-
「補充」20Python主要模塊的使用
import numpy對數(shù)據(jù)進行操作，創(chuàng)建數(shù)組，生成隨機數(shù) ·numpy.concatenate()數(shù)據(jù)集成 import pandas導入數(shù)據(jù)，為數(shù)據(jù)指定索引，引用數(shù)據(jù)框...
-
「補充」19sklearn庫自帶標準數(shù)據(jù)集說明
sklearn庫中自帶的標準數(shù)據(jù)集有： 前面有用到過的數(shù)據(jù)集說明： （1）波士頓房價數(shù)據(jù)集(boston)包含506組數(shù)據(jù)，每條數(shù)據(jù)包含房屋以及房屋周圍的詳細信息。其中包含城...
-
「關聯(lián)分析」18關聯(lián)分析之Aprior算法與FP-growth算法1.關聯(lián)分析 關聯(lián)分析是從大量數(shù)據(jù)中發(fā)現(xiàn)項集之間的相關聯(lián)系。關聯(lián)分析的一個典型例子是購物籃分析。該過程通過發(fā)現(xiàn)顧客放人其購物籃中的不同商品之間的聯(lián)系，分析顧客的購買習慣。通過...
-
「人工神經網絡」17人工神經網絡之BP算法
1.人工神經網絡 人工神經網絡(Artificial Neural Network，ANN)是在受到了生物學的啟發(fā)后創(chuàng)建的，在某種程度上它是對生物大腦的一種模擬。人們仿照生物...
-
「聚類分析」16聚類分析之KMeans算法與K中心點算法1.聚類 聚類屬于無監(jiān)督式學習。在無監(jiān)督式學習中，訓練樣本的標記信息是未知的，算法通過對無標記樣本的學習來揭示蘊含于數(shù)據(jù)中的性質和規(guī)律。聚類算法的任務是根據(jù)數(shù)據(jù)特征將數(shù)據(jù)集相...
-
「數(shù)據(jù)分類」15支持向量機(SVM)及混淆矩陣1.支持向量機（SVM）概述 （1）支持向量機(Support Vector Machines，SVM)是一種二元分類模型，它是一類模型的統(tǒng)稱，其中包括： ①線性可分支持向量...
-
「數(shù)據(jù)分類」14決策樹分類之CART算法1.CART算法與ID3算法對比 （1）CART算法解決了ID3算法的不足，既能用于分類問題，又能用于回歸問題。 （2）實際上，CART算法的主體結構和ID3算法基本相同，只...
-
「數(shù)據(jù)分類」13決策樹分類之ID3算法和C4.5算法1.決策樹 決策樹是應用廣泛的一種歸納推理算法。在分類問題中，決策樹算法基于特征對樣本進行分類，構成一棵包含一系列if-then規(guī)則的樹，在數(shù)學上可以將這棵樹解釋為定義在特征...
-
「·文本分析」12多項式樸素貝葉斯算法對新聞分類1.fetch_newsgroups模塊 sklearn.datasets.fetch_20newsgroups(data_home=None,subset=’train’,...
-
「數(shù)據(jù)分類」11樸素貝葉斯算法1.貝葉斯公式 一般情況下，令F1，F(xiàn)2，...，F(xiàn)N表示一組互不相容事件，在E（新的證據(jù)）已發(fā)生的情況下，F(xiàn)k發(fā)生的概率為： 其中： ·P(Fk)稱為先驗概率(Prior ...
-
「數(shù)據(jù)分類」10回歸分析與回歸算法1.回歸分析 （1）回歸的定義： 指研究一組隨機變量(Y1，Y2，…，Yi)和另一組(X1，X2，…，Xk)變量之間關系的統(tǒng)計分析方法，又稱多重回歸分析。通常Y1，Y2，...
-
「數(shù)據(jù)分類」09數(shù)據(jù)建模概述及KNN分類算法1.python數(shù)據(jù)分析 （1）數(shù)據(jù)建模：指的是對現(xiàn)實世界各類數(shù)據(jù)的抽象組織，建立一個適合的模型對數(shù)據(jù)進行處理。模型的建立依賴于算法，常見的算法有分類、聚類、關聯(lián)、回歸等。 ...
-
「文本分析」08TF-IDF算法及文本相似度分析
1.TF-IDF算法 （1）TF-IDF(term frequency–inverse document frequency，逆文本頻數(shù)指數(shù))算法 用于信息檢索和數(shù)據(jù)挖掘的常...
-
「文本分析」07字頻統(tǒng)計和詞云圖的繪制1.字頻統(tǒng)計：collections.Counter （1）指定文本 from collections import Countercnt = Counter()for wo...
