發(fā)簡(jiǎn)信
IP屬地：廣東
-
「大數(shù)據(jù)」04大數(shù)據(jù)框架：Lambda Architecture(LA)
1.LA框架的提出 最早由Twitter工程師Nathan Marz提出來，它是一種大數(shù)據(jù)軟件設(shè)計(jì)架構(gòu)，其目的是指導(dǎo)用戶充分利用批處理和流式計(jì)算...
-
「大數(shù)據(jù)」03Hadoop與Spark開源大數(shù)據(jù)技術(shù)棧Hadoop與Spark開源大數(shù)據(jù)技術(shù)棧如下圖： （1）數(shù)據(jù)收集層：主要由關(guān)系型與非關(guān)系型數(shù)據(jù)收集組件、分布式消息隊(duì)列構(gòu)成。 ①Sqoop/Ca...
-
「大數(shù)據(jù)」02大數(shù)據(jù)技術(shù)體系從數(shù)據(jù)在信息系統(tǒng)中的生命周期看，大數(shù)據(jù)從數(shù)據(jù)源開始，經(jīng)過分析、挖掘到最終環(huán)節(jié)獲得價(jià)值一般需要經(jīng)過6個(gè)主要環(huán)節(jié)：數(shù)據(jù)收集、數(shù)據(jù)存儲(chǔ)、資源管理與服務(wù)...
-
「大數(shù)據(jù)」01大數(shù)據(jù)的概念及應(yīng)用場(chǎng)景
1.大數(shù)據(jù)的概念 2015年國務(wù)院向社會(huì)公布了《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》明確提出了大數(shù)據(jù)的基本概念：大數(shù)據(jù)是以容量大、類型多、存取速度快、應(yīng)...
-
「爬蟲」19利用PhantomJS編寫爬蟲程序雖然PhantomJS的開發(fā)者已經(jīng)停止更新了，但現(xiàn)存版本依舊可以使用，仍然可以用來解決爬蟲中遇到的某些問題，所以還是很值得了解學(xué)習(xí)一下的。 （1...
-
「補(bǔ)充」20Python主要模塊的使用
import numpy對(duì)數(shù)據(jù)進(jìn)行操作，創(chuàng)建數(shù)組，生成隨機(jī)數(shù) ·numpy.concatenate()數(shù)據(jù)集成 import pandas導(dǎo)入數(shù)...
-
「補(bǔ)充」19sklearn庫自帶標(biāo)準(zhǔn)數(shù)據(jù)集說明
sklearn庫中自帶的標(biāo)準(zhǔn)數(shù)據(jù)集有： 前面有用到過的數(shù)據(jù)集說明： （1）波士頓房?jī)r(jià)數(shù)據(jù)集(boston)包含506組數(shù)據(jù)，每條數(shù)據(jù)包含房屋以及...
-
「關(guān)聯(lián)分析」18關(guān)聯(lián)分析之Aprior算法與FP-growth算法1.關(guān)聯(lián)分析 關(guān)聯(lián)分析是從大量數(shù)據(jù)中發(fā)現(xiàn)項(xiàng)集之間的相關(guān)聯(lián)系。關(guān)聯(lián)分析的一個(gè)典型例子是購物籃分析。該過程通過發(fā)現(xiàn)顧客放人其購物籃中的不同商品之間的...
-
「人工神經(jīng)網(wǎng)絡(luò)」17人工神經(jīng)網(wǎng)絡(luò)之BP算法
1.人工神經(jīng)網(wǎng)絡(luò) 人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network，ANN)是在受到了生物學(xué)的啟發(fā)后創(chuàng)建的，在某種程度上它是對(duì)生...