大數(shù)據(jù)技術(shù)架構(gòu)圖

大數(shù)據(jù)技術(shù)架構(gòu)圖告訴你：1）搭建什么樣的技術(shù)架構(gòu)支持業(yè)務(wù)：2）該使用什么技術(shù)平臺。

它從上往下分為4層，依次是：服務(wù)層、計算層、存儲層和采集層。

1.服務(wù)層：是說給用戶使用的東東，一般就是一個數(shù)據(jù)Portal，如Tableau；還有數(shù)個數(shù)據(jù)接口。

2.計算層：是說數(shù)據(jù)的離線分析用Hive，近實(shí)時分析用Spark Streaming，還有一些聚類、分類等算法用SK learn等，經(jīng)過這些計算、統(tǒng)計、分析之后，數(shù)據(jù)就會更加有血有肉，這一層可以認(rèn)為數(shù)據(jù)的核心層，也關(guān)乎數(shù)據(jù)價值的有無和大小。

3.存儲層：是說全量源數(shù)據(jù)、細(xì)節(jié)數(shù)據(jù)以及經(jīng)過清洗的數(shù)據(jù)，存儲在HDFS中，這一層相當(dāng)于經(jīng)過了粗略的一些萃取工藝，把一些“垃圾”摒棄掉了。

4.采集層：是說業(yè)務(wù)數(shù)據(jù)存儲在mysql中，各種行為數(shù)據(jù)、各種補(bǔ)充的業(yè)務(wù)數(shù)據(jù)、各種技術(shù)類的數(shù)據(jù)都存儲在日志文件中，這一層是數(shù)據(jù)的原材料，盡量多的采集用戶的所有行為就對了。