[數(shù)倉項目] | 項目介紹

1.兩個項目

采集項目&數(shù)據(jù)倉庫項目

  1. 從功能的角度
    采集項目:數(shù)據(jù)的采集、傳輸
    數(shù)據(jù)倉庫項目:數(shù)據(jù)的計算為主,同時也存儲數(shù)據(jù)
    2.從技術(shù)角度
    采集項目:flume,kafka,datax,maxwell
    數(shù)據(jù)倉庫項目:Mysql, HDFS, Spark, Flink, MR

2.數(shù)據(jù)庫和數(shù)據(jù)倉庫

  1. 從名稱上進行區(qū)分
    數(shù)據(jù)庫:database
    數(shù)據(jù)倉庫:data warehouse
  2. 從數(shù)據(jù)的來源進行區(qū)分
    數(shù)據(jù)庫:企業(yè)中基礎(chǔ)核心的業(yè)務(wù)數(shù)據(jù)
    數(shù)據(jù)倉庫:數(shù)據(jù)庫中的數(shù)據(jù)
  3. 從數(shù)據(jù)存儲進行區(qū)分
    數(shù)據(jù)庫:核心作用就是查找業(yè)務(wù)數(shù)據(jù)(行式存儲、索引、不能存儲海量數(shù)據(jù))
    數(shù)據(jù)倉庫:核心作用就是統(tǒng)計分析數(shù)據(jù)(列式存儲、存海量數(shù)據(jù))
    4.從數(shù)據(jù)價值進行區(qū)分
    數(shù)據(jù)庫:保障全企業(yè)全業(yè)務(wù)的正常運行
    數(shù)據(jù)倉庫:統(tǒng)計數(shù)據(jù)、支撐決策,可視化

3.數(shù)據(jù)流轉(zhuǎn)過程

數(shù)據(jù)流轉(zhuǎn)

4.統(tǒng)計分析的基本步驟

技術(shù):Hive On Spark
步驟:


步驟
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容