之前我寫了一篇關(guān)于數(shù)據(jù)中臺和數(shù)倉的關(guān)系 的文章,里面理清了數(shù)倉和中臺的關(guān)系。后面我了解到更通用的技術(shù)詞匯去表達(dá)數(shù)據(jù)管理的兩種方式: 數(shù)據(jù)聯(lián)邦和數(shù)據(jù)倉儲。 顯然傳統(tǒng)的數(shù)倉采用的...
昨天還是前天,正好看到朋友圈里大家都在發(fā)AI前線推的一篇文章。數(shù)據(jù)中臺已成下一風(fēng)口,它會顛覆數(shù)據(jù)工程師的工作嗎?, 個人認(rèn)為風(fēng)口談不上,但是確實是技術(shù)發(fā)展到一定程度的產(chǎn)物。這...
Spark的優(yōu)勢在于內(nèi)存計算,然而在計算中難免會用到一些元數(shù)據(jù)或中間數(shù)據(jù),有的存在關(guān)系型數(shù)據(jù)庫中,有的存在HDFS上,有的存在HBase中,但其讀寫速度都和Spark計算的速...