為了計(jì)算一些實(shí)時(shí)指標(biāo)，就在原來離線數(shù)倉的基礎(chǔ)上增加了一個(gè)實(shí)時(shí)計(jì)算的鏈路，并對(duì)數(shù)據(jù)源做流式改造（即把數(shù)據(jù)發(fā)送到消息隊(duì)列），實(shí)時(shí)計(jì)算去訂閱消息隊(duì)列，直接完成指標(biāo)增量的計(jì)算，推送到...
發(fā)簡(jiǎn)信
IP屬地：寧夏
-
實(shí)時(shí)數(shù)倉模型
-
數(shù)據(jù)交換工具DataX使用（2）
1，下載 svn co http://code.taobao.org/p/datax 2，安裝 根據(jù)服務(wù)器安裝軟件情況可能需要安裝下面軟件 yum install ant y...
-
掌握spark 3.0中的查詢計(jì)劃
本文翻譯自Mastering Query Plans in Spark 3.0[https://towardsdatascience.com/mastering-query-...
-
Spark SQL on Yarn with Cluster mode Fails Load hive-site.xml
問題描述 運(yùn)行spark sql on yarn的時(shí)候發(fā)現(xiàn)yarn client模式跑的好好的程序，換成yarn cluster模式就不正確了，原因是hive-site.xm...
-
一文通俗理解Spark架構(gòu)、Spark部署方式、配屬配置優(yōu)先級(jí)、Spark處理所提交的application的流程、Spark共享變量、Spark監(jiān)聽，以及master、driver、worke...Spark是一種基于內(nèi)存計(jì)算的計(jì)算引擎（通俗地說就是計(jì)算速度快），由于其可以將計(jì)算的中間結(jié)果存放在內(nèi)存中，因此非常適合于迭代計(jì)算和交互式查詢。 一、Spark的四大核心組件和...
-
hive字段級(jí)別血緣實(shí)現(xiàn)
背## 背景 為便于hive表數(shù)據(jù)上下游的管理(評(píng)估邏輯變更的影響、快速追溯數(shù)據(jù)來源)，需要構(gòu)建hive字段級(jí)別的數(shù)據(jù)血緣，hive本身提供提供了一個(gè)用于打印數(shù)據(jù)血緣的鉤子類...
