每天都必須特別認真的活著
發(fā)簡信
IP屬地：湖南
-
實時數(shù)倉模型
為了計算一些實時指標，就在原來離線數(shù)倉的基礎(chǔ)上增加了一個實時計算的鏈路，并對數(shù)據(jù)源做流式改造（即把數(shù)據(jù)發(fā)送到消息隊列），實時計算去訂閱消息隊列，直接完成指標增量的計算，推送到...
-
一個孤獨的小作者
-
數(shù)據(jù)交換工具DataX使用（2）
1，下載 svn co http://code.taobao.org/p/datax 2，安裝 根據(jù)服務(wù)器安裝軟件情況可能需要安裝下面軟件 yum install ant y...
-
掌握spark 3.0中的查詢計劃
本文翻譯自Mastering Query Plans in Spark 3.0[https://towardsdatascience.com/mastering-query-...
-
-
Spark SQL on Yarn with Cluster mode Fails Load hive-site.xml
問題描述 運行spark sql on yarn的時候發(fā)現(xiàn)yarn client模式跑的好好的程序，換成yarn cluster模式就不正確了，原因是hive-site.xm...
-
目前從事大數(shù)據(jù)開發(fā)工作，使用語言java、scala和python
-
一文通俗理解Spark架構(gòu)、Spark部署方式、配屬配置優(yōu)先級、Spark處理所提交的application的流程、Spark共享變量、Spark監(jiān)聽，以及master、driver、worke...Spark是一種基于內(nèi)存計算的計算引擎（通俗地說就是計算速度快），由于其可以將計算的中間結(jié)果存放在內(nèi)存中，因此非常適合于迭代計算和交互式查詢。 一、Spark的四大核心組件和...
-
hive字段級別血緣實現(xiàn)
背## 背景 為便于hive表數(shù)據(jù)上下游的管理(評估邏輯變更的影響、快速追溯數(shù)據(jù)來源)，需要構(gòu)建hive字段級別的數(shù)據(jù)血緣，hive本身提供提供了一個用于打印數(shù)據(jù)血緣的鉤子類...
-
聯(lián)系江江17706130227免費學(xué)Python基礎(chǔ)語法和爬蟲哦
