IP屬地：北京
-
如何解決數(shù)據(jù)漂移問題
01 什么是數(shù)據(jù)漂移 數(shù)據(jù)漂移指的是在數(shù)據(jù)同步過程之中，ODS表同一個(gè)業(yè)務(wù)日期包含前一天的數(shù)據(jù)或丟失了當(dāng)天的數(shù)據(jù)、或者包含后一天的數(shù)據(jù)。 02 ...
-
Yarn相關(guān)知識點(diǎn)
Spark任務(wù)通過application id在Spark UI查看任務(wù)執(zhí)行狀態(tài)，任務(wù)大多數(shù)以on yarn的形式提交到Spark集群。 1、定...
-
Spark的幾種join方式對比
Spark有BroadCastJoin、ShuffleHashJoin、SortMergeJoin三種join方式。首先講一下hash join...
-
Hive SQL關(guān)鍵字常見面試題
1、union 和 union all的區(qū)別 union會對結(jié)果進(jìn)行去重，union all會保留重復(fù)數(shù)據(jù) 2、窗口函數(shù)rank() over(...
-
Hive優(yōu)化思路總結(jié)
1 整體優(yōu)化思路 1、從數(shù)據(jù)任務(wù)本身出發(fā)，優(yōu)化業(yè)務(wù)邏輯代碼，偏業(yè)務(wù)優(yōu)化 2、 從集群的資源參數(shù)進(jìn)行優(yōu)化，偏技術(shù)優(yōu)化 3、從全局的角度觀察任務(wù)的調(diào)...
-
人生沒有彩排
給大家分享一些只有經(jīng)歷了才能深切感同身受的幾句話，與君共勉： 1、人生沒有彩排，看似有意無意的安排，都會成為成為界定結(jié)果。 2、愿你好好珍惜現(xiàn)在...
-
把一件事堅(jiān)持30天會怎么樣？
01 國外有一個(gè)叫摩根的青年，每天閑的蛋疼，有天突發(fā)奇想——連續(xù)吃三十天麥當(dāng)勞會怎樣？ 他說干就干，一日三餐都吃麥當(dāng)勞，連吃三十天。 他還用攝像...
-
2021辛丑年生活工作的平衡
2021 年，我給自己定的一個(gè)關(guān)鍵詞是「平衡」。 說到平衡，可能很多人會想到工作和生活的平衡，所謂的 Work-Life Balance。但我并...
-
Apache Flink學(xué)習(xí)系列-Flink基本原理及應(yīng)用場景分析Apache Flink是一個(gè)開源的分布式、高性能、高可用、準(zhǔn)確的流處理框架。 主要由Java代碼實(shí)現(xiàn)。 支持實(shí)時(shí)流（stream）處理和批（b...