01 什么是數(shù)據(jù)漂移 數(shù)據(jù)漂移指的是在數(shù)據(jù)同步過程之中，ODS表同一個(gè)業(yè)務(wù)日期包含前一天的數(shù)據(jù)或丟失了當(dāng)天的數(shù)據(jù)、或者包含后一天的數(shù)據(jù)。 02 為什么會(huì)產(chǎn)生數(shù)據(jù)漂移 數(shù)倉OD...
IP屬地：北京
-
如何解決數(shù)據(jù)漂移問題
-
Yarn相關(guān)知識(shí)點(diǎn)
Spark任務(wù)通過application id在Spark UI查看任務(wù)執(zhí)行狀態(tài)，任務(wù)大多數(shù)以on yarn的形式提交到Spark集群。 1、定義：yarn是一種hadoop...
-
Spark的幾種join方式對(duì)比
Spark有BroadCastJoin、ShuffleHashJoin、SortMergeJoin三種join方式。首先講一下hash join的過程。 hash join過...
-
Hive SQL關(guān)鍵字常見面試題
1、union 和 union all的區(qū)別 union會(huì)對(duì)結(jié)果進(jìn)行去重，union all會(huì)保留重復(fù)數(shù)據(jù) 2、窗口函數(shù)rank() over(order by )、dens...
-
Hive優(yōu)化思路總結(jié)
1 整體優(yōu)化思路 1、從數(shù)據(jù)任務(wù)本身出發(fā)，優(yōu)化業(yè)務(wù)邏輯代碼，偏業(yè)務(wù)優(yōu)化 2、 從集群的資源參數(shù)進(jìn)行優(yōu)化，偏技術(shù)優(yōu)化 3、從全局的角度觀察任務(wù)的調(diào)度設(shè)置是否合理，優(yōu)化任務(wù)優(yōu)先級(jí)...
-
宮保雞丁之軟件需求管理也許是因?yàn)槲业呐栌讶χ杏刑嗟某绦騿T盆友吧！前幾天一份關(guān)于宮保雞丁的需求管理的文章刷爆了我的盆友圈。其文大意是一個(gè)客人來到飯店要了一份宮保雞丁，逐次提出了不要肉、加腐竹、加茄...
-
-
把一件事堅(jiān)持30天會(huì)怎么樣？
01 國外有一個(gè)叫摩根的青年，每天閑的蛋疼，有天突發(fā)奇想——連續(xù)吃三十天麥當(dāng)勞會(huì)怎樣？ 他說干就干，一日三餐都吃麥當(dāng)勞，連吃三十天。 他還用攝像機(jī)記錄下了這一過程。 三十天后...
-
2021辛丑年生活工作的平衡
2021 年，我給自己定的一個(gè)關(guān)鍵詞是「平衡」。 說到平衡，可能很多人會(huì)想到工作和生活的平衡，所謂的 Work-Life Balance。但我并不喜歡這種說法，因?yàn)檫@意味著，...
-
Apache Flink學(xué)習(xí)系列-Flink基本原理及應(yīng)用場景分析Apache Flink是一個(gè)開源的分布式、高性能、高可用、準(zhǔn)確的流處理框架。 主要由Java代碼實(shí)現(xiàn)。 支持實(shí)時(shí)流（stream）處理和批（batch）處理，批數(shù)據(jù)只是流數(shù)...
-
生活中有哪些越早明白越好的道理？
1、在外面混，姿態(tài)別太卑微，有個(gè)性的人更能贏得別人尊重。 有些人遇到大佬，說話都發(fā)抖。就問你怕個(gè)啥？你花他錢了？吃他大米了？做過對(duì)不起他的事了？ 越卑微，別人覺得你越弱，不如...
-
生活有哪些殘忍的真相？（在評(píng)論區(qū)打出讓你共鳴的序號(hào)）1.當(dāng)你覺得自己想要死去時(shí)，你真的不是真想死，你只是不想這樣活著。 2.認(rèn)真做事的人，領(lǐng)導(dǎo)永遠(yuǎn)會(huì)把難干的工作派給你，因?yàn)橹挥心憧孔V，指得住，不會(huì)連累到他被上級(jí)批評(píng)。好處永遠(yuǎn)是...
-
既然所有的生命都要死亡，那么生命的意義是什么？有兩位老人，帶著一頭牛，用他們的半輩子，給這個(gè)問題做出了最好的回答。 分享給大家： “這是我父親日記里的文字 這是他的青春 留下來的散文詩 多年以后我看著 淚流不止 我的父親...
-
亦正亦邪的天才少年-菜霸
??十幾年前，還沒有微博、微信、知乎。 但在網(wǎng)絡(luò)上卻有這樣一個(gè)江湖——“天涯社區(qū)”，和它的名字一樣，這里魚龍混雜，又有情有義。當(dāng)年的天涯孕育了一個(gè)又一個(gè)爆點(diǎn)：慕容雪村和他的《...
