本文基于spark源碼2.11 1. 前言 shuffle是spark job中一個(gè)重要的階段,發(fā)生在map和reduce之間,涉及到map到reduce之間的數(shù)據(jù)的移動(dòng),以...
IP屬地:廣東
本文基于spark源碼2.11 1. 前言 shuffle是spark job中一個(gè)重要的階段,發(fā)生在map和reduce之間,涉及到map到reduce之間的數(shù)據(jù)的移動(dòng),以...
今天看了一些專業(yè)的解釋,還是對ODS、DW和DM認(rèn)識不深刻,下班后花時(shí)間分別查了查它們的概念。 ODS——操作性數(shù)據(jù) DW——數(shù)據(jù)倉庫 DM——數(shù)據(jù)集市 1.數(shù)據(jù)中心整體架構(gòu)...
【原創(chuàng),轉(zhuǎn)載請注明出處】 應(yīng)屆生小祖參加了個(gè)需求分析會回來后跟我說被產(chǎn)品懟了一句: "不就是寫SQL嗎,要那么久嗎" 我去,欺負(fù)我小弟,這我肯定不能忍呀,于是我寫了一篇文章發(fā)...
注意本文非廣告,閱讀時(shí)間四分鐘左右,適合大數(shù)據(jù)入門級讀者閱讀 大數(shù)據(jù)需要學(xué)習(xí)什么?很多人問過我這個(gè)問題。每一次回答完都覺得自己講得太片面了,總是沒有一個(gè)合適的契機(jī)去好好總結(jié)這...