本文基于spark源碼2.11 1. 前言 shuffle是spark job中一個(gè)重要的階段，發(fā)生在map和reduce之間，涉及到map到reduce之間的數(shù)據(jù)的移動(dòng)，以...
發(fā)簡信
IP屬地：廣東
-
Spark Shuffle Write 和Read -
數(shù)據(jù)倉庫ODS、DW和DM概念區(qū)分今天看了一些專業(yè)的解釋，還是對ODS、DW和DM認(rèn)識不深刻，下班后花時(shí)間分別查了查它們的概念。 ODS——操作性數(shù)據(jù) DW——數(shù)據(jù)倉庫 DM——數(shù)據(jù)集市 1.數(shù)據(jù)中心整體架構(gòu)...
-
大數(shù)據(jù)不就是寫SQL嗎？
【原創(chuàng)，轉(zhuǎn)載請注明出處】 應(yīng)屆生小祖參加了個(gè)需求分析會回來后跟我說被產(chǎn)品懟了一句： "不就是寫SQL嗎，要那么久嗎" 我去，欺負(fù)我小弟，這我肯定不能忍呀，于是我寫了一篇文章發(fā)...
-
大數(shù)據(jù)需要學(xué)什么？注意本文非廣告，閱讀時(shí)間四分鐘左右，適合大數(shù)據(jù)入門級讀者閱讀 大數(shù)據(jù)需要學(xué)習(xí)什么？很多人問過我這個(gè)問題。每一次回答完都覺得自己講得太片面了，總是沒有一個(gè)合適的契機(jī)去好好總結(jié)這...
