fact_table_optimized = select concat(key,'_', floor(rand(123456)*19)) as salted_key, va...
fact_table_optimized = select concat(key,'_', floor(rand(123456)*19)) as salted_key, va...
上週一個(gè) job 莫名奇妙的hang 在那里 20+ hour,9001 個(gè)tasks 完成了8999個(gè),還有2個(gè)未完成。 點(diǎn)進(jìn)去看task page,沒有發(fā)現(xiàn)running...
HiveTable is also TextBasedFileFormat
Spark task的輸入太大如何分割?上周調(diào)優(yōu)一個(gè)job 的時(shí)候發(fā)現(xiàn)一個(gè)join 意外的耗時(shí)間,如圖上一個(gè)join的shuffle操作就耗時(shí)1.2h. Input 才91GB, shuffle write 52...
上周調(diào)優(yōu)一個(gè)job 的時(shí)候發(fā)現(xiàn)一個(gè)join 意外的耗時(shí)間,如圖上一個(gè)join的shuffle操作就耗時(shí)1.2h. Input 才91GB, shuffle write 52...
上周在調(diào)優(yōu)一個(gè)job ,發(fā)現(xiàn)spark history 出現(xiàn)一個(gè)重復(fù)出現(xiàn)的job , 這個(gè)job 寫著Listing leaf files and directorioes...
什么是agent?agent 能做什么 https://docs.oracle.com/javase/7/docs/api/java/lang/instrument/pack...
在本文中,您將了解. 1. exists and in 子查詢的在mysql中的區(qū)別。 2. exists and in 子查詢在sparksql中的實(shí)現(xiàn)。 3. not e...
上週跑spark job 遇到 這樣一個(gè)語句 select cc_base_part1.*,cc_base_part1.nsf_cards_ratio * 1.00 / cc...
之所以起這個(gè)標(biāo)題,還是希望放好自己的心態(tài),公辦幼兒園的幼兒老師如果小朋友出問題還是最后家長解決。 被老師說了很多回家,總結(jié)幾點(diǎn) 1。 幼兒園要求與時(shí)俱進(jìn),期待無數(shù),穿衣脫衣,...