fact_table_optimized = select concat(key,'_', floor(rand(123456)*19)) as salted_key, va...
發(fā)簡信
IP屬地：上海
-
Spark Skew 的一種姿勢 -
spark job hangs 20+ hour 的排查上週一個(gè) job 莫名奇妙的hang 在那里 20+ hour,9001 個(gè)tasks 完成了8999個(gè)，還有2個(gè)未完成。 點(diǎn)進(jìn)去看task page,沒有發(fā)現(xiàn)running...
-
HiveTable is also TextBasedFileFormat
Spark task的輸入太大如何分割？
上周調(diào)優(yōu)一個(gè)job 的時(shí)候發(fā)現(xiàn)一個(gè)join 意外的耗時(shí)間，如圖上一個(gè)join的shuffle操作就耗時(shí)1.2h. Input 才91GB, shuffle write 52...
-
Spark task的輸入太大如何分割？上周調(diào)優(yōu)一個(gè)job 的時(shí)候發(fā)現(xiàn)一個(gè)join 意外的耗時(shí)間，如圖上一個(gè)join的shuffle操作就耗時(shí)1.2h. Input 才91GB, shuffle write 52...
-
由于小文件產(chǎn)生的spark job performance問題上周在調(diào)優(yōu)一個(gè)job ,發(fā)現(xiàn)spark history 出現(xiàn)一個(gè)重復(fù)出現(xiàn)的job , 這個(gè)job 寫著Listing leaf files and directorioes...
-
Java agent什么是agent?agent 能做什么 https://docs.oracle.com/javase/7/docs/api/java/lang/instrument/pack...
-
always a beginner
-
Not in subquery and Not exists subquery in Spark SQL在本文中，您將了解. 1. exists and in 子查詢的在mysql中的區(qū)別。 2. exists and in 子查詢在sparksql中的實(shí)現(xiàn)。 3. not e...
-
阿里云官網(wǎng)（<a href="https://links.jianshu.com/go?to=https%3A%2F%2Fwww.aliyun.com%2F" target="_blank">https://www.aliyun.com/</a>），每日分享最新產(chǎn)品技術(shù)內(nèi)容、官網(wǎng)活動(dòng)資訊！
-
spark2.3 跑不過去的join 排查上週跑spark job 遇到 這樣一個(gè)語句 select cc_base_part1.*,cc_base_part1.nsf_cards_ratio * 1.00 / cc...
-
個(gè)人博客網(wǎng)站：<br><a href="https://links.jianshu.com/go?to=http%3A%2F%2Fwww.54tianzhisheng.cn%3Fjianshu" target="_blank">http://www.54tianzhisheng.cn?jianshu</a><br>Github：<a href="https://links.jianshu.com/go?to=https%3A%2F%2Fgithub.com%2Fzhisheng17" target="_blank">https://github.com/zhisheng17</a><br>微信公眾號：zhisheng<br>微信號：zhisheng_tian <br>
-
幼兒園20181229觀摩
之所以起這個(gè)標(biāo)題，還是希望放好自己的心態(tài)，公辦幼兒園的幼兒老師如果小朋友出問題還是最后家長解決。 被老師說了很多回家，總結(jié)幾點(diǎn) 1。 幼兒園要求與時(shí)俱進(jìn)，期待無數(shù)，穿衣脫衣，...
-
