發(fā)簡(jiǎn)信
IP屬地：內(nèi)蒙古
-
聊聊spark shuffle分蘋果 我們先以生活中的個(gè)小故事來個(gè)開場(chǎng)白，小王今年家里蘋果豐收，總共摘了三大筐的蘋果，小王準(zhǔn)備按照大、中和小規(guī)格包裝成禮盒放到商場(chǎng)里賣，小王身...
-
如何在華為平臺(tái)使用自己的spark
場(chǎng)景 我們私有云團(tuán)隊(duì)在給客戶部署系統(tǒng)時(shí)遇到困難，客戶要求在他們購買的華為大數(shù)據(jù)平臺(tái)上部署我們的產(chǎn)品，我們底層主要用到了spark、hdfs、和h...
-
sparkSQL新增優(yōu)化器實(shí)現(xiàn)復(fù)雜計(jì)算的快速預(yù)覽場(chǎng)景 有時(shí)我們使用sparkSQL做復(fù)雜模型時(shí)需要實(shí)現(xiàn)對(duì)數(shù)據(jù)的快速預(yù)覽，假如模型是用好幾表做Join且每個(gè)表的數(shù)據(jù)量都挺大時(shí)，那么預(yù)覽就會(huì)很慢。...
-
spark2以后對(duì)limit的優(yōu)化和存在問題
問題 假如我們?cè)趕park-shell上執(zhí)行：spark.sql("select * from table limit 1000").colle...
-
SparkSQL自定義Hint優(yōu)化器解決熱點(diǎn)數(shù)據(jù)導(dǎo)致JOIN數(shù)據(jù)傾斜問題場(chǎng)景 有時(shí)我們通過sparkSQL來分析數(shù)據(jù)，當(dāng)使用Join操作時(shí)，最讓人頭疼的莫過于數(shù)據(jù)傾斜了，如果你是大表關(guān)聯(lián)小表的情況，那情況還不是很糟糕...