發(fā)簡信
IP屬地：福建
-
聊聊spark shuffle分蘋果 我們先以生活中的個小故事來個開場白，小王今年家里蘋果豐收，總共摘了三大筐的蘋果，小王準(zhǔn)備按照大、中和小規(guī)格包裝成禮盒放到商場里賣，小王身...
-
如何在華為平臺使用自己的spark
場景 我們私有云團(tuán)隊在給客戶部署系統(tǒng)時遇到困難，客戶要求在他們購買的華為大數(shù)據(jù)平臺上部署我們的產(chǎn)品，我們底層主要用到了spark、hdfs、和h...
-
sparkSQL新增優(yōu)化器實現(xiàn)復(fù)雜計算的快速預(yù)覽場景 有時我們使用sparkSQL做復(fù)雜模型時需要實現(xiàn)對數(shù)據(jù)的快速預(yù)覽，假如模型是用好幾表做Join且每個表的數(shù)據(jù)量都挺大時，那么預(yù)覽就會很慢。...
-
spark2以后對limit的優(yōu)化和存在問題
問題 假如我們在spark-shell上執(zhí)行：spark.sql("select * from table limit 1000").colle...
-
SparkSQL自定義Hint優(yōu)化器解決熱點(diǎn)數(shù)據(jù)導(dǎo)致JOIN數(shù)據(jù)傾斜問題場景 有時我們通過sparkSQL來分析數(shù)據(jù)，當(dāng)使用Join操作時，最讓人頭疼的莫過于數(shù)據(jù)傾斜了，如果你是大表關(guān)聯(lián)小表的情況，那情況還不是很糟糕...