背景 本文基于spark 3.1.2在之前的文章spark CTAS nuion all （union all的個數(shù)很多）導(dǎo)致超過spark.driver.maxResult...
IP屬地：上海
-
AQE中的CoalesceShufflePartitions和OptimizeLocalShuffleReader
-
spark CTAS nuion all （union all的個數(shù)很多）導(dǎo)致超過spark.driver.maxResultSize配置（2G）
背景 該sql運行在spark版本 3.1.2下的thrift server下 現(xiàn)象 在運行包含多個union 的spark sql的時候報錯（該sql包含了50多個uino...
-
spark outer join push down filter rule（spark 外連接中的下推規(guī)則
背景 對于spark的不同的join操作來說，有些謂詞是能下推，是有謂詞是不能下推的，今天我們實地操作一番，從現(xiàn)象和源碼級別分析一下，這到底是怎么回事。 版本&環(huán)境 spar...
-
spark hive類總是優(yōu)先記載應(yīng)用里面的jar包,跟spark.{driver/executor}.userClassPathFirst 無關(guān)
背景 最近在弄spark on k8s的時候，要集成同事的一些功能，其實這并沒有什么，但是里面涉及到了hive的類問題（具體指這個org.apache.hadoop.hive...
-
2021年北美數(shù)據(jù)+AI峰會重點
Zen項目 Zen項目在一年前開始啟動，目標(biāo)就是讓spark對python用戶更加友好 類型提示 重要的一步就是加了一些類型提示，例如他能夠在IDE或者notebook中自動...
-
spark on k8s的動態(tài)資源分配和external shuffle Service以及任務(wù)的隊列資源管理
我們知道目前在spark on k8s的官網(wǎng)中[https://spark.apache.org/docs/3.1.2/running-on-kubernetes.html#...
-
spark on k8s:apache YuniKorn（Incubating）的助力
背景 為什么選擇spark on k8s Apache Spark 作為一站式平臺統(tǒng)一了批處理,實時處理,流分析，機器學(xué)習(xí)，以及交互式查詢.雖然說spark 提供了多樣的使用...
-
掌握spark 3.0中的查詢計劃
本文翻譯自Mastering Query Plans in Spark 3.0[https://towardsdatascience.com/mastering-query-...
-
關(guān)于page Cache和memory mappped Files 和zero copy背景 由于前段時間在學(xué)習(xí)mysql相關(guān)的知識，其中涉及到了wal redo log以及磁盤的問題，在此記錄一下。 Page Cache page Cache 是現(xiàn)代操作系統(tǒng)為...
個人介紹