背景 本文基于spark 3.2driver內存 2G 問題描述 在基于復雜的sql運行中,或者說是存在多個join操作的sql中,如果說driver內存不是很大的情況下,我...
背景 本文基于spark 3.2driver內存 2G 問題描述 在基于復雜的sql運行中,或者說是存在多個join操作的sql中,如果說driver內存不是很大的情況下,我...
背景 最近在寫hiveUDF的時候,遇到了一些反序列的問題,具體的報錯如下: 分析 我們的代碼類似如下: 其中spark的配置是使用kryo序列化,spark.seriali...
背景 本文基于spark 3.1.2在之前的文章spark CTAS nuion all (union all的個數(shù)很多)導致超過spark.driver.maxResult...
背景 該sql運行在spark版本 3.1.2下的thrift server下 現(xiàn)象 在運行包含多個union 的spark sql的時候報錯(該sql包含了50多個uino...
背景 對于spark的不同的join操作來說,有些謂詞是能下推,是有謂詞是不能下推的,今天我們實地操作一番,從現(xiàn)象和源碼級別分析一下,這到底是怎么回事。 版本&環(huán)境 spar...
背景 最近在弄spark on k8s的時候,要集成同事的一些功能,其實這并沒有什么,但是里面涉及到了hive的類問題(具體指這個org.apache.hadoop.hive...
Zen項目 Zen項目在一年前開始啟動,目標就是讓spark對python用戶更加友好 類型提示 重要的一步就是加了一些類型提示,例如他能夠在IDE或者notebook中自動...
我們知道目前在spark on k8s的官網中[https://spark.apache.org/docs/3.1.2/running-on-kubernetes.html#...
背景 為什么選擇spark on k8s Apache Spark 作為一站式平臺統(tǒng)一了批處理,實時處理,流分析,機器學習,以及交互式查詢.雖然說spark 提供了多樣的使用...
本文翻譯自Mastering Query Plans in Spark 3.0[https://towardsdatascience.com/mastering-query-...
背景 由于前段時間在學習mysql相關的知識,其中涉及到了wal redo log以及磁盤的問題,在此記錄一下。 Page Cache page Cache 是現(xiàn)代操作系統(tǒng)為...
pod的phase從Failed轉換為了Succeeded一開始遇到這個問題的時候很是蒙,查了一系列的源碼,也沒有找到原因,線下也沒有復現(xiàn)出來,后面查看kubenrete的G...