背景 本文基于spark 3.2driver內(nèi)存 2G 問題描述 在基于復(fù)雜的sql運(yùn)行中,或者說是存在多個(gè)join操作的sql中,如果說dri...
背景 最近在寫hiveUDF的時(shí)候,遇到了一些反序列的問題,具體的報(bào)錯(cuò)如下: 分析 我們的代碼類似如下: 其中spark的配置是使用kryo序列...
背景 本文基于spark 3.1.2在之前的文章spark CTAS nuion all (union all的個(gè)數(shù)很多)導(dǎo)致超過spark.d...
背景 該sql運(yùn)行在spark版本 3.1.2下的thrift server下 現(xiàn)象 在運(yùn)行包含多個(gè)union 的spark sql的時(shí)候報(bào)錯(cuò)(...
背景 對于spark的不同的join操作來說,有些謂詞是能下推,是有謂詞是不能下推的,今天我們實(shí)地操作一番,從現(xiàn)象和源碼級別分析一下,這到底是怎...
背景 最近在弄spark on k8s的時(shí)候,要集成同事的一些功能,其實(shí)這并沒有什么,但是里面涉及到了hive的類問題(具體指這個(gè)org.apa...
Zen項(xiàng)目 Zen項(xiàng)目在一年前開始啟動(dòng),目標(biāo)就是讓spark對python用戶更加友好 類型提示 重要的一步就是加了一些類型提示,例如他能夠在I...
我們知道目前在spark on k8s的官網(wǎng)中[https://spark.apache.org/docs/3.1.2/running-on-k...
背景 為什么選擇spark on k8s Apache Spark 作為一站式平臺統(tǒng)一了批處理,實(shí)時(shí)處理,流分析,機(jī)器學(xué)習(xí),以及交互式查詢.雖然...