IP屬地：福建
-
Mac 操作系統(tǒng) fatal error: 'openssl/ssl.h' file not found
由于 Mac 操作系統(tǒng)提供 LibreSSL 而非 openssl，故遇到編譯問(wèn)題需要自行安裝和激活 openssl 安裝 openssl 依賴(lài)...
-
Spark支持的java.time.Instant最大(小)值是多少？
java.time.Instant 在Spark 3.0中, java8 time API 被用到Spark datetime相關(guān)的內(nèi)部計(jì)算和用...
-
ScalaReflection調(diào)用localTypeOf拋出NullPointerException問(wèn)題記錄
目前懷疑是scala bug所致，https://github.com/scala/bug/issues/10766Spark在注冊(cè)用戶(hù)的UDF...
-
數(shù)據(jù)本地性對(duì) Spark 生產(chǎn)作業(yè)容錯(cuò)能力的負(fù)面影響數(shù)據(jù)本地性是 Spark 等計(jì)算引擎從計(jì)算性能方面去考量的一個(gè)重要指標(biāo)，對(duì)于某個(gè)數(shù)據(jù)分片的運(yùn)算，Spark 在調(diào)度側(cè)會(huì)做數(shù)據(jù)本地性的預(yù)測(cè)，然后盡...
-
記一次Spark Yarn Shuffle Service升級(jí)引發(fā)的血案前言 Spark YarnShuffleService是作為Hadoop Yarn模塊中NodeManager的輔助服務(wù)寄生在其進(jìn)程內(nèi)部，大家都...
-
Spark on k8s: failed to create container for [kubepods burstable...no space left on device問(wèn)題描述 測(cè)試了若干天的Spark on k8s, 今天突然就無(wú)法初始化 Spark Driver Pod 了。表現(xiàn)如下， 客戶(hù)端側(cè)以clust...
-
Spark on k8s: 通過(guò)hostPath設(shè)置SPARK_LOCAL_DIRS加速Shuffle前言 spark.local.dir/SPARK_LOCAL_DIRS 用于Spark 在 Shuffle階段臨時(shí)文件及RDD持久化存儲(chǔ)等，可以...
-
Spark on k8s: OkHttp WebSocket 非daemon線(xiàn)程導(dǎo)致Driver線(xiàn)程無(wú)法退出問(wèn)題描述 基于Spark 3.0-SNAPSHOT(unreleased)，做Spark-Terasort相關(guān)測(cè)試，任務(wù)正常的話(huà)分如下圖所示兩個(gè)...
-
Spark on k8s: 調(diào)試Executor Pod的方法相關(guān)文章 1 . Spark on k8s: 調(diào)試客戶(hù)端spark-submit進(jìn)程 Spark on k8s: 調(diào)試Driver Pod的方法...