由于 Mac 操作系統(tǒng)提供 LibreSSL 而非 openssl，故遇到編譯問題需要自行安裝和激活 openssl 安裝 openssl 依賴 查看 openssl 信息 ...
IP屬地：重慶
-
Mac 操作系統(tǒng) fatal error: 'openssl/ssl.h' file not found
-
yarn-site.xml
記一次Spark Yarn Shuffle Service升級(jí)引發(fā)的血案
前言 Spark YarnShuffleService是作為Hadoop Yarn模塊中NodeManager的輔助服務(wù)寄生在其進(jìn)程內(nèi)部，大家都知道可以通過這個(gè)外部服務(wù)來削減...
-
Spark支持的java.time.Instant最大(小)值是多少？
java.time.Instant 在Spark 3.0中, java8 time API 被用到Spark datetime相關(guān)的內(nèi)部計(jì)算和用戶API中，比如Instant...
-
ScalaReflection調(diào)用localTypeOf拋出NullPointerException問題記錄
目前懷疑是scala bug所致，https://github.com/scala/bug/issues/10766Spark在注冊(cè)用戶的UDF的時(shí)候會(huì)根據(jù)UDF的輸入類型和...
-
@王冠吉 distribute by a,rand() *700不是hash(a, rand),而是hash（a）再hash（rand）
如何避免Spark SQL做數(shù)據(jù)導(dǎo)入時(shí)產(chǎn)生大量小文件
什么是小文件？ 生產(chǎn)上，我們往往將Spark SQL作為Hive的替代方案，來獲得SQL on Hadoop更出色的性能。因此，本文所講的是指存儲(chǔ)于HDFS中小文件，即指文件...
-
是的
如何避免Spark SQL做數(shù)據(jù)導(dǎo)入時(shí)產(chǎn)生大量小文件
什么是小文件？ 生產(chǎn)上，我們往往將Spark SQL作為Hive的替代方案，來獲得SQL on Hadoop更出色的性能。因此，本文所講的是指存儲(chǔ)于HDFS中小文件，即指文件...
-
@胖頭魚_2ea3 久仰，可以并歡迎轉(zhuǎn)載，謝謝
Hudi: Uber Engineering的Apache Hadoop增量處理框架
隨著Apache Parquet和Apache ORC等存儲(chǔ)格式以及Presto和Apache Impala等查詢引擎的發(fā)展，Hadoop生態(tài)系統(tǒng)有潛力作為面向分鐘級(jí)延時(shí)場(chǎng)景...
-
@千瀟 創(chuàng)建什么volume？
Spark on k8s: 配置和使用ConfigMap
什么是 ConfigMap 顧名思義，用來存配置的Map，可以存單個(gè)配置或者配置文件，在 POD 中我們可以通過環(huán)境變量來訪問單個(gè)配置和配置文件，后者一般會(huì)被 mount 到...
-
socket 模擬 文件下載器
服務(wù)端代碼: 客戶端代碼 同級(jí)目錄下先準(zhǔn)備好一個(gè)文件當(dāng)作服務(wù)端文件，下載本地后拼接新的名字，如果要下載的文件不存在會(huì)提示報(bào)錯(cuò)！
-
數(shù)據(jù)本地性對(duì) Spark 生產(chǎn)作業(yè)容錯(cuò)能力的負(fù)面影響數(shù)據(jù)本地性是 Spark 等計(jì)算引擎從計(jì)算性能方面去考量的一個(gè)重要指標(biāo)，對(duì)于某個(gè)數(shù)據(jù)分片的運(yùn)算，Spark 在調(diào)度側(cè)會(huì)做數(shù)據(jù)本地性的預(yù)測(cè)，然后盡可能的將這個(gè)運(yùn)算對(duì)應(yīng)的Task...
-
記一次Spark Yarn Shuffle Service升級(jí)引發(fā)的血案前言 Spark YarnShuffleService是作為Hadoop Yarn模塊中NodeManager的輔助服務(wù)寄生在其進(jìn)程內(nèi)部，大家都知道可以通過這個(gè)外部服務(wù)來削減...
-
Spark on k8s: failed to create container for [kubepods burstable...no space left on device問題描述 測(cè)試了若干天的Spark on k8s, 今天突然就無法初始化 Spark Driver Pod 了。表現(xiàn)如下， 客戶端側(cè)以cluster模式提交一個(gè)幾秒就會(huì)結(jié)束的...
-
Spark on k8s: 通過hostPath設(shè)置SPARK_LOCAL_DIRS加速Shuffle前言 spark.local.dir/SPARK_LOCAL_DIRS 用于Spark 在 Shuffle階段臨時(shí)文件及RDD持久化存儲(chǔ)等，可以使用逗號(hào)分隔配置多個(gè)路徑對(duì)應(yīng)到...
-
Spark on k8s: OkHttp WebSocket 非daemon線程導(dǎo)致Driver線程無法退出問題描述 基于Spark 3.0-SNAPSHOT(unreleased)，做Spark-Terasort相關(guān)測(cè)試，任務(wù)正常的話分如下圖所示兩個(gè)stage， 第一個(gè)，stag...
-
Spark on k8s: 調(diào)試Executor Pod的方法相關(guān)文章 1 . Spark on k8s: 調(diào)試客戶端spark-submit進(jìn)程 Spark on k8s: 調(diào)試Driver Pod的方法 前兩篇博客已經(jīng)將 Spark...
-
Spark on k8s: 配置和使用ConfigMap什么是 ConfigMap 顧名思義，用來存配置的Map，可以存單個(gè)配置或者配置文件，在 POD 中我們可以通過環(huán)境變量來訪問單個(gè)配置和配置文件，后者一般會(huì)被 mount 到...