聚焦寫一本書<br>所有的成長必然都是經(jīng)歷痛苦的
IP屬地：浙江
-
@Kent_Yao ?? 期待盡早合并到master
Spark on k8s: 配置和使用ConfigMap
什么是 ConfigMap 顧名思義，用來存配置的Map，可以存單個(gè)配置或者配置文件，在 POD 中我們可以通過環(huán)境變量來訪問單個(gè)配置和配置文件，后者一般會(huì)被 mount 到...
-
@Kent_Yao hadoop conf configMap 沒有掛載到exector pod。只有driver實(shí)現(xiàn)：HadoopConfDriverFeatureStep，沒有Executor實(shí)現(xiàn)。
Spark on k8s: 配置和使用ConfigMap
什么是 ConfigMap 顧名思義，用來存配置的Map，可以存單個(gè)配置或者配置文件，在 POD 中我們可以通過環(huán)境變量來訪問單個(gè)配置和配置文件，后者一般會(huì)被 mount 到...
-
spark exector 好像沒有創(chuàng)建volume, 掛載configMap?
Spark on k8s: 配置和使用ConfigMap
什么是 ConfigMap 顧名思義，用來存配置的Map，可以存單個(gè)配置或者配置文件，在 POD 中我們可以通過環(huán)境變量來訪問單個(gè)配置和配置文件，后者一般會(huì)被 mount 到...
-
Spark on k8s: 配置和使用ConfigMap什么是 ConfigMap 顧名思義，用來存配置的Map，可以存單個(gè)配置或者配置文件，在 POD 中我們可以通過環(huán)境變量來訪問單個(gè)配置和配置文件，后者一般會(huì)被 mount 到...
-
Spark on k8s: 調(diào)試Driver Pod的方法相關(guān)文章 1 . Spark on k8s: 調(diào)試客戶端spark-submit進(jìn)程 通過前一篇博客的學(xué)習(xí)，已經(jīng)學(xué)會(huì)了客戶端 spark-submit 這個(gè)進(jìn)程的調(diào)試方式，由...
-
@snail2019 真正搞機(jī)器學(xué)習(xí)的人是數(shù)據(jù)分析人員和算法工程師，這些人是數(shù)學(xué)，統(tǒng)計(jì)之類專業(yè)畢業(yè)的，做的是數(shù)據(jù)相關(guān)的工作，他們只會(huì)sql和python，不會(huì)scala和java 之類的。你估計(jì)沒有用過pandas？
漫談加持Blink的Flink和Spark
前言 今天朋友圈有篇【阿里技術(shù)】發(fā)的文章，說Blink的性能如何強(qiáng)悍，功能現(xiàn)在也已經(jīng)比較完善。譬如： Blink 在 TPC-DS 上和 Spark 相比有著非常明顯的性能優(yōu)...
-
還有一種優(yōu)化，如果是parquet 和 orc 文件，這些文件中記錄了count，max, min 等元數(shù)據(jù)，可以直接讀取
Hive表數(shù)據(jù)質(zhì)量校驗(yàn)的設(shè)計(jì)與開發(fā)
一張Hive計(jì)算完成后，開發(fā)者會(huì)希望知道計(jì)算結(jié)果是否符合預(yù)期，比如是否有臟數(shù)據(jù)，是否數(shù)據(jù)量符合預(yù)期。這里就有兩個(gè)問題，一個(gè)是校驗(yàn)什么，另一個(gè)是怎么校驗(yàn)。 校驗(yàn)什么 單個(gè)字段校...
-
SpringBoot 2.x 配置大全(上篇)
可以在application.properties文件內(nèi)部application.yml，文件內(nèi)部或命令行開關(guān)中指定各種屬性。本附錄提供了常見Spring Boot屬性的列表...
-
-
<<RxJava 2.x 實(shí)戰(zhàn)>>、<<Kotlin 進(jìn)階實(shí)戰(zhàn)>> 作者<br><br>掘金小冊<<Android 進(jìn)階：基于 Kotlin 的 Android App 開發(fā)實(shí)踐>>作者<br><br>微信公眾號: Java與Android技術(shù)棧<br><br>關(guān)注領(lǐng)域：Java/Kotlin 服務(wù)端、桌面端 、Android 、 機(jī)器學(xué)習(xí)、端側(cè)智能<br>
