STS（SparkThrfitServer）版本 spark-3.2.1-bin-hadoop3.2 問(wèn)題表現(xiàn) Spark UI 經(jīng)常無(wú)響應(yīng) STS 經(jīng)常掛掉 問(wèn)題分析 獲取...
發(fā)簡(jiǎn)信
IP屬地：貴州
-
SparkThriftServer內(nèi)存泄漏排查 -
數(shù)據(jù)部門起步階段需要建立數(shù)倉(cāng)么？
之前我寫了一篇關(guān)于數(shù)據(jù)中臺(tái)和數(shù)倉(cāng)的關(guān)系 的文章，里面理清了數(shù)倉(cāng)和中臺(tái)的關(guān)系。后面我了解到更通用的技術(shù)詞匯去表達(dá)數(shù)據(jù)管理的兩種方式： 數(shù)據(jù)聯(lián)邦和數(shù)據(jù)倉(cāng)儲(chǔ)。 顯然傳統(tǒng)的數(shù)倉(cāng)采用的...
-
數(shù)據(jù)中臺(tái)和數(shù)倉(cāng)的關(guān)系
傳統(tǒng)數(shù)倉(cāng) 傳統(tǒng)數(shù)倉(cāng)有幾個(gè)特點(diǎn)： 數(shù)據(jù)具有歷史性 基于文件存儲(chǔ) 以表為形態(tài)，自帶元數(shù)據(jù)存儲(chǔ)（比如Hive） 在數(shù)倉(cāng)的數(shù)據(jù)是其他數(shù)據(jù)的拷貝或者拷貝的加工 傳統(tǒng)數(shù)倉(cāng)需要拷貝數(shù)據(jù)的重...
-
kylo集群+nifi集群搭建
kylo集群搭建教程 kylo文檔中 Clustering Kylo 介紹的比較模糊，但是大概步驟都講到了。 kylo的集群，目的是做HA，所以兩個(gè)節(jié)點(diǎn)共用同一個(gè)數(shù)據(jù)庫(kù),在這...
-
利用Kryo序列化庫(kù)是你提升Spark性能要做的第一件事本文基于Spark2.1.0版本套用官文Tuning Spark中的一句話作為文章的標(biāo)題： *Often, choose a serialization type will ...
-
Spark 多個(gè)Stage執(zhí)行是串行執(zhí)行的么？上次在做內(nèi)部培訓(xùn)的時(shí)候，我講了這么一句： 一個(gè)Job里的Stage都是串行的，前一個(gè)Stage完成后下一個(gè)Stage才會(huì)進(jìn)行。 顯然上面的話是不嚴(yán)謹(jǐn)?shù)摹?看如下的代碼： 這里...
-
Spark Streaming 不同Batch任務(wù)可以并行計(jì)算么？
關(guān)于Spark Streaming中的任務(wù)有如下幾個(gè)概念： Batch Job Stage Task 其實(shí)Stage,Task都是Spark Core里就有的概念，Job 在...
