Driver 在Driver中，有Stream Context作為Spark Streaming的入口，Spark Streaming的最終處理實(shí)際還是交給Spark Con...
IP屬地：北京
-
Spark streaming架構(gòu)中的Driver和Executor
-
kafka消費(fèi)者一次性語義方法
目前根據(jù)自己的理解和kafka權(quán)威指南提供的方式一共有兩種可以實(shí)現(xiàn)消費(fèi)者的一次性語義的方式，在kafka1.10之后kafka內(nèi)部可以保證生產(chǎn)者端到broker的一次性語義。...
-
Spark應(yīng)用程序的運(yùn)行流程
(1) 構(gòu)建Spark Application的運(yùn)行環(huán)境，啟動(dòng)SparkContext。(2) SparkContext向資源管理器（可以是Standalone、Mesos、...
-
Spark架構(gòu)相關(guān)的術(shù)語及其解釋
Application（應(yīng)用程序）:指的是用戶編寫的Spark應(yīng)用程序，包含了一個(gè)Driver功能的代碼和分布在集群中多個(gè)節(jié)點(diǎn)上Executor代碼。 Driver （驅(qū)動(dòng)器...
-
kafka生產(chǎn)者配置參數(shù)
1.ack ack=0， 生產(chǎn)者在成功寫入消息之前不會(huì)等待任何來自服務(wù)器的相應(yīng)。如果出現(xiàn)問題生產(chǎn)者是感知不到的，消息就丟失了。不過因?yàn)樯a(chǎn)者不需要等待服務(wù)器響應(yīng)，所以它可以以...
-
永不止步 Keep Moving