父類EventLoop起了一個(gè)Thread，監(jiān)聽從LinkedBlockingDeque中獲取event，然后用onReceive接收?qǐng)?zhí)行，DAGSchedulerEvent...
發(fā)簡(jiǎn)信
IP屬地：廣東
-
spark DAGSchedulerEventProcessLoop 設(shè)計(jì)原理
-
6.1.2版本elasticsearch源碼環(huán)境構(gòu)建步驟(idea)
ElasticSearch構(gòu)建源碼環(huán)境步驟： 以版本6.1.2 on mac, idea為例 準(zhǔn)備：gradle 4.3版本。jdk10。 jdk10 mac版本可以到我的百...
-
spark->es快速導(dǎo)入數(shù)據(jù)
elasticsearch-spark 提供了saveToEs api以支持快速導(dǎo)入數(shù)據(jù)。但es集群線程池有限，在大量寫入數(shù)據(jù)的同時(shí)，對(duì)cpu的壓力非常大，影響線上es的查詢...
-
本博客所有內(nèi)容均適用知識(shí)共享-署名-相同方式共享（CC-BY-SA）4.0協(xié)議。
-
Apache Kafka詳解一、消息隊(duì)列Message Queue 兩種模式 點(diǎn)對(duì)點(diǎn)模式點(diǎn)對(duì)點(diǎn)模式是一個(gè)基于拉取或輪詢的消息傳送模型，由消費(fèi)者主動(dòng)拉取數(shù)據(jù)，客戶端需要實(shí)時(shí)開啟一個(gè)線程監(jiān)控隊(duì)列中是否有數(shù)據(jù)...
-
Spark CommitCoordinator 保證數(shù)據(jù)一致性
本文引用了技術(shù)世界文章，來(lái)自：http://www.jasongj.com/spark/committer/ 問題引入 Spark 輸出數(shù)據(jù)到HDFS時(shí)，多個(gè)task同時(shí)寫數(shù)...
-
Akka系列（五）：Java和Scala中的Future隨著CPU的核數(shù)的增加，異步編程模型在并發(fā)領(lǐng)域中的得到了越來(lái)越多的應(yīng)用，由于Scala是一門函數(shù)式語(yǔ)言，天然的支持異步編程模型，今天主要來(lái)看一下Java和Scala中的Fut...
-
flink 流表join mysql表
1.流表 2.mysql 維表 3.join 4.在終端執(zhí)行 nc -lk 9999，即可輸入流數(shù)據(jù)，實(shí)現(xiàn)流數(shù)據(jù)與mysql數(shù)據(jù)的join5.依賴
-
精通Apache Flink必讀系列文章 轉(zhuǎn)
2018年08月17日 11:38:25列國(guó)周游閱讀數(shù)：284 版權(quán)聲明：著作權(quán)歸作者所有。 商業(yè)轉(zhuǎn)載請(qǐng)聯(lián)系作者獲得授權(quán)，非商業(yè)轉(zhuǎn)載請(qǐng)注明出處。 https://blog.c...
-
Structured Streaming Tipstitle: Structured Streaming Tips （一） tags: spark structured-streaming tips gc 優(yōu)化 catego...
-
Graphx中處理字符串類型的ID
??Graphx中的結(jié)點(diǎn)ID只能是Long型的，但是在實(shí)際的業(yè)務(wù)中有時(shí)會(huì)遇到字符串類型的ID，這時(shí)需要建立一個(gè)結(jié)點(diǎn)ID的映射。 使用python隨機(jī)生成100條字符串類型的邊...
個(gè)人介紹
大數(shù)據(jù)平臺(tái)開發(fā)工程師一枚。記錄學(xué)習(xí)之路。郵件：dengyu0413@163.com