相當(dāng)于mysql-cdc的大動(dòng)作(后面我會(huì)講)，我讀源碼之后發(fā)現(xiàn), 這個(gè)mongoDb-cdc的實(shí)現(xiàn)（2.2.1）代碼不是很復(fù)雜，現(xiàn)在簡(jiǎn)單記錄一下，方便自己后續(xù)查閱。 如何開(kāi)...
發(fā)簡(jiǎn)信
IP屬地：廣東
-
flink-cdc 之mongoDb源碼分析-1 -
FLINK-CDC 之 MongoDB
MongoDB CDC 連接器允許從 MongoDB 讀取快照數(shù)據(jù)和增量數(shù)據(jù)。 依賴項(xiàng) 為了設(shè)置 MongoDB CDC 連接器，下表提供了使用構(gòu)建自動(dòng)化工具（例如 Mave...
-
-
-
資深公考老師，助您成功上岸
-
每天記錄點(diǎn)滴，記錄學(xué)習(xí)，記錄成長(zhǎng)。
-
kafka全面認(rèn)知什么是Kafka[#---kafka] Kafka的應(yīng)用場(chǎng)景[#kafka-----] Kafka的架構(gòu)[#kafka---]consumer的pull模式和push模式的區(qū)...
-
積累，，，，
-
Hadoop - HDFS分布式存儲(chǔ)、HA架構(gòu)原理、YARN調(diào)度原理
Hadoop 的組成 HDFS管理者:namenode工作者:DataNode輔助管理者:secondaryNameNode MapReduce YARN管理者:Resour...
-
本地k8s（v1.12官網(wǎng)譯文）
該頁(yè)面介紹了如何在Kubernetes上本地部署Flink。 入門(mén) 本入門(mén)部分將指導(dǎo)您在Kubernetes上設(shè)置功能齊全的Flink集群。 介紹 Kubernetes是一種...
-
我是一名大數(shù)據(jù)開(kāi)發(fā)工程師，我在簡(jiǎn)書(shū)會(huì)分享一些我平常在工作用到的技術(shù)，以及后面會(huì)分享一些源碼內(nèi)容。我也在GitHub上搭建了我自己的代碼倉(cāng)庫(kù)，里面有優(yōu)秀的項(xiàng)目會(huì)記錄我是如何從0到1走向大數(shù)據(jù)架構(gòu)師（<a href="https://links.jianshu.com/go?to=https%3A%2F%2Fgithub.com%2Flhh2002" target="_blank">https://github.com/lhh2002</a>），我也開(kāi)通的我自己的公眾號(hào)【大數(shù)據(jù)老哥】?jī)?yōu)秀的文章會(huì)第一時(shí)間在公眾號(hào)發(fā)布，歡迎大家來(lái)觀看。
-
zookeeper1 ZK到底是啥？ zookeeper是個(gè)服務(wù)，服務(wù)的對(duì)象我們都稱為客戶端，在大數(shù)據(jù)生態(tài)里面的客戶，hadoop、hbase、hive…組件都是分布式部署，這些組件們利用zo...
-
5 一文看完flink的內(nèi)存管理背景 1）java對(duì)象的存儲(chǔ)密度比較低，對(duì)象主要包含 對(duì)象頭，對(duì)象數(shù)據(jù)，對(duì)齊填充。 其中對(duì)齊填充是沒(méi)用的，純粹是為了讓對(duì)象的大小到達(dá)8的倍數(shù) 2）Full GC非常影響性能，...
-
4 checkpoint 和state的那些事兒本文主要參考唐云《flink checkpoint 輕量級(jí)分布式快照》，嚴(yán)禁轉(zhuǎn)載，違者必究 checkpoint 是flink的一個(gè)執(zhí)行操作，動(dòng)作是去 保存分布式狀態(tài)的快照 ...
-
3 on yarn的任務(wù)提交過(guò)程1 client向yarn提交相應(yīng)的Job 2 client上傳jar和配置 3ResourceManager分配Container資源并通知對(duì)應(yīng)的NodeManager啟動(dòng)...
-
2 jobmanager的全部職責(zé)1 和client的交互 客戶端負(fù)責(zé)將任務(wù)提交到集群，與 JobManager 構(gòu)建 Akka 連接，然后將任務(wù)提交到 JobManager，通過(guò)和 JobManager 之...
-
-
FlinkSQL 平臺(tái)
背景 由于公司內(nèi)部需求較多，并不想每次都寫(xiě)一個(gè) streaming 程序，故而開(kāi)始搭建 flinksql 平臺(tái)，基于 jdk1.8，flink1.12.x 效果 傳一個(gè) sq...
-
Flink 架構(gòu)--官網(wǎng)譯文(v1.11)Flink是一個(gè)分布式系統(tǒng)，需要有效分配和管理計(jì)算資源才能執(zhí)行流應(yīng)用程序。 它與所有常見(jiàn)的群集資源管理器（如Hadoop YARN，Apache Mesos和Kubernet...
