發(fā)簡信
IP屬地：廣東
-
flink-cdc 之mongoDb源碼分析-1相當(dāng)于mysql-cdc的大動(dòng)作(后面我會(huì)講)，我讀源碼之后發(fā)現(xiàn), 這個(gè)mongoDb-cdc的實(shí)現(xiàn)（2.2.1）代碼不是很復(fù)雜，現(xiàn)在簡單記錄一...
-
FLINK-CDC 之 MongoDB
MongoDB CDC 連接器允許從 MongoDB 讀取快照數(shù)據(jù)和增量數(shù)據(jù)。 依賴項(xiàng) 為了設(shè)置 MongoDB CDC 連接器，下表提供了使用...
-
本地k8s（v1.12官網(wǎng)譯文）
該頁面介紹了如何在Kubernetes上本地部署Flink。 入門 本入門部分將指導(dǎo)您在Kubernetes上設(shè)置功能齊全的Flink集群。 介...
-
zookeeper1 ZK到底是啥？ zookeeper是個(gè)服務(wù)，服務(wù)的對(duì)象我們都稱為客戶端，在大數(shù)據(jù)生態(tài)里面的客戶，hadoop、hbase、hive…組件都是...
-
5 一文看完flink的內(nèi)存管理背景 1）java對(duì)象的存儲(chǔ)密度比較低，對(duì)象主要包含 對(duì)象頭，對(duì)象數(shù)據(jù)，對(duì)齊填充。 其中對(duì)齊填充是沒用的，純粹是為了讓對(duì)象的大小到達(dá)8的倍數(shù) 2...
-
4 checkpoint 和state的那些事兒本文主要參考唐云《flink checkpoint 輕量級(jí)分布式快照》，嚴(yán)禁轉(zhuǎn)載，違者必究 checkpoint 是flink的一個(gè)執(zhí)行操作，動(dòng)...
-
3 on yarn的任務(wù)提交過程1 client向yarn提交相應(yīng)的Job 2 client上傳jar和配置 3ResourceManager分配Container資源并通知對(duì)...
-
2 jobmanager的全部職責(zé)1 和client的交互 客戶端負(fù)責(zé)將任務(wù)提交到集群，與 JobManager 構(gòu)建 Akka 連接，然后將任務(wù)提交到 JobManager，通...
-
Flink 架構(gòu)--官網(wǎng)譯文(v1.11)Flink是一個(gè)分布式系統(tǒng)，需要有效分配和管理計(jì)算資源才能執(zhí)行流應(yīng)用程序。 它與所有常見的群集資源管理器（如Hadoop YARN，Apache...