發(fā)簡(jiǎn)信
IP屬地：湖北
-
【Kafka小試】Kafka 高可用機(jī)制
Kafka的Replica kafka的topic可以設(shè)置有n個(gè)副本（replica），副本數(shù)最好要小于等于broker的數(shù)量，也就是要保證一個(gè)...
-
【Flink小試】Flink CDC DataStream API監(jiān)聽MySQL動(dòng)態(tài)發(fā)往Kafka Topic
[toc] 一、背景 業(yè)務(wù)背景: MySQL增量數(shù)據(jù)實(shí)時(shí)更新同步到Kafka中供下游使用 查看了一下Flink CDC的官方文檔[https:/...
-
SpringBoot @Scheduled多線程執(zhí)行
問題 在用springboot框架做定時(shí)任務(wù)的時(shí)候，大部分情況都是直接通過@Scheduled注解來指定定時(shí)任務(wù)的。但是當(dāng)你有多個(gè)定時(shí)任務(wù)時(shí)，@...
-
Go mongo driver使用
通過go mod下載官方driver包go.mongodb.org/mongo-driver 一、初始化設(shè)置 創(chuàng)建init.go 二、 創(chuàng)建數(shù)據(jù)...
-
Go Tools -- 數(shù)組收納數(shù)組相關(guān)的操作工具 1. 兩個(gè)數(shù)組并集 2. 兩個(gè)數(shù)組交集 3. 兩個(gè)數(shù)組差集 4. 數(shù)組是否包含元素 5. 去除數(shù)組中的重復(fù)元素 Test...
-
二叉樹遍歷方式題目： 已知一棵二叉樹前序遍歷和中序遍歷分別為ABDEGCFH和DBGEACHF，則該二叉樹的后序遍歷結(jié)果為？ 思路： 根據(jù)根節(jié)點(diǎn)遍歷順序記遍歷...
-
MongoDB Spark Connector使用
背景 對(duì)現(xiàn)有的存儲(chǔ)在MongoDB中的海量數(shù)據(jù)進(jìn)行清洗操作。為了提供數(shù)據(jù)的處理速度，決定使用spark作為引擎對(duì)數(shù)據(jù)進(jìn)行操作。 先決條件 Mon...
-
數(shù)據(jù)倉(cāng)庫(kù)中的ODS DW DM理解1. DW 1.1 簡(jiǎn)介 data warehouse(可簡(jiǎn)寫為DW或DWH)數(shù)據(jù)倉(cāng)庫(kù),是在數(shù)據(jù)庫(kù)已經(jīng)大量存在的情況下，為了進(jìn)一步挖掘數(shù)據(jù)資源、...
-
Go創(chuàng)建Kafka生產(chǎn)者和消費(fèi)者
1. 定義Producer和Consumer結(jié)構(gòu)體 2. 獲取Producer實(shí)例 3. 發(fā)送數(shù)據(jù)到Kafka 批量發(fā)送 單條發(fā)送 4. 通過C...