背景及痛點[#%E8%83%8C%E6%99%AF%E5%8F%8A%E7%97%9B%E7%82%B9]業(yè)務(wù)背景[#%E4%B8%9A%E5%8A%A1%E8%83%8C%...
發(fā)簡信
IP屬地：北京
-
Flink集成iceberg在生產(chǎn)環(huán)境中的實踐
-
Flink集成數(shù)據(jù)湖之實時數(shù)據(jù)寫入iceberg
背景 隨著大數(shù)據(jù)處理結(jié)果的實時性要求越來越高，越來越多的大數(shù)據(jù)處理從離線轉(zhuǎn)到了實時，其中以flink為主的實時計算在大數(shù)據(jù)處理中占有重要地位。 Flink消費kafka等實時...
-
深入解讀flink sql cdc的使用以及源碼分析
前言 flink消費cdc數(shù)據(jù)canal formatdebezium formatCanalJson反序列化源碼解析 flink cdc connector背景mysql-...
-
flink實戰(zhàn)-使用自定義聚合函數(shù)統(tǒng)計網(wǎng)站TP指標(biāo)
背景 自定義聚合函數(shù) 實例講解 背景 在網(wǎng)站性能測試中，我們經(jīng)常會選擇 TP50、TP95 或者 TP99 等作為性能指標(biāo)。接下來我們講講這些指標(biāo)的含義、以及在flink中如...
-
flink教程-詳解flink 1.11 中的CDC (Change Data Capture)
CDC簡介 Canal CanalJson反序列化源碼解析 CDC簡介 CDC,Change Data Capture,變更數(shù)據(jù)獲取的簡稱，使用CDC我們可以從數(shù)據(jù)庫中獲取已...
-
聊聊flink 1.11 中的隨機數(shù)據(jù)生成器- DataGen connector
使用 示例 源碼解析創(chuàng)建TableSource數(shù)據(jù)生成器DataGeneratorDataGenTableSource 使用 在flink 1.11中，內(nèi)置提供了一個Data...
-
Flink源碼分析之深度解讀流式數(shù)據(jù)寫入hive
前言 數(shù)據(jù)流處理hive基本信息獲取流、批判斷寫入格式判斷構(gòu)造分區(qū)提交算子 詳解StreamingFileWriter 簡述StreamingFileSink 分區(qū)信息提交提...
-
Flink教程-將流式數(shù)據(jù)寫入redis
背景 實例講解引入pom構(gòu)造數(shù)據(jù)源構(gòu)造redis配置實現(xiàn)RedisMapper 動態(tài)生成key 背景 redis作為一個高吞吐的存儲系統(tǒng)，在生產(chǎn)中有著廣泛的應(yīng)用，今天我們主要...
-
flink modules詳解之使用hive函數(shù)
modules概念 通過hive module使用hive函數(shù)內(nèi)置函數(shù)自定義函數(shù) sql 客戶端的使用 原理分析和源碼解析實現(xiàn) modules概念 flink 提供了一個mo...
個人介紹