在學(xué)習(xí) paimon sink 的過程中本來只想快速梳理下 paimon 的 sink 時(shí)對 DataStream 操作的拓?fù)? 但是過程中發(fā)現(xiàn) paimon 會有很多概念，...
IP屬地：廣東
-
paimon sink 源碼 之 paimon table 創(chuàng)建 -
淺談Deletion Vector及其在StarRocks中的應(yīng)用前言 我們知道，列式存儲的數(shù)據(jù)組織形式使得它適合海量數(shù)據(jù)在線查詢、分析的場景，而寫入性能相對于讀取性能似乎并不那么重要（傳統(tǒng)的ORC / Parquet on Hive方案就...
-
LSM Tree-Based存儲引擎的compaction策略（feat. RocksDB）前言 這篇從半個(gè)月前就開始寫，斷斷續(xù)續(xù)寫到現(xiàn)在，終于能發(fā)了（被簡書吞了好幾次），不容易。 最近筆者正在補(bǔ)習(xí)與RocksDB底層相關(guān)的細(xì)節(jié)，因?yàn)椋?次要原因——當(dāng)前所有Flin...
-
簡析StarRocks JNI Connector及其在數(shù)據(jù)湖Reader中的應(yīng)用前言 最近在進(jìn)行StarRocks與數(shù)據(jù)湖集成方面的一些工作（重點(diǎn)是SR 3.2與Paimon 0.6的適配），同時(shí)閱讀和修改了部分代碼，發(fā)現(xiàn)StarRocks JNI Co...
-
@LittleMagic hhh，F(xiàn)FA2023聽完了，是Paimon+StarRocks批流一體湖倉分析的大佬嘛？
關(guān)于使用Flink RocksDB狀態(tài)后端時(shí)一定要寫MapState而非ValueState<Map>這檔事（以及解決方法）
前言 抱歉起這種爛大街的日本輕小說風(fēng)格標(biāo)題來吸引注意力。原本我認(rèn)為這是常識，不需要專門寫一篇文章來講解如此細(xì)碎的點(diǎn)。但是在最近工作巡檢中發(fā)現(xiàn)了越來越多如同ValueState...
-
關(guān)于使用Flink RocksDB狀態(tài)后端時(shí)一定要寫MapState而非ValueState<Map>這檔事（以及解決方法）前言 抱歉起這種爛大街的日本輕小說風(fēng)格標(biāo)題來吸引注意力。原本我認(rèn)為這是常識，不需要專門寫一篇文章來講解如此細(xì)碎的點(diǎn)。但是在最近工作巡檢中發(fā)現(xiàn)了越來越多如同ValueState...
-
大佬，請問這個(gè)是什么版本的Flink呢，我看的是1.15，現(xiàn)在沒有l(wèi)ookup，是eval()方法了
Flink 源碼之 SQL TableSource 和 TableSink
Flink源碼分析系列文檔目錄 請點(diǎn)擊：Flink 源碼分析系列文檔目錄[http://www.itdecent.cn/p/d4a372809e3d] 前言 Flink S...
-
Hudi Timeline簡析前言 Long time no see（鞠躬 最近終于開始嘗試推廣Hudi在部門內(nèi)部的應(yīng)用，作為流批一體計(jì)劃的最后一塊拼圖，順便復(fù)活許久未更的博客，希望今后至少能保持周更的節(jié)...
-
Flink 使用之 CDC 自定義 DeserializationSchema
Flink 使用介紹相關(guān)文檔目錄 Flink 使用介紹相關(guān)文檔目錄[http://www.itdecent.cn/p/74f1990d047c] 背景 本篇接Flink 使...
-
淺談Flink對象重用（object reuse）前言 今天是大年初一，祝各位虎年大吉大利~ 近期受工作變動影響，博客又荒廢了許久。今天難得有空，就前段時(shí)間內(nèi)部技術(shù)分享里提到的一個(gè)小知識點(diǎn)來寫幾筆。 對象重用（object ...
-
kafka 數(shù)據(jù)可靠性深度解讀1. 概述 Kakfa起初是由LinkedIn公司開發(fā)的一個(gè)分布式的消息系統(tǒng)，后成為Apache的一部分，它使用Scala編寫，以可水平擴(kuò)展和高吞吐率而被廣泛使用。目前越來越...
-
spark-streaming與kafka的整合
1. 概述 在2.x中，spark有兩個(gè)用來與kafka整合的代碼，版本代號為0.8和0.10，由于在0.8，kafka有兩套消費(fèi)者api，根據(jù)高級api得到了Receive...
-
HiveSQL解析過程詳解Hive是基于Hadoop的一個(gè)數(shù)據(jù)倉庫系統(tǒng)，在各大公司都有廣泛的應(yīng)用。美團(tuán)數(shù)據(jù)倉庫也是基于Hive搭建，每天執(zhí)行近萬次的Hive ETL計(jì)算流程，負(fù)責(zé)每天數(shù)百GB的數(shù)據(jù)存儲...
