在學(xué)習(xí) paimon sink 的過程中本來只想快速梳理下 paimon 的 sink 時(shí)對 DataStream 操作的拓?fù)? 但是過程中發(fā)現(xiàn) paimon 會有很多概念，...
IP屬地：廣東
-
paimon sink 源碼 之 paimon table 創(chuàng)建 -
淺談Deletion Vector及其在StarRocks中的應(yīng)用前言 我們知道，列式存儲的數(shù)據(jù)組織形式使得它適合海量數(shù)據(jù)在線查詢、分析的場景，而寫入性能相對于讀取性能似乎并不那么重要（傳統(tǒng)的ORC / Parquet on Hive方案就...
-
LSM Tree-Based存儲引擎的compaction策略（feat. RocksDB）前言 這篇從半個(gè)月前就開始寫，斷斷續(xù)續(xù)寫到現(xiàn)在，終于能發(fā)了（被簡書吞了好幾次），不容易。 最近筆者正在補(bǔ)習(xí)與RocksDB底層相關(guān)的細(xì)節(jié)，因?yàn)椋?次要原因——當(dāng)前所有Flin...
-
簡析StarRocks JNI Connector及其在數(shù)據(jù)湖Reader中的應(yīng)用前言 最近在進(jìn)行StarRocks與數(shù)據(jù)湖集成方面的一些工作（重點(diǎn)是SR 3.2與Paimon 0.6的適配），同時(shí)閱讀和修改了部分代碼，發(fā)現(xiàn)StarRocks JNI Co...
-
關(guān)于使用Flink RocksDB狀態(tài)后端時(shí)一定要寫MapState而非ValueState<Map>這檔事（以及解決方法）前言 抱歉起這種爛大街的日本輕小說風(fēng)格標(biāo)題來吸引注意力。原本我認(rèn)為這是常識，不需要專門寫一篇文章來講解如此細(xì)碎的點(diǎn)。但是在最近工作巡檢中發(fā)現(xiàn)了越來越多如同ValueState...
-
Hudi Timeline簡析前言 Long time no see（鞠躬 最近終于開始嘗試推廣Hudi在部門內(nèi)部的應(yīng)用，作為流批一體計(jì)劃的最后一塊拼圖，順便復(fù)活許久未更的博客，希望今后至少能保持周更的節(jié)...
-
Flink 使用之 CDC 自定義 DeserializationSchema
Flink 使用介紹相關(guān)文檔目錄 Flink 使用介紹相關(guān)文檔目錄[http://www.itdecent.cn/p/74f1990d047c] 背景 本篇接Flink 使...
-
淺談Flink對象重用（object reuse）前言 今天是大年初一，祝各位虎年大吉大利~ 近期受工作變動(dòng)影響，博客又荒廢了許久。今天難得有空，就前段時(shí)間內(nèi)部技術(shù)分享里提到的一個(gè)小知識點(diǎn)來寫幾筆。 對象重用（object ...
-
kafka 數(shù)據(jù)可靠性深度解讀1. 概述 Kakfa起初是由LinkedIn公司開發(fā)的一個(gè)分布式的消息系統(tǒng)，后成為Apache的一部分，它使用Scala編寫，以可水平擴(kuò)展和高吞吐率而被廣泛使用。目前越來越...
