環(huán)境信息 Flink 1.17.2 Hive 3.1.0 Hudi 0.15.0 Flink 需要使用Hudi和Hive，lib目錄添加了hive-exec-3.1.0.ja...
IP屬地：吉林
-
Hudi Flink hive-exec依賴沖突問(wèn)題
-
本地部署DeepSeek R1與RAG簡(jiǎn)單實(shí)驗(yàn)前言 疊個(gè)甲，流水賬，非專業(yè)，只是蹭一下DeepSeek的熱度（ 實(shí)驗(yàn)環(huán)境為家用PC，配備NVidia GeForce RTX 4090D顯卡、AMD銳龍9 9950X處理器...
-
Flink 雙網(wǎng)分離環(huán)境使用問(wèn)題解決記錄
Flink 使用介紹相關(guān)文檔目錄 Flink 使用介紹相關(guān)文檔目錄[http://www.itdecent.cn/p/74f1990d047c] 前言 本文為大家分享博主在...
-
Apache Flink 2.0：Streaming into the Future本文整理自宋辛童（阿里云智能高級(jí)技術(shù)專家）老師，梅源（阿里云智能資深技術(shù)專家）、李麟（阿里云智能高級(jí)技術(shù)專家）老師，在 Flink Forward Asia 2024 主會(huì)場(chǎng)...
-
再談Java類型擦除與其對(duì)Flink類型和序列化的影響前言 本文前半部分的內(nèi)容在很久之前講過(guò)，但是最近又有交接到團(tuán)隊(duì)內(nèi)的歷史任務(wù)出現(xiàn)這方面導(dǎo)致的性能問(wèn)題，故有必要再講一次，并擴(kuò)展一部分新內(nèi)容。先通過(guò)兩個(gè)例子來(lái)引入Java類型擦除...
-
餓了么基于Flink+Paimon+StarRocks的實(shí)時(shí)湖倉(cāng)探索摘要：本文整理自餓了么大數(shù)據(jù)架構(gòu)師、Apache Flink Contributor 王沛斌老師在8月3日 Streaming Lakehouse Meetup Online...
-
2024人生主線混亂
人生主線混亂 最近一年真的是啥也沒(méi)搞….一直是一個(gè)半途而廢的糕手…一直想搞搞計(jì)算機(jī)其他方向的東西 之前花了倆三周學(xué)前端技術(shù),后面到css和布局直接搞懵了,直接沒(méi)啥搞的欲望了,...
-
StarRocks Elasticsearch Catalog原理簡(jiǎn)析前言 Elasticsearch不僅是強(qiáng)大的全文搜索引擎，在很多場(chǎng)景下（特別是TiDB、ShardingSphere等框架成熟之前）也被當(dāng)做分布式HTAP數(shù)據(jù)庫(kù)使用，在存儲(chǔ)、...
-
Flink 使用之Yarn session模式和application模式對(duì)比Flink 使用介紹相關(guān)文檔目錄 Flink 使用介紹相關(guān)文檔目錄[http://www.itdecent.cn/p/74f1990d047c] 前言 Flink提供了Ya...
-
聊聊存算分離StarRocks的垃圾清理機(jī)制前言 大家已經(jīng)了解，StarRocks的更新模型、主鍵模型等在Flush和Compaction過(guò)程中會(huì)產(chǎn)生歷史版本數(shù)據(jù)，這些垃圾數(shù)據(jù)需要及時(shí)被清理，以防止存儲(chǔ)空間浪費(fèi)。而St...
-
Hudi 使用之Flink讀寫(xiě)
前言 本篇從Hudi角度介紹Flink常用的幾種讀寫(xiě)操作。內(nèi)容主要來(lái)源于官網(wǎng)例子和個(gè)人理解。 讀者如果想了解從編譯、部署到使用的步驟，請(qǐng)參考：Flink 使用之 Hudi 編...
-
淺談Deletion Vector及其在StarRocks中的應(yīng)用前言 我們知道，列式存儲(chǔ)的數(shù)據(jù)組織形式使得它適合海量數(shù)據(jù)在線查詢、分析的場(chǎng)景，而寫(xiě)入性能相對(duì)于讀取性能似乎并不那么重要（傳統(tǒng)的ORC / Parquet on Hive方案就...
-
Hudi 源碼之 Clustering
什么是Clustering 開(kāi)門見(jiàn)山，Clustering主要有兩個(gè)作用：數(shù)據(jù)小文件合并和重排序。當(dāng)數(shù)據(jù)寫(xiě)入Hudi表時(shí)，為了提高寫(xiě)入效率和存儲(chǔ)利用率，可能會(huì)產(chǎn)生大量小文件。...
-
Hudi 源碼之 Flink Table Service 排期和執(zhí)行
前言 Hudi Flink支持配置table service的異步執(zhí)行。Schedule的時(shí)機(jī)為checkpoint完成的時(shí)候。執(zhí)行過(guò)程在線程池中完成。Flink Hudi ...
-
Hudi 源碼之?dāng)?shù)據(jù)寫(xiě)入邏輯
背景 本篇以Flink操作Hudi表為例，分析COW表和MOR表的upsert以及insert操作詳細(xì)的執(zhí)行流程。 StreamWriteFunction Hudi Flin...
-
Flink 使用之Kafka exactly-once場(chǎng)景
Flink 使用介紹相關(guān)文檔目錄 Flink 使用介紹相關(guān)文檔目錄[http://www.itdecent.cn/p/74f1990d047c] 前言 近期一個(gè)需求是寫(xiě)一套...
-
Flink 使用之Checkpoint配置
Flink 使用介紹相關(guān)文檔目錄 Flink 使用介紹相關(guān)文檔目錄[http://www.itdecent.cn/p/74f1990d047c] 前言 本篇接Flink 使...
-
Flink 使用之WatermarkStrategy（含源碼分析）
Flink 使用介紹相關(guān)文檔目錄 Flink 使用介紹相關(guān)文檔目錄[http://www.itdecent.cn/p/74f1990d047c] 前言 概括來(lái)說(shuō)，water...
-
Spark 使用之操作Hudi表
Hudi Spark使用 本篇為大家?guī)?lái)通過(guò)Spark shell和Spark SQL操作Hudi表的方式。 Hudi表還可以通過(guò)Spark ThriftServer操作，參...
-
Hudi 源碼之 Cleaning service
Clean的概念 Hudi表?yè)碛袝r(shí)間線(Timeline)?？梢岳斫鉃镠udi表的修改日志。Hudi不僅記錄了什么時(shí)候發(fā)生了何種類型修改，還記錄了這次修改對(duì)應(yīng)的數(shù)據(jù)文件。這些...