環(huán)境信息 Flink 1.17.2 Hive 3.1.0 Hudi 0.15.0 Flink 需要使用Hudi和Hive,lib目錄添加了hive-exec-3.1.0.ja...
環(huán)境信息 Flink 1.17.2 Hive 3.1.0 Hudi 0.15.0 Flink 需要使用Hudi和Hive,lib目錄添加了hive-exec-3.1.0.ja...
前言 疊個甲,流水賬,非專業(yè),只是蹭一下DeepSeek的熱度( 實驗環(huán)境為家用PC,配備NVidia GeForce RTX 4090D顯卡、AMD銳龍9 9950X處理器...
Flink 使用介紹相關文檔目錄 Flink 使用介紹相關文檔目錄[http://www.itdecent.cn/p/74f1990d047c] 前言 本文為大家分享博主在...
本文整理自宋辛童(阿里云智能高級技術專家)老師,梅源(阿里云智能資深技術專家)、李麟(阿里云智能高級技術專家)老師,在 Flink Forward Asia 2024 主會場...
前言 本文前半部分的內容在很久之前講過,但是最近又有交接到團隊內的歷史任務出現(xiàn)這方面導致的性能問題,故有必要再講一次,并擴展一部分新內容。先通過兩個例子來引入Java類型擦除...
摘要:本文整理自餓了么大數(shù)據(jù)架構師、Apache Flink Contributor 王沛斌老師在8月3日 Streaming Lakehouse Meetup Online...
人生主線混亂 最近一年真的是啥也沒搞….一直是一個半途而廢的糕手…一直想搞搞計算機其他方向的東西 之前花了倆三周學前端技術,后面到css和布局直接搞懵了,直接沒啥搞的欲望了,...
前言 Elasticsearch不僅是強大的全文搜索引擎,在很多場景下(特別是TiDB、ShardingSphere等框架成熟之前)也被當做分布式HTAP數(shù)據(jù)庫使用,在存儲、...
Flink 使用介紹相關文檔目錄 Flink 使用介紹相關文檔目錄[http://www.itdecent.cn/p/74f1990d047c] 前言 Flink提供了Ya...
前言 大家已經了解,StarRocks的更新模型、主鍵模型等在Flush和Compaction過程中會產生歷史版本數(shù)據(jù),這些垃圾數(shù)據(jù)需要及時被清理,以防止存儲空間浪費。而St...
前言 本篇從Hudi角度介紹Flink常用的幾種讀寫操作。內容主要來源于官網例子和個人理解。 讀者如果想了解從編譯、部署到使用的步驟,請參考:Flink 使用之 Hudi 編...
前言 我們知道,列式存儲的數(shù)據(jù)組織形式使得它適合海量數(shù)據(jù)在線查詢、分析的場景,而寫入性能相對于讀取性能似乎并不那么重要(傳統(tǒng)的ORC / Parquet on Hive方案就...
什么是Clustering 開門見山,Clustering主要有兩個作用:數(shù)據(jù)小文件合并和重排序。當數(shù)據(jù)寫入Hudi表時,為了提高寫入效率和存儲利用率,可能會產生大量小文件。...
前言 Hudi Flink支持配置table service的異步執(zhí)行。Schedule的時機為checkpoint完成的時候。執(zhí)行過程在線程池中完成。Flink Hudi ...
背景 本篇以Flink操作Hudi表為例,分析COW表和MOR表的upsert以及insert操作詳細的執(zhí)行流程。 StreamWriteFunction Hudi Flin...
Flink 使用介紹相關文檔目錄 Flink 使用介紹相關文檔目錄[http://www.itdecent.cn/p/74f1990d047c] 前言 近期一個需求是寫一套...
Flink 使用介紹相關文檔目錄 Flink 使用介紹相關文檔目錄[http://www.itdecent.cn/p/74f1990d047c] 前言 本篇接Flink 使...
Flink 使用介紹相關文檔目錄 Flink 使用介紹相關文檔目錄[http://www.itdecent.cn/p/74f1990d047c] 前言 概括來說,water...
Hudi Spark使用 本篇為大家?guī)硗ㄟ^Spark shell和Spark SQL操作Hudi表的方式。 Hudi表還可以通過Spark ThriftServer操作,參...
Clean的概念 Hudi表擁有時間線(Timeline)??梢岳斫鉃镠udi表的修改日志。Hudi不僅記錄了什么時候發(fā)生了何種類型修改,還記錄了這次修改對應的數(shù)據(jù)文件。這些...