什么是Clustering 開門見山，Clustering主要有兩個作用：數(shù)據(jù)小文件合并和重排序。當(dāng)數(shù)據(jù)寫入Hudi表時，為了提高寫入效率和存儲利用率，可能會產(chǎn)生大量小文件。...
發(fā)簡信
IP屬地：臺灣
-
Hudi 源碼之 Clustering
-
parquet(2)讀寫1、大多數(shù)情況下，我們會使用高級工具來處理parquet文件，比如hive spark impala,不過有時候我們也需要進行低級順序訪問 2、parquet具有一個可插入式...
-
Apache Parquet設(shè)計解讀官網(wǎng)地址：https://parquet.apache.org/docs[https://parquet.apache.org/docs]編碼：https://www.wai...
-
Hudi系列2:Hudi安裝編譯環(huán)境準(zhǔn)備 軟件版本Hadoop3.3.2Hive3.1.2Spark3.3.1Flink1.14.5 一. 下載并解壓hudi 二. maven的下載和配置 2.1 ma...
-
Hudi系列1:Hudi介紹一. 什么是Hudi Apache Hudi（發(fā)音“hoodie”）是下一代流數(shù)據(jù)湖平臺。Apache Hudi將核心倉庫和數(shù)據(jù)庫功能直接帶到數(shù)據(jù)湖中。Hudi提供了表，事務(wù)...
-
Hudi 概念和特性
背景 本篇為Hudi概念和特性相關(guān)介紹。依據(jù)于官網(wǎng)和相關(guān)博客資料，融入了個人理解。內(nèi)容可能會有疏漏，歡迎大家指正和補充。 Hudi概念 Apache Hudi是一個Data ...
-
Hbase教程：通過BulkLoad快速將海量數(shù)據(jù)導(dǎo)入到Hbase本文將針對這個問題介紹如何通過Hbase的BulkLoad方法來快速將海量數(shù)據(jù)導(dǎo)入到Hbase中。 在第一次建立Hbase表的時候，我們可能需要往里面一次性導(dǎo)入大量的初始化數(shù)...
-
HiveSQL優(yōu)化方法
Hive調(diào)優(yōu)集錦[https://blog.csdn.net/zhanglong_4444/article/details/117264381]Hive/HiveSQL常用優(yōu)...
-
領(lǐng)導(dǎo)力實踐感悟1：優(yōu)秀提問能力是優(yōu)秀領(lǐng)導(dǎo)力的具體表現(xiàn)
回顧自己溝通方式的進化過程，剛剛當(dāng)工程師的時候，光顧著說自己想說的話，而且是用自己熟悉的表達方式說出來，只顧著自己的爽，直接忽略了聽者的感受；繼而成為銷售工程師，為了加...
