公眾號[Hello大數(shù)據(jù)]，分享大數(shù)據(jù)相關(guān)技術(shù)實戰(zhàn)，歡迎關(guān)注。
發(fā)簡信
IP屬地：上海
-
-
Flink實戰(zhàn)之入庫任務(wù)調(diào)優(yōu)
背景 在調(diào)試flink寫hdfs和hive時，任務(wù)總是報各種各樣的異常，其中255問題最多，異常信息如下： 這段異常是yarn報出來的，根本原因是Direct Memory ...
-
Flink實戰(zhàn)之寫Hive性能問題
上一篇中寫了Kafka to Hive的樣例，在實際測試過程中，發(fā)現(xiàn)性能比較差。 問題1 我使用的是Flink1.11.1版本，這個版本有個性能上的問題，見FLINK-191...
-
Flink實戰(zhàn)之Kafka To Hive
背景 傳統(tǒng)的入庫任務(wù)一般借助于MapReduce或者Spark來寫hive表，一般都是天級別最多小時級別的任務(wù)。隨著實時性要求越來越高，傳統(tǒng)的入庫不太能滿足需求。Flink完...
-
Flink實戰(zhàn)之合并小文件
背景 Flink的filesystem connector支持寫入hdfs，同時支持基于Checkpoint的滾動策略，每次做Checkpoint時將inprogress的文...
-
Flink實戰(zhàn)之FileSystem-parquet支持ZSTD壓縮
前言 ZSTD壓縮算法是現(xiàn)在最流行壓縮算法了，有著高壓縮比和壓縮性能強的有點，已經(jīng)被各大框架所使用。目前hadoop 3.1.0版本已經(jīng)支持ZSTD算法。所以可以使用Flin...
-
Flink實戰(zhàn)之Flink必須依賴Hadoop2.7+？
背景 最近在用filesystem connector來寫hdfs，底層是通過StreamFileSink實現(xiàn)的。在看官方文檔[https://ci.apache.org/p...
-
Flink源碼閱讀之FileSystem Connector
代碼在flink-table-runtime-blink模塊,用戶指南參考官網(wǎng)[https://ci.apache.org/projects/flink/flink-docs...
-
Flink實戰(zhàn)之擴展JDBC Dialect
前言 Flink jdbc connect已經(jīng)為依賴于jdbc進行操作的數(shù)據(jù)庫系統(tǒng)提供了非常完善的功能。對于擴展只需要擴展其Dialect即可。 具體步驟 定義Customi...
-
Flink實戰(zhàn)之Flink SQL connector支持并行度配置
背景 目前flink sql是不支持source/sink并行度配置的，flink sql中各算子并行度默認是根據(jù)source的partition數(shù)或文件數(shù)來決定的，比如常用...
-
Flink源碼閱讀之Sql-Client的執(zhí)行原理
前言 sql-cli相信大家都用過，通過sql-client.sh embedded啟動就會進入交互界面，每條sql都可以單獨執(zhí)行。在功能調(diào)試時非常方便，還有進入界面的那個大...
-
Flink實戰(zhàn)之Flink SQL中的Map、Array、Row
Flink sql支持Map、Array、Row類型，這幾種類型在DDL中如何定義、如何獲取、如何構(gòu)造，本文做個總結(jié)。 以如下數(shù)據(jù)作為樣例： 定義 獲取 構(gòu)造
-
Flink源碼閱讀之flink run 背后做了什么
我們經(jīng)常使用flink run命令提交一個jar任務(wù)，比如提交到y(tǒng)arn集群，那么執(zhí)行這個命令的背后flink都做了什么，能將我們的job提交到集群呢。對此我有興趣一探究竟。...
-
No operators defined in streaming topology. Cannot generate StreamGraph
Flink 1.11版本對Table&SQL模塊進行了重構(gòu)，廢棄了TableEnvironment.sqlUpdate方法，引入了TableEnvironment.execu...
-
Flink實戰(zhàn)之自定義TableFormat
自定義TableFormat主要包含如下步驟： 實現(xiàn)TableFormatFactory接口 實現(xiàn)SerializationSchemaFactory、Deserializa...
-
Dynamic是1.11版本對table重構(gòu)的新的接口，后者是1.11之前老的接口。
老接口對datastream嚴重依賴Flink實戰(zhàn)之自定義flink sql connector
背景 最近工作中需要自定義開發(fā)一些flink sql的connector，因為官方提供的connector畢竟有限，在我們工作中可能會用到各種各樣的中間件。所以官方?jīng)]有提供的...
-
補充一下，直接往hdfs寫這個policy是ok的，但是同樣的代碼應(yīng)用到寫hive table里面就無法生成目標文件
Flink SQL FileSystem Connector分區(qū)提交與自定義小文件合并策略
本文已授權(quán)「Flink中文社區(qū)」微信公眾號發(fā)布并標注原創(chuàng)。 Prologue 之前筆者在介紹Flink 1.11 Hive Streaming新特性時提到過，F(xiàn)link SQ...
-
按照樓主的代碼測試之后，關(guān)鍵日志都打印出來了，也沒任何異常，合并后的文件就是沒有是什么情況，搞了今天也找不出原因，樓主有什么思路嗎？
Flink SQL FileSystem Connector分區(qū)提交與自定義小文件合并策略
本文已授權(quán)「Flink中文社區(qū)」微信公眾號發(fā)布并標注原創(chuàng)。 Prologue 之前筆者在介紹Flink 1.11 Hive Streaming新特性時提到過，F(xiàn)link SQ...
-
本博客所有內(nèi)容均適用知識共享-署名-相同方式共享（CC-BY-SA）4.0協(xié)議。
-
Flink系列 - 實時數(shù)倉之ETL實戰(zhàn)（二）一、概述 ??上一篇實戰(zhàn)中我們已經(jīng)使用ogg實現(xiàn)了mysql數(shù)據(jù)以json的格式同步到了kafka里邊去了，也就是說我們的源端的埋點的數(shù)據(jù)已經(jīng)處理好咯；那么接下來我們就可以使...
