一、系統(tǒng)架構(gòu) 1. 接入層 Canal、Flume、Kafka 針對業(yè)務系統(tǒng)數(shù)據(jù)，Canal監(jiān)控Binlog日志，發(fā)送至kafka； 針對日志數(shù)據(jù)，由Flume來進行統(tǒng)一收集...
發(fā)簡信
IP屬地：陜西
-
基于Flink的實時計算平臺的構(gòu)建 -
通俗了解Flink的幾個核心概念做Flink做了好幾年，讓我感觸最深的是，雖然寫了Flink代碼好多年，但是要讓我通俗易懂地將Flink的重要的核心概念串起來，我一時還真找不到切入點，好多人可能跟我一樣，腦...
-
快準狠！解決jar包沖突問題由于考慮到項目后期需要用Flink對接Hive，所以這次項目升級需要將Flink版本由1.10升級到1.11，且保證項目能夠平穩(wěn)的運行。 有人可能覺得框架版本升級很簡單，把p...
-
專注Flink實時計算，分享Flink相關的原理、源碼、使用經(jīng)驗等。同時會分享離線/實時數(shù)倉、OLAP、數(shù)據(jù)架構(gòu)等干貨。<br>歡迎關注微信公眾號【Flink實戰(zhàn)剖析】 ，獲取更多信息~
-
@安春輝 會有沖突，flink有提供解決沖突后的Hadoop的jar包，但是只是針對有限個Hadoop的版本????
flink1.10連接hive1.1.0的填坑歷程
最近有個項目，需要讀取hive表中的數(shù)據(jù)寫到Hbase中，正好flink1.10版本剛出來，而且支持連接hive，那就他了。 哪想到這才是噩夢的開始。確定了技術棧，就開始著手...
-
flink1.10連接hive1.1.0的填坑歷程最近有個項目，需要讀取hive表中的數(shù)據(jù)寫到Hbase中，正好flink1.10版本剛出來，而且支持連接hive，那就他了。 哪想到這才是噩夢的開始。確定了技術棧，就開始著手...
-
-
Apache Flink 1.10.0 重磅發(fā)布，年度最大規(guī)模版本升級！Flink 1.10 同時還標志著對 Blink[1] 的整合宣告完成，隨著對 Hive 的生產(chǎn)級別集成及對 TPC-DS 的全面覆蓋，F(xiàn)link 在增強流式 SQL 處理能...
-
贊一個
Flink on YARN時，如何確定TaskManager數(shù)
答案寫在最前面：Job的最大并行度除以每個TaskManager分配的任務槽數(shù)。 問題 在Flink 1.5 Release Notes中，有這樣一段話，直接上截圖。 這說明...
-
@尼小摩 StreamExecutionEnvironment 是structrd streaming中的吧，批流一體了，可惜我還沒玩過??
Spark利用ConfigFactory獲取配置文件詳解
獲取配置文件中的配置 在實際開發(fā)中，項目中的一些配置文件會放在classpath下的resources文件中，然后在程序中會加載配置文件。 加載配置文件兩種方式： 利用類加載...
-
Flink如何快速定位SubTask在哪臺機器哪個進程中執(zhí)行痛點：假如我們在FLink的WebUI Metrics頁面發(fā)現(xiàn)有一個SubTask每秒處理的數(shù)據(jù)明顯比其他低，又或者在CheckPoint頁面，發(fā)現(xiàn)有一個SubTask的Ch...
