發(fā)簡(jiǎn)信
IP屬地：廣東
-
Airflow Task 血緣分析血緣分析流程 Airflow 原生 CLI 與 REST API 服務(wù)，Airflow Task 血緣方式可以通過(guò)以下幾個(gè)步驟獲?。?通過(guò) CL...
-
Hive SQL 元數(shù)據(jù)血緣管理模板概述 基于 Antlr4 編譯 hive 相關(guān) xxx.g 文件生成對(duì)應(yīng)的模板，如 hive 源碼中： 編譯完成生成對(duì)應(yīng) *.java 文件...
-
kafka exactly once 批處理簡(jiǎn)介 這幾天，有個(gè)大兄弟問(wèn)，如何實(shí)現(xiàn) kafka 多線程批消費(fèi)，目標(biāo)： 確保 exactly once 語(yǔ)義 數(shù)據(jù)不丟失 支持定時(shí)同步，如15分...
-
十二、淘寶用戶行為數(shù)據(jù)示例
測(cè)試數(shù)據(jù) User Behavior Data from Taobao for Recommendation
-
十一、Flink Table
簡(jiǎn)介 Flink具有兩個(gè)關(guān)系A(chǔ)PI - 表API和SQL - 用于統(tǒng)一流和批處理。Table API是Scala和Java的語(yǔ)言集成查詢API，...
-
十、廣播變量
簡(jiǎn)介 廣播變量理解為是一個(gè)公共的共享變量，我們可以把一個(gè)dataset 數(shù)據(jù)集廣播出去，然后不同的task在節(jié)點(diǎn)上都能夠獲取到，這個(gè)數(shù)據(jù)在每個(gè)節(jié)...
-
九、Kafka 消費(fèi)位點(diǎn)
檢查點(diǎn)使得 Apache Flink 具有容錯(cuò)能力，并確保了即時(shí)發(fā)生故障也能保證流應(yīng)用程序的語(yǔ)義。檢查點(diǎn)是以固定的間隔來(lái)觸發(fā)的，該間隔可以在應(yīng)用...
-
八、Kafka Connector
Flink-kafka-connector 讀寫(xiě)kafkaKafka中的partition機(jī)制和Flink的并行度機(jī)制結(jié)合 實(shí)現(xiàn)數(shù)據(jù)恢復(fù)Kafk...
-
七、Flink Event Time Watermark
在 Apache Flink 中使用 watermark 的 4 個(gè)理解 在下文中的例子中，我們有一個(gè)帶有時(shí)間戳的事件流，但是由于某種原因它們并...