本文是為了記錄項目搭建一個可用的 Hbase鏡像的過程,由于項目中還有獨立的kafka和zookeeper, 所以不能使用常見的集成zk的Hbase鏡像,故手動搭建了一個。本...
本文是為了記錄項目搭建一個可用的 Hbase鏡像的過程,由于項目中還有獨立的kafka和zookeeper, 所以不能使用常見的集成zk的Hbase鏡像,故手動搭建了一個。本...
本文是為基于Flink的商品推薦系統(tǒng)所搭建的Docker環(huán)境,目的為了方便體驗項目,一鍵部署項目需要的所有環(huán)境,并預(yù)填充所需要的數(shù)據(jù)。完整的環(huán)境包括Zookeeper 、Ka...
本文的計劃是使用正確的maven插件打包當(dāng)前教程代碼庫batch模塊下的WordCount代碼,并通過命令行的方式提交到Flink來啟動任務(wù)。WordCount類即為Flin...
本文是我在使用Docker部署kafka遇到一些問題之后,在網(wǎng)上看到的一篇比較優(yōu)秀的英文資料Link。借此翻譯一下這篇文章,也幫助自己搞懂在使用Docker時遇到的一些網(wǎng)絡(luò)問...
本文主要介紹如何使用 FLink SQL 自己的 DDL語言來構(gòu)建基于 kafka 的表和 基于Mysql 的表,并直接把從 kafka 接過來的 Json 格式的數(shù)據(jù)轉(zhuǎn)換為...
Flink SQL 支持三種窗口類型, 分別為 Tumble Windows / HOP Windows 和 Session Windows. 其中 HOP windows ...
SQL API 是 Flink 中最頂級的 API , 它構(gòu)建了 Table API 之上, 也可以方便的和 Table 做轉(zhuǎn)換, 構(gòu)建 SQL 所使用的Environmen...
Table API 是 Flink 構(gòu)建在 DataSet 和 DataStream API 之上的一套結(jié)構(gòu)化編程接口. 本文希望通過一個簡單的 wordCount 的例子首...
在Flink中,同一個算子可能存在若干個不同的并行實例,計算過程可能不在同一個Slot中進行,不同算子之間更是如此,因此不同算子的計算數(shù)據(jù)之間不能像Java數(shù)組之間一樣互相訪...
迭代處理是批量處理處理中的常見操作, Flink 的 迭代計算支持兩種模式, 分別是 Bulk Iteration (全量迭代計算) 和 Delt Iteration (增量...
Flink 提供了一套 DataSet 的 API 來做批處理. 其實 DataSet 的使用方法還是和 DataStream 很相似的, 本章主要是先簡單的說一下 Data...
在流式處理的過程中, 在中間步驟的處理中, 如果涉及到一些費事的操作或者是外部系統(tǒng)的數(shù)據(jù)交互, 那么就會給整個流造成一定的延遲. 在 flink 的 1.2 版本中引入了 A...
Flink 中支持窗口上的多流合并, 需要保證的是輸入的 stream 要構(gòu)建在相同的 Window 上, 并使用相同類型的 Key 作為關(guān)聯(lián)條件.代碼如下所示, 先通過 j...
上一節(jié)主要是大致介紹了下 flink 的窗口組成, 以及如何去劃分窗口的. 那么這一篇文章主要是對剩下的內(nèi)容做一下總結(jié), 說一下如何對窗口內(nèi)的數(shù)據(jù)做處理. Window Fu...
窗口是流式計算中非常重要的一個概念, 很多常見的功能都是通過各種窗口實現(xiàn)的, 比如每5分鐘統(tǒng)計一下剛?cè)?小時的熱度. Flink DataStream API 將窗口獨立成 ...
時間概念 在做實時計算的時候, 首先就需要搞清楚一個問題, 這個實時到底是怎么樣的一個時間概念. 在 Flink 中, 總共有3種時間概念, 分別是 事件時間 ( Event...
flink的數(shù)據(jù)輸入源主要分為兩大類: 1. 內(nèi)置數(shù)據(jù)源 集合數(shù)據(jù)源可以將數(shù)組或者集合作為 flink 的數(shù)據(jù)源,分別有不同的方法可以使用, 這種方式比較適合本地調(diào)試使用//...
相信大家在學(xué)習(xí)spark的時候接觸的第一個案例肯定也是 wordCount, 本文也想通過這樣一個簡單的例子來講一下一個簡單的 flink 程序是什么樣子的, 讓大家對 fl...
? 本系列叫做 <Flink簡易使用教程>, 目的是記錄自己學(xué)習(xí) flink 的過程,并且把使用flink的方方面面介紹給大家.盡量用簡單的話把使用方法說清楚,在使用某...