本文是為了記錄項目搭建一個可用的 Hbase鏡像的過程，由于項目中還有獨立的kafka和zookeeper， 所以不能使用常見的集成zk的Hbase鏡像，故手動搭建了一個。本...
發(fā)簡信
IP屬地：安徽
-
使用Docker搭建偽分布式Hbase(外置Zookeeper)
-
使用Docker部署Flink大數(shù)據(jù)項目本文是為基于Flink的商品推薦系統(tǒng)所搭建的Docker環(huán)境，目的為了方便體驗項目，一鍵部署項目需要的所有環(huán)境，并預(yù)填充所需要的數(shù)據(jù)。完整的環(huán)境包括Zookeeper 、Ka...
-
flink使用16-正確打包Flink程序并使用Cli提交任務(wù)
本文的計劃是使用正確的maven插件打包當(dāng)前教程代碼庫batch模塊下的WordCount代碼，并通過命令行的方式提交到Flink來啟動任務(wù)。WordCount類即為Flin...
-
使用Docker部署Kafka時的網(wǎng)絡(luò)應(yīng)該如何配置本文是我在使用Docker部署kafka遇到一些問題之后，在網(wǎng)上看到的一篇比較優(yōu)秀的英文資料Link。借此翻譯一下這篇文章，也幫助自己搞懂在使用Docker時遇到的一些網(wǎng)絡(luò)問...
-
flink使用15-在Flink SQL中連接kafka和mysql
本文主要介紹如何使用 FLink SQL 自己的 DDL語言來構(gòu)建基于 kafka 的表和 基于Mysql 的表，并直接把從 kafka 接過來的 Json 格式的數(shù)據(jù)轉(zhuǎn)換為...
-
flink使用14-使用SQL操作幾種window
Flink SQL 支持三種窗口類型, 分別為 Tumble Windows / HOP Windows 和 Session Windows. 其中 HOP windows ...
-
flink使用13-開始體驗 Flink SQL
SQL API 是 Flink 中最頂級的 API , 它構(gòu)建了 Table API 之上, 也可以方便的和 Table 做轉(zhuǎn)換, 構(gòu)建 SQL 所使用的Environmen...
-
flink使用12-用 table API 實現(xiàn)WordCount
Table API 是 Flink 構(gòu)建在 DataSet 和 DataStream API 之上的一套結(jié)構(gòu)化編程接口. 本文希望通過一個簡單的 wordCount 的例子首...
-
flink使用11-了解broadcast的用法
在Flink中，同一個算子可能存在若干個不同的并行實例，計算過程可能不在同一個Slot中進行，不同算子之間更是如此，因此不同算子的計算數(shù)據(jù)之間不能像Java數(shù)組之間一樣互相訪...
-
flink使用10-通過Bulk iterator計算圓周率
迭代處理是批量處理處理中的常見操作, Flink 的 迭代計算支持兩種模式, 分別是 Bulk Iteration (全量迭代計算) 和 Delt Iteration (增量...
-
flink使用09-DataSet初體驗之通過Inputformat構(gòu)建dataSet
Flink 提供了一套 DataSet 的 API 來做批處理. 其實 DataSet 的使用方法還是和 DataStream 很相似的, 本章主要是先簡單的說一下 Data...
-
flink使用08-在dataStream中使用AsyncFunction
在流式處理的過程中, 在中間步驟的處理中, 如果涉及到一些費事的操作或者是外部系統(tǒng)的數(shù)據(jù)交互, 那么就會給整個流造成一定的延遲. 在 flink 的 1.2 版本中引入了 A...
-
flink使用07-通過join合并流的操作
Flink 中支持窗口上的多流合并, 需要保證的是輸入的 stream 要構(gòu)建在相同的 Window 上, 并使用相同類型的 Key 作為關(guān)聯(lián)條件.代碼如下所示, 先通過 j...
-
flink使用06-如何處理窗口內(nèi)的數(shù)據(jù)
上一節(jié)主要是大致介紹了下 flink 的窗口組成, 以及如何去劃分窗口的. 那么這一篇文章主要是對剩下的內(nèi)容做一下總結(jié), 說一下如何對窗口內(nèi)的數(shù)據(jù)做處理. Window Fu...
-
flink使用05-窗口簡介和簡單的使用
窗口是流式計算中非常重要的一個概念, 很多常見的功能都是通過各種窗口實現(xiàn)的, 比如每5分鐘統(tǒng)計一下剛?cè)?小時的熱度. Flink DataStream API 將窗口獨立成 ...
-
flink使用04-幾種時間概念和watermark時間概念 在做實時計算的時候, 首先就需要搞清楚一個問題, 這個實時到底是怎么樣的一個時間概念. 在 Flink 中, 總共有3種時間概念, 分別是 事件時間 ( Event...
-
flink使用03-數(shù)據(jù)輸入的幾種不同方法
flink的數(shù)據(jù)輸入源主要分為兩大類: 1. 內(nèi)置數(shù)據(jù)源 集合數(shù)據(jù)源可以將數(shù)組或者集合作為 flink 的數(shù)據(jù)源,分別有不同的方法可以使用, 這種方式比較適合本地調(diào)試使用//...
-
flink使用02-從WordCount開始
相信大家在學(xué)習(xí)spark的時候接觸的第一個案例肯定也是 wordCount, 本文也想通過這樣一個簡單的例子來講一下一個簡單的 flink 程序是什么樣子的, 讓大家對 fl...
-
flink使用01-本系列簡介
? 本系列叫做 <Flink簡易使用教程>, 目的是記錄自己學(xué)習(xí) flink 的過程,并且把使用flink的方方面面介紹給大家.盡量用簡單的話把使用方法說清楚,在使用某...