CEP和狀態(tài)機(jī) 狀態(tài)機(jī)的表示和如何作用在流上 Flink中CEP的一般代碼結(jié)構(gòu)如下: 從上面可以看出入口是 一個(gè)一般的DataStream 然后進(jìn)過一個(gè)Pattern, 得到...
發(fā)簡(jiǎn)信
IP屬地：福建
-
Flink對(duì)于CEP的大概實(shí)現(xiàn)
-
@ocean_zhc 不好意思，目前新公司沒有這個(gè)，暫時(shí)沒法解答
最簡(jiǎn)單的clickhouse監(jiān)控 —— grafana監(jiān)控
一、簡(jiǎn)介 本文這種clickhouse的監(jiān)控方式只需要用到一個(gè)組件—— grafana，只需要兩個(gè)步驟就可完成監(jiān)控，第一個(gè)步驟給grafana安裝一個(gè)clickhouse的數(shù)...
-
@38c40424d439 如果1.11的話我之前有遇到j(luò)ar包沖突的情況，所以建議優(yōu)先排除一下日志的jar包是否沖突。
Flink日志配置（基于flink1.11.1）
滾動(dòng)日志的配置 flink日志的配置主要是將配置放在flink/conf下面才起作用下面是我的滾動(dòng)日志的配置，能夠?qū)崿F(xiàn)將過期的日志清掉，只保存最新7份50M的日志。 實(shí)現(xiàn)滾動(dòng)...
-
Amazon AWS 中國(guó)區(qū)的那些"坑"
使用AWS 中國(guó)區(qū)有一段時(shí)間了, 期間踩過了一些坑. 簡(jiǎn)單寫一下, 希望對(duì)別人有幫助.** 文中一些主觀猜測(cè)或者AWS 后續(xù)升級(jí), 如有誤導(dǎo), 敬請(qǐng)見諒. Amazon S...
-
Flink任務(wù)日志寫到kafka【最新1.12，1.13】
這篇文章如果對(duì)你有幫助，記得點(diǎn)贊哦！有問題也可以給我評(píng)論~ 一、背景 公司的日志希望能夠同一到一個(gè)Kibana去做一個(gè)同一的展示，那就需要將任務(wù)的日志寫到kafka。Flin...
-
Java日志系統(tǒng)歷史從入門到崩潰[轉(zhuǎn)]轉(zhuǎn)載: https://segmentfault.com/a/1190000021121882 前言 最早開始擼碼當(dāng)時(shí)就遇到幾次日志jar包沖突的問題，當(dāng)時(shí)也是很煩躁，畢竟了...
-
最簡(jiǎn)單的clickhouse監(jiān)控 —— grafana監(jiān)控
一、簡(jiǎn)介 本文這種clickhouse的監(jiān)控方式只需要用到一個(gè)組件—— grafana，只需要兩個(gè)步驟就可完成監(jiān)控，第一個(gè)步驟給grafana安裝一個(gè)clickhouse的數(shù)...
-
@高源knight 請(qǐng)問你的設(shè)置interval join的兩邊窗口怎么設(shè)置的，如果你設(shè)置小流join大流一天的長(zhǎng)度的話，那大流一天的長(zhǎng)度都會(huì)在，所以當(dāng)天的狀態(tài)都會(huì)無限增長(zhǎng)，你這個(gè)地方是設(shè)置多大
Flink 流流關(guān)聯(lián)( Interval Join)總結(jié)
Flink對(duì)流流JOIN的支持 Flink對(duì)于join的支持有多種支持，可參考 Flink Join類型， 本文主要討論Time interval join支持Table A...
-
關(guān)注公眾號(hào)「大數(shù)據(jù)技術(shù)與數(shù)倉(cāng)」<br>回復(fù)【資料】領(lǐng)取大數(shù)據(jù)視頻與書籍
-
解決flink消費(fèi)kafka過期數(shù)據(jù)和目前存量數(shù)據(jù)的計(jì)算（未來的方向）背景： 目前公司業(yè)務(wù)需要統(tǒng)計(jì)超過7天以上的特征統(tǒng)計(jì)，但是kafka只存7天的數(shù)據(jù)，如果只想通過flink sql去計(jì)算30天的用戶特征要求當(dāng)天生效，這是完不成的，但是看到下面...
-
java.io.FileNotFoundException: File does not exist: hdfs://xxx
一、產(chǎn)生問題背景 我們公司正在準(zhǔn)備從cdh遷回社區(qū)版hadoop集群，啟動(dòng)flink任務(wù)的時(shí)候，還未運(yùn)行就直接報(bào)錯(cuò)： 二、定位問題及解決 通過去修改代碼pom的依賴問題，發(fā)現(xiàn)...
-
Hadoop和hive-exec-3.1.2的Guava的版本沖突導(dǎo)致Flink任務(wù)啟動(dòng)異常一、背景 1、出現(xiàn)異常 公司準(zhǔn)備從CDH遷回社區(qū)版Hadoop集群，直接把Hadoop升級(jí)為比較新的3.30版本，Hive升級(jí)為3.12版本。Flink編譯的是1.12.0版...
-
HDFS & Yarn 即Hadoop by Jmx on Promethues + Grafana的監(jiān)控（三） —— Grafana的Dashboard配置（以 Yarn 為例）一、整體效果 Yarn的監(jiān)控最主要是能看到目前活躍的ResourceManager，同時(shí)能夠顯示目前的Nodemanager的活躍情況。其次是能夠看到RM和NM的可用內(nèi)存、可...
-
HDFS & Yarn 即Hadoop by Jmx on Promethues + Grafana的監(jiān)控（二） —— Promethues數(shù)據(jù)源配置
注意：如果還未安裝Promethues，參考HDFS & Yarn on Promethues + Grafana的監(jiān)控（一） —— Promethues的安裝 一、配置Pr...
-
HDFS & Yarn 即Hadoop by Jmx on Promethues + Grafana的監(jiān)控（一） —— Promethues的安裝一、安裝Go環(huán)境 因?yàn)镻romethues是用go語(yǔ)言開發(fā)，所以要先安裝一個(gè)go環(huán)境 1、下載安裝包地址： Linux ：go1.8.3.linux-amd64.tar.gz...
