發(fā)簡信
IP屬地：福建
-
Flink任務(wù)日志寫到kafka【最新1.12，1.13】
這篇文章如果對你有幫助，記得點(diǎn)贊哦！有問題也可以給我評論~ 一、背景 公司的日志希望能夠同一到一個Kibana去做一個同一的展示，那就需要將任務(wù)...
-
最簡單的clickhouse監(jiān)控 —— grafana監(jiān)控
一、簡介 本文這種clickhouse的監(jiān)控方式只需要用到一個組件—— grafana，只需要兩個步驟就可完成監(jiān)控，第一個步驟給grafana安...
-
解決flink消費(fèi)kafka過期數(shù)據(jù)和目前存量數(shù)據(jù)的計算（未來的方向）背景： 目前公司業(yè)務(wù)需要統(tǒng)計超過7天以上的特征統(tǒng)計，但是kafka只存7天的數(shù)據(jù)，如果只想通過flink sql去計算30天的用戶特征要求當(dāng)天生...
-
java.io.FileNotFoundException: File does not exist: hdfs://xxx
一、產(chǎn)生問題背景 我們公司正在準(zhǔn)備從cdh遷回社區(qū)版hadoop集群，啟動flink任務(wù)的時候，還未運(yùn)行就直接報錯： 二、定位問題及解決 通過去...
-
Hadoop和hive-exec-3.1.2的Guava的版本沖突導(dǎo)致Flink任務(wù)啟動異常一、背景 1、出現(xiàn)異常 公司準(zhǔn)備從CDH遷回社區(qū)版Hadoop集群，直接把Hadoop升級為比較新的3.30版本，Hive升級為3.12版本。F...
-
HDFS & Yarn 即Hadoop by Jmx on Promethues + Grafana的監(jiān)控（三） —— Grafana的Dashboard配置（以 Yarn 為例）一、整體效果 Yarn的監(jiān)控最主要是能看到目前活躍的ResourceManager，同時能夠顯示目前的Nodemanager的活躍情況。其次是能...
-
HDFS & Yarn 即Hadoop by Jmx on Promethues + Grafana的監(jiān)控（二） —— Promethues數(shù)據(jù)源配置
注意：如果還未安裝Promethues，參考HDFS & Yarn on Promethues + Grafana的監(jiān)控（一） —— Prome...
-
HDFS & Yarn 即Hadoop by Jmx on Promethues + Grafana的監(jiān)控（一） —— Promethues的安裝一、安裝Go環(huán)境 因為Promethues是用go語言開發(fā)，所以要先安裝一個go環(huán)境 1、下載安裝包地址： Linux ：go1.8.3.lin...
-
Flink Sql on Hive 的生產(chǎn)遇到的坑以及優(yōu)化（持續(xù)更新 ...）
1、HiveSource-xxxx.xxxx's parallelism (200) is higher than the max parall...