發(fā)簡(jiǎn)信
IP屬地：福建
-
Flink任務(wù)日志寫(xiě)到kafka【最新1.12，1.13】
這篇文章如果對(duì)你有幫助，記得點(diǎn)贊哦！有問(wèn)題也可以給我評(píng)論~ 一、背景 公司的日志希望能夠同一到一個(gè)Kibana去做一個(gè)同一的展示，那就需要將任務(wù)...
-
最簡(jiǎn)單的clickhouse監(jiān)控 —— grafana監(jiān)控
一、簡(jiǎn)介 本文這種clickhouse的監(jiān)控方式只需要用到一個(gè)組件—— grafana，只需要兩個(gè)步驟就可完成監(jiān)控，第一個(gè)步驟給grafana安...
-
解決flink消費(fèi)kafka過(guò)期數(shù)據(jù)和目前存量數(shù)據(jù)的計(jì)算（未來(lái)的方向）背景： 目前公司業(yè)務(wù)需要統(tǒng)計(jì)超過(guò)7天以上的特征統(tǒng)計(jì)，但是kafka只存7天的數(shù)據(jù)，如果只想通過(guò)flink sql去計(jì)算30天的用戶(hù)特征要求當(dāng)天生...
-
java.io.FileNotFoundException: File does not exist: hdfs://xxx
一、產(chǎn)生問(wèn)題背景 我們公司正在準(zhǔn)備從cdh遷回社區(qū)版hadoop集群，啟動(dòng)flink任務(wù)的時(shí)候，還未運(yùn)行就直接報(bào)錯(cuò)： 二、定位問(wèn)題及解決 通過(guò)去...
-
Hadoop和hive-exec-3.1.2的Guava的版本沖突導(dǎo)致Flink任務(wù)啟動(dòng)異常一、背景 1、出現(xiàn)異常 公司準(zhǔn)備從CDH遷回社區(qū)版Hadoop集群，直接把Hadoop升級(jí)為比較新的3.30版本，Hive升級(jí)為3.12版本。F...
-
HDFS & Yarn 即Hadoop by Jmx on Promethues + Grafana的監(jiān)控（三） —— Grafana的Dashboard配置（以 Yarn 為例）一、整體效果 Yarn的監(jiān)控最主要是能看到目前活躍的ResourceManager，同時(shí)能夠顯示目前的Nodemanager的活躍情況。其次是能...
-
HDFS & Yarn 即Hadoop by Jmx on Promethues + Grafana的監(jiān)控（二） —— Promethues數(shù)據(jù)源配置
注意：如果還未安裝Promethues，參考HDFS & Yarn on Promethues + Grafana的監(jiān)控（一） —— Prome...
-
HDFS & Yarn 即Hadoop by Jmx on Promethues + Grafana的監(jiān)控（一） —— Promethues的安裝一、安裝Go環(huán)境 因?yàn)镻romethues是用go語(yǔ)言開(kāi)發(fā)，所以要先安裝一個(gè)go環(huán)境 1、下載安裝包地址： Linux ：go1.8.3.lin...
-
Flink Sql on Hive 的生產(chǎn)遇到的坑以及優(yōu)化（持續(xù)更新 ...）
1、HiveSource-xxxx.xxxx's parallelism (200) is higher than the max parall...