本文記錄使用promethes、grafana監(jiān)控告警Hadoop服務的過程，文末附上grafana dashboard配置，有需要的下載后對應修改即可使用，不要再去csdn...
發(fā)簡信
IP屬地：湖北
-
promethues+grafana監(jiān)控hadoop服務 -
tez on yarn配置任務優(yōu)先級一、現狀當前yarn上任務只有隊列間的資源搶占，隊列內缺乏任務優(yōu)先級配置，因此所有任務的優(yōu)先級都是默認的，默認優(yōu)先級的配置通過此參數配置yarn.scheduler.capa...
-
使用antlr4解析clickhouse sql獲取表名
ANTLR是用java實現的一個語言識別器，它通過定義一個要識別目標語言的結構文件（DSL），然后用它的工具將該文件生成為可解析目標語言的java代碼，利用生成的代碼就可對目...
-
structuredstreaming checkpoint source目錄spark2.0的structureStreaming在開啟了checkpoint后會將偏移量記錄到hdfs中，如下為sources的目錄結構，此處研究sources下的子目...
-
spark啟用CBO● RBO (Rule-Based Optimization)RBO使用的規(guī)則是根據經驗形成的，只要按照這個規(guī)則去寫SQL語句，無論數據表中的內容怎樣、數據分布如何，都不會影...
-
yarn任務提交過程源碼分析在Yarn上運行的container包含兩類，一類是ApplicationMaster，這是每個yarn任務啟動的第一個Container；另一類是運行用戶任務的Contai...
-
Alluxio：架構及數據流1 架構 1.1 概述 Alluxio作為大數據和機器學習生態(tài)系統(tǒng)中的一個新的數據訪問層，配置在任何持久性存儲系統(tǒng)(如Amazon S3、Microsoft Azure...
-
一次sparksql問題排查記錄
問題： 在調試一個sparksql左連接查詢時發(fā)現數據結果不正確，經過一天折騰才發(fā)現使用子查詢方式能夠得到正確的結果，分析執(zhí)行計劃發(fā)現第一種寫法的優(yōu)化后的執(zhí)行計劃將wher...
-
Spark-assembly打包遇到的問題背景：項目中需要將常用的幾個spark jar包打包成一個大的jar包，然后將此jar包上傳到hdfs，在提交到y(tǒng)arn時使用參數spark.yarn.jars指向hdfs上...
