命令/data/shsnc/hadoop/bin/hdfs oev -i edits_0000000000550131618-0000000000550638017 -o t...
IP屬地：廣東
-
查看hdfs的edits文件 -
JavaApi YarnClient設(shè)置超時時間概述Hadoop版本3.4.1, 使用YarnClient時因為本地沒有配置host映射導(dǎo)致報錯, 但是接口一直阻塞無返回, 如獲取Application狀態(tài), 列表, 詳情...
-
Kibana8.x安裝認證進入到elasticsearch的安裝目錄, 重置kibana登錄用戶的密碼,執(zhí)行bin/elasticsearch-reset-password -u kibana_sys...
-
Hadoop3.4.x使用JDK17啟動和Flink提交修改./etc/hadoop/hadoop-env.sh 如果不加上--add-opens, ResourceManager啟動是會報錯ClassFormatError ac...
-
Grafana接入Elasticsearch數(shù)據(jù), 折線命名折線命名 點擊漏斗 -> Add field override -> Fields with name -> Add override property -> 選擇Displ...
-
Flink Batch讀取多個Hdfs文件代碼 如若需要加載hdfs的配置, 則需要將core-site.xml和hdfs-site.xml的內(nèi)容加載到Flink的Configuration 中, hadoop相關(guān)的...
-
Grafana Mysql毫秒值(13位數(shù)值)曲線配置表結(jié)構(gòu) SQL 使用自定義的sql, time和metric是內(nèi)定的別名, 會自動渲染曲線圖,這里使用內(nèi)置變量$__from和$__to來篩選時間 SQL不正確時的現(xiàn)象 1....
-
Hadoop開啟Kerberos(開源版本)注意事項: JDK版本: JDK 1.8_261+ 所有的Hadoop機器和kerberos的客戶端都需要高于該版本, 否則可能會報錯java KrbException: M...
-
hadoop 3.1.3 HA 配置 kerberos
core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml ssl-server.xml capacity-sched...
-
Grafana Clickhouse插件安裝和使用背景 想對clickhouse做一些簡單的監(jiān)控， 但是因為生產(chǎn)環(huán)境網(wǎng)絡(luò)原因無法放通， 無法使用自帶的監(jiān)控， 所以使用Grafana的方式來接入 版本下載 Grafana OS...
-
Flink提交記錄和運行日志刪除腳本手動清理 運行日志自動清理 開啟yarn的日志聚合, 設(shè)置合理的過期天數(shù) 開啟histrory server的進程, 用來清理歷史數(shù)據(jù)
-
達夢數(shù)據(jù)庫查看表/索引, BEGIN語法使用注意: 達夢系統(tǒng)表中的數(shù)據(jù)是大寫的, 包括Schema/索引/表名, 所以在查詢表和索引時需要轉(zhuǎn)換為大寫來進行查詢 統(tǒng)計索引 (SYS.DBA_INDEXES,DBA_SEG...
-
-
Flink Application腳本提交和常見參數(shù)(On Yarn)啟動腳本 如果想共享依賴的jar包或者配置文件, 可以加上下面的參數(shù) 如果有其他的文件需要共享,則在yarn.ship-files中指定, 以分號隔開, 如-D yarn.s...
-
Hadoop 3.3.6 - Yarn開啟日志聚合背景 yarn的任務(wù)結(jié)束后, 日志無法查看, Hadoop 3.x之后聚合的目錄固定會帶上bucket-, 想看看能否通過配置去掉, 通過看源碼發(fā)現(xiàn)yarn的新版本兼容了兩種...
-
Flink1.18 streaming快速demo運行腳本(Flink On yarn) pom.xml 如果想用低版本的flink運行(如1.13.6), 則對應(yīng)更改依賴的artifactId會多一個后綴標志scala的版...
-
Clickhouse同一條sql執(zhí)行結(jié)果不同描述和解決 環(huán)境Distributed + MergeTree, 2分片2副本, 4節(jié)點 問題數(shù)據(jù)插入到ck, 每次查詢結(jié)果不大一樣 步驟 查看所有時鐘是否同步, 經(jīng)排查有一...
-
-
Springboot打包分離lib和config背景 分離lib和config目錄, 更新時只需要替換到外面的jar即可, 使用spring-boot-maven-plugin會將所以內(nèi)容全部打包進去, 如果src/mai...