命令/data/shsnc/hadoop/bin/hdfs oev -i edits_0000000000550131618-0000000000550638017 -o t...
IP屬地：廣東
-
查看hdfs的edits文件 -
JavaApi YarnClient設(shè)置超時(shí)時(shí)間概述Hadoop版本3.4.1, 使用YarnClient時(shí)因?yàn)楸镜貨]有配置host映射導(dǎo)致報(bào)錯(cuò), 但是接口一直阻塞無(wú)返回, 如獲取Application狀態(tài), 列表, 詳情...
-
Kibana8.x安裝認(rèn)證進(jìn)入到elasticsearch的安裝目錄, 重置kibana登錄用戶的密碼,執(zhí)行bin/elasticsearch-reset-password -u kibana_sys...
-
Hadoop3.4.x使用JDK17啟動(dòng)和Flink提交修改./etc/hadoop/hadoop-env.sh 如果不加上--add-opens, ResourceManager啟動(dòng)是會(huì)報(bào)錯(cuò)ClassFormatError ac...
-
Grafana接入Elasticsearch數(shù)據(jù), 折線命名折線命名 點(diǎn)擊漏斗 -> Add field override -> Fields with name -> Add override property -> 選擇Displ...
-
Flink Batch讀取多個(gè)Hdfs文件代碼 如若需要加載hdfs的配置, 則需要將core-site.xml和hdfs-site.xml的內(nèi)容加載到Flink的Configuration 中, hadoop相關(guān)的...
-
Grafana Mysql毫秒值(13位數(shù)值)曲線配置表結(jié)構(gòu) SQL 使用自定義的sql, time和metric是內(nèi)定的別名, 會(huì)自動(dòng)渲染曲線圖,這里使用內(nèi)置變量$__from和$__to來(lái)篩選時(shí)間 SQL不正確時(shí)的現(xiàn)象 1....
-
Hadoop開啟Kerberos(開源版本)注意事項(xiàng): JDK版本: JDK 1.8_261+ 所有的Hadoop機(jī)器和kerberos的客戶端都需要高于該版本, 否則可能會(huì)報(bào)錯(cuò)java KrbException: M...
-
hadoop 3.1.3 HA 配置 kerberos
core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml ssl-server.xml capacity-sched...
-
Grafana Clickhouse插件安裝和使用背景 想對(duì)clickhouse做一些簡(jiǎn)單的監(jiān)控， 但是因?yàn)樯a(chǎn)環(huán)境網(wǎng)絡(luò)原因無(wú)法放通， 無(wú)法使用自帶的監(jiān)控， 所以使用Grafana的方式來(lái)接入 版本下載 Grafana OS...
-
Flink提交記錄和運(yùn)行日志刪除腳本手動(dòng)清理 運(yùn)行日志自動(dòng)清理 開啟yarn的日志聚合, 設(shè)置合理的過(guò)期天數(shù) 開啟histrory server的進(jìn)程, 用來(lái)清理歷史數(shù)據(jù)
-
達(dá)夢(mèng)數(shù)據(jù)庫(kù)查看表/索引, BEGIN語(yǔ)法使用注意: 達(dá)夢(mèng)系統(tǒng)表中的數(shù)據(jù)是大寫的, 包括Schema/索引/表名, 所以在查詢表和索引時(shí)需要轉(zhuǎn)換為大寫來(lái)進(jìn)行查詢 統(tǒng)計(jì)索引 (SYS.DBA_INDEXES,DBA_SEG...
-
-
Flink Application腳本提交和常見參數(shù)(On Yarn)啟動(dòng)腳本 如果想共享依賴的jar包或者配置文件, 可以加上下面的參數(shù) 如果有其他的文件需要共享,則在yarn.ship-files中指定, 以分號(hào)隔開, 如-D yarn.s...
-
Hadoop 3.3.6 - Yarn開啟日志聚合背景 yarn的任務(wù)結(jié)束后, 日志無(wú)法查看, Hadoop 3.x之后聚合的目錄固定會(huì)帶上bucket-, 想看看能否通過(guò)配置去掉, 通過(guò)看源碼發(fā)現(xiàn)yarn的新版本兼容了兩種...
-
Flink1.18 streaming快速demo運(yùn)行腳本(Flink On yarn) pom.xml 如果想用低版本的flink運(yùn)行(如1.13.6), 則對(duì)應(yīng)更改依賴的artifactId會(huì)多一個(gè)后綴標(biāo)志scala的版...
-
Clickhouse同一條sql執(zhí)行結(jié)果不同描述和解決 環(huán)境Distributed + MergeTree, 2分片2副本, 4節(jié)點(diǎn) 問題數(shù)據(jù)插入到ck, 每次查詢結(jié)果不大一樣 步驟 查看所有時(shí)鐘是否同步, 經(jīng)排查有一...
-
-
Springboot打包分離lib和config背景 分離lib和config目錄, 更新時(shí)只需要替換到外面的jar即可, 使用spring-boot-maven-plugin會(huì)將所以內(nèi)容全部打包進(jìn)去, 如果src/mai...