問題描述 grafana doris overview 監(jiān)控顯示BE Compaction Score 分?jǐn)?shù)遞增，不穩(wěn)定，正常應(yīng)該是平穩(wěn)為主 解決問題 分析思路：應(yīng)該是數(shù)據(jù)導(dǎo)...
發(fā)簡信
IP屬地：天津
-
doris Cumulative Compaction 版本堆積解決
-
Error: create: failed to create: Request entity too large: limit is 3145728
背景： helm 安裝應(yīng)用helm install dolphinscheduler . -n ds報錯：Error: create: failed to create: R...
-
nfs-client unexpected error getting claim reference: selfLink was empty, can't make reference
背景 k8s安裝nfs-clientk8s version:v1.20.6發(fā)現(xiàn)，pvc全部掛起，pv無法分配,nfs-client-provisioner 報錯 解決 htt...
-
UPGRADE FAILED: failed decoding reader into objects: unable to recognize "": no matches for kind...
問題 應(yīng)用市場報錯提示Failed to install app xdata-plat. Error: UPGRADE FAILED: failed decoding rea...
-
canal 1.1.3 問題column size is not match for table
CanalParseException: column size is not match for table原因：新增字段改變表結(jié)構(gòu)導(dǎo)致如上問題，tsdb已經(jīng)開啟維護(hù)元數(shù)據(jù)...
-
flink1.7.2 升級1.13.6問題集問題1 Caused by: java.lang.NoClassDefFoundError: org/apache/hadoop/mapreduce/jobhistory/E...
-
Paxos、Raft、ZAB、Gossip 分布式一致性算法理解
背景 ZAB、Raft 算法是對Paxos算法的簡化和改進(jìn)，是Paxos算法的變種二者的leader的選舉都需要滿足過半原則，并且寫操作都是由leader發(fā)起共同點：都是共識...
-
kafka marking the coordinator (id rack null) dead for group
問題 flink kafka 設(shè)置自動offset 提交kafka-client 0.11.0.2kafka-broker 1.1.1隔一段時間老報錯如下marking th...
-
spark streaming org.apache.spark.SparkException: ArrayBuffer(java.nio.channels.ClosedChannelExcep...
背景： 一個古老的項目運行了好多年，突然報錯了spark version 1.6.3異常如下 源碼分析 1、在DirectKafkaInputDStream拉取數(shù)據(jù)過程中傳入...
-
clickhouse 版本由20.8.3升級最新版本21.9.4
背景： 初始集群使用的安裝包是altinity提供 現(xiàn)在使用clickhouse官方包進(jìn)行升級 1、準(zhǔn)備安裝包，放入自建的ck-21.9目錄 2、備份配置文件 /etc/cl...
-
TopologySpreadConstraints field is immutable
背景想要重新執(zhí)行 k8s 中的 job 解決job不可重復(fù)執(zhí)行，只能刪除pod，重新執(zhí)行kubectl apply -f *.yaml 參考https://github.c...
-
hbase 數(shù)據(jù)遷移
hbase數(shù)據(jù)遷移前提2套集群的hosts文件內(nèi)容都需要包含對方的主機(jī)地址配置hosts 在源集群所有機(jī)器的hosts中配置目標(biāo)集群的hostname與ip 快照方式 hba...
-
hbase1.3 生產(chǎn)優(yōu)化，scan請求導(dǎo)致get數(shù)據(jù)超時告警，源碼分析
問題分析 思路：分離讀寫scan請求，各種處理各自的源碼內(nèi)部WriteQueues; Queues; ScanQueues; 優(yōu)化參數(shù) hbase.ipc.server.ca...
-
region hbase:meta,,1 is not online，hbase 1.3修復(fù)命令報錯如下 解決 1、查看 hbase 的請求數(shù)量是否過高，查看Request Per Second 并不高，排除熱點問題， 2、檢查表是否存在一致性問題 hbase hbck...
-
hadoop機(jī)架感知配置數(shù)據(jù)balance，datanode stale
前提 hdfs dfsadmin -setBalancerBandwidth 524288000/usr/lib/hadoop-current/sbin/start-bala...
-
hadoop getSplits 源碼分析
問題 mapreduce job 輸入10個180m的文件，生成多少個map job? blocksize=128mminsize=1mmaxsize= 256 m 總結(jié) 一...
-
standby 節(jié)點報錯 Encountered exception loading fsimage 加載fsimage時遇到異常
關(guān)鍵：Encountered exception loading fsimage 加載fsimage時遇到異常排查路徑dfs.namenode.name.dir目錄 解決問題...
-
ambari metric啟動異常問題記錄
上日志 解決1 卸載重裝metric服務(wù),沒用metric 自動生成hbase元數(shù)據(jù)問題和hfile，讓hbase master進(jìn)行接管經(jīng)排查，懷疑是 Ambari Metr...
-
task manager 因為代碼異常等原因端掛了 或者內(nèi)存不足full gc
flink 啟動問題記錄
flink 并行度設(shè)置 優(yōu)先級從低到高排序，排序為api>env>p>file，parallelism不能多與slot個數(shù)，設(shè)置合適的并行度，能提高運算效率 flink 并行...
-
flink sql kafka 解析復(fù)雜json
目的： 從復(fù)雜json中提取關(guān)心的字段數(shù)據(jù)，利用ROW的方式, 可以讓復(fù)雜的json轉(zhuǎn)變?yōu)榭刹僮鞯膕chema,然后可以通過 field as xx.xx.xx來使用vers...
