1.業(yè)務(wù)背景 數(shù)據(jù)處理鏈路 源端：kafka 接入端：ETL 處理端1：服務(wù)1 處理的2：服務(wù)2 存儲端：clickhouse 系統(tǒng)某次升級后，發(fā)現(xiàn)數(shù)據(jù)一直延遲，ETL cp...
發(fā)簡信
IP屬地：湖北
-
一次完整的性能調(diào)優(yōu)過程
-
kafka問題排查常用命令1.積壓問題排查 最常使用的命令： 2.查看某個topic分區(qū)情況 Leader：當前分區(qū)的 Leader 節(jié)點 ID。 Replicas：該分區(qū)的所有副本所在的節(jié)點 ID ...
-
Mariadb數(shù)據(jù)庫CPU高問題排查1.現(xiàn)象 平臺開啟數(shù)據(jù)接入任務(wù)后，發(fā)現(xiàn)CPU一直居高不下，持續(xù)在90%以上 2.排查方式 發(fā)現(xiàn)有很多標簽相關(guān)的sql語句，一直在執(zhí)行。經(jīng)定位發(fā)現(xiàn)是自動標簽相關(guān)的業(yè)務(wù)。停掉相關(guān)...
-
zabbix5.0安裝詳細步驟
1.linux機器配置 yum makecache報錯：Could not retrieve mirrorlist http://mirrorlist.centos.org?...
-
kafka連接TimeoutException問題
kafka連接報錯： 經(jīng)排查，是因為需要配置hosts： 原因是kafka客戶端連接到broker是成功的，但連接到集群后更新回來的集群meta信息是錯誤的即是會返回的是節(jié)點...
-
jprofile使用官方下載：https://www.ej-technologies.com/jprofiler/download[https://www.ej-technologies.com...
-
Redis高可用架構(gòu)1.主從模式 一個Master與若干Slave組成主從關(guān)系，當Slave與Master首次建立連接時，Master向Slave進行全量數(shù)據(jù)復(fù)制，復(fù)制結(jié)束后，再根據(jù)Master...
-
服務(wù)發(fā)現(xiàn)原理及常見問題服務(wù)發(fā)現(xiàn)：為服務(wù)提供自動發(fā)現(xiàn)下游服務(wù)地址列表的能力。 1.注冊與發(fā)現(xiàn) 服務(wù)注冊中心 管理每個服務(wù)的地址列表（注冊） 將某服務(wù)的地址告知調(diào)用者（發(fā)現(xiàn)） 2.可用地址管理 服務(wù)的...
-
MySQL高可用架構(gòu)1.主從模式 正常情況下，只有Master處理寫數(shù)據(jù)請求，同時Master與Slave通過主從復(fù)制技術(shù)保持數(shù)據(jù)一致。當Master發(fā)生故障宕機時，某個Slave會被提升為Ma...
-
LVS + Nginx接入層架構(gòu)LVS作為Nginx集群的四層負載均衡器，可以有效提高Nginx的可擴展性。Nginx作為業(yè)務(wù)HTTP服務(wù)器的七層負載均衡器，能將不同的HTTP URL調(diào)度到不同的業(yè)務(wù)服務(wù)并...
-
LVS接入層技術(shù)以及LVS四種轉(zhuǎn)發(fā)模式LVS（Linux Virtual Server，Linux虛擬服務(wù)器）是一個虛擬的服務(wù)器集群系統(tǒng)，從Linux 2.6開始成為了Linux內(nèi)核的一部分，即LVS運行于操作系...
-
DNS對比HTTP DNS1.DNS DNS維護域名與對應(yīng)IP地址的映射關(guān)系，提供將域名翻譯為IP地址的域名解析功能。 DNS功能 維護域名與多個IP地址的映射關(guān)系 變更IP地址時，僅需在DNS服務(wù)器...
-
Linux虛擬內(nèi)存管理與JVM內(nèi)存reserved/committed含義1.Linux虛擬內(nèi)存管理 當程序運行起來之后就變成了進程，業(yè)務(wù)數(shù)據(jù)結(jié)構(gòu)的引用在進程的視角里全都都是虛擬內(nèi)存地址，因為進程無論是在用戶態(tài)還是在內(nèi)核態(tài)能夠看到的都是虛擬內(nèi)存空間...
-
Java進程內(nèi)存組成1.組成部分 Java內(nèi)存分為兩部分： 堆內(nèi)存堆內(nèi)存由GC垃圾回收期進行管理。 非堆內(nèi)存非堆內(nèi)存包括：Java方法棧、本地方法棧、元空間Metaspace、直接內(nèi)存、代碼緩存...
-
JRaft源碼剖析4-圖解JRaft源碼1.Leader選舉 1.1 預(yù)選舉 1.2 正式選舉 1.3 Leader降級 2.日志復(fù)制 2.1 日志生成 2.2 pipeline機制 2.3 發(fā)送探針 2.4 日志...
-
JRaft源碼剖析4-快照機制
1.為什么引入快照機制？ 快照機制本質(zhì)上也是一種對日志數(shù)據(jù)復(fù)制的優(yōu)化手段。 兩個問題： 1）因為日志數(shù)據(jù)需要落盤存儲，當日志數(shù)據(jù)量大到磁盤空間無法容納時，除了擴容是否還有其它...
-
JRaft源碼剖析3-日志復(fù)制
1.日志復(fù)制原理 Raft 中的日志主要可以分為兩類： 一類是協(xié)議自身運行所生成的日志，例如集群節(jié)點配置變更信息； 另外一類就是用戶向集群提交的指令所生成的日志。 為了讓集群...
-
JRaft源碼剖析2-Leader選舉
1.term 和 logIndex Raft 算法設(shè)計了 term 和 logIndex 兩個屬性，分別用于表示 Leader 節(jié)點的任期，以及集群運行期間接收到的指令對應(yīng)的...
-
JRaft源碼剖析1-節(jié)點啟動過程
1.RpcServer 添加系統(tǒng)自帶的processors。RaftRpcServerFactory#addRaftRequestProcessors() 另外可以注冊自定義...