這是面試中經(jīng)常問的一個(gè)場景題，主要考察研發(fā)的過往經(jīng)驗(yàn)積累，需要系統(tǒng)性地回答，不能籠統(tǒng)簡單敷衍。以下是整理的相關(guān)內(nèi)容
1.排查思路總覽
2.方法論
面試問到這個(gè)問題，面試官其實(shí)想聽到一些方法論的東西，并不想了解零零散散的排查過程。需要重點(diǎn)關(guān)注的點(diǎn)包括：
- 結(jié)合業(yè)務(wù)場景（大促、雙11促銷、業(yè)務(wù)高峰期等）給出具體排查過程
- 在闡述理論的同時(shí)，需結(jié)合工具的使用（Arthas、SkyWalking、Prometheus、Grafana等）
- 補(bǔ)充后續(xù)優(yōu)化方案，如熔斷、壓測、方案如何實(shí)施等
3.具體排查步驟
3.1 問題定位
（1）定位問題的范圍
- 確認(rèn)是單個(gè)接口還是整體系統(tǒng)響應(yīng)慢
- 是持續(xù)性問題還是突發(fā)性問題
- 是否與特定時(shí)間段（如流量高峰期）相關(guān)
- 是否與特定業(yè)務(wù)場景或請求參數(shù)相關(guān)
（2）監(jiān)控告警
查看APM系統(tǒng)（如SkyWalking、Prometheus）的接口響應(yīng)時(shí)間、錯誤率、QPS等指標(biāo)，確認(rèn)是否全局性異?；騿螌?shí)例問題。
（3）鏈路追蹤
使用分布式鏈路系統(tǒng)（如SkyWalking）追蹤請求全鏈路，識別耗時(shí)環(huán)節(jié)（如數(shù)據(jù)庫查詢、RPC調(diào)用）。
示例：發(fā)現(xiàn)某互動玩法接口因Redis集群節(jié)點(diǎn)故障導(dǎo)致緩存讀取延遲。
（4）日志分析
檢查錯誤日志（ELK Stack），重點(diǎn)關(guān)注慢查詢?nèi)罩?、線程阻塞、異常堆棧。如：通過grep "Timeout" application.log過濾超時(shí)請求。
3.2 網(wǎng)絡(luò)、中間件、外部依賴排查
（1）網(wǎng)絡(luò)層排查
- 延遲檢測：ping/traceroute確認(rèn)機(jī)房內(nèi)網(wǎng)延遲，排查跨可用區(qū)調(diào)用，有監(jiān)控可看監(jiān)控
- 丟包率：tcpdump抓包分析重傳率，優(yōu)化Nginx的keepalive_timeout。查看網(wǎng)絡(luò)監(jiān)控看板獲取丟包率
（2）中間件排查
- Redis：redis-cli --latency檢測集群響應(yīng)時(shí)間，排查大Key/熱Key，檢查Redis集群的緩存命中率，連接數(shù)監(jiān)控
- RocketMQ：檢查堆積消息（mqadmin consumerProgress），優(yōu)化消費(fèi)者并發(fā)度。
- MySQL：SHOW PROCESSLIST定位慢查詢，用explain分析SQL執(zhí)行計(jì)劃，查看數(shù)據(jù)庫的性能監(jiān)控，CPU使用率
- 外部依賴：檢查調(diào)用外部RPC接口的響應(yīng)時(shí)間
3.3 服務(wù)端性能排查
這一步排查應(yīng)用服務(wù)器本身的資源性能問題，以及代碼邏輯問題
1. 服務(wù)器資源瓶頸分析
- CPU：使用top -H定位高負(fù)載線程，結(jié)合jstack分析線程棧（如死循環(huán)、鎖競爭）。
- 內(nèi)存：通過jstat -gcutil觀察GC頻率，jmap排查內(nèi)存泄漏（如未釋放的Redis連接池）。
- 磁盤IO：iostat檢查磁盤負(fù)載，優(yōu)化日志寫入策略（如異步刷盤）。
2. JVM調(diào)優(yōu)
- GC策略：高并發(fā)場景優(yōu)先選用G1，調(diào)整MaxGCPauseMillis控制停頓時(shí)間。
- 堆外內(nèi)存：檢查Netty等框架的DirectBuffer泄漏（Native Memory Tracking）
3.代碼邏輯排查
- 檢查是否存在不合理代碼邏輯：循環(huán)查詢數(shù)據(jù)庫、同步調(diào)用多個(gè)外部接口等
4.優(yōu)化方案
通過上述過程定位到響應(yīng)慢的原因，接著就是如何進(jìn)行優(yōu)化了，從以下角度進(jìn)行優(yōu)化：
代碼層面優(yōu)化（鎖競爭優(yōu)化、異步處理、批量處理）
數(shù)據(jù)庫優(yōu)化（索引優(yōu)化、SQL改寫、分庫分表）
緩存策略優(yōu)化（多級緩存、大促前預(yù)加載熱點(diǎn)數(shù)據(jù)）
資源擴(kuò)容（增加服務(wù)器節(jié)點(diǎn)、提升配置）
JVM參數(shù)調(diào)優(yōu)（內(nèi)存分配、GC策略調(diào)整）
中間件參數(shù)調(diào)優(yōu)（連接池大小、超時(shí)時(shí)間）
總結(jié)回答模板示例
在京東高并發(fā)場景下，我會先通過監(jiān)控和鏈路追蹤確定問題邊界。比如某次大促發(fā)現(xiàn)任務(wù)領(lǐng)取接口變慢，追蹤發(fā)現(xiàn)是Redis集群跨機(jī)房訪問延遲導(dǎo)致。
臨時(shí)方案是切換本地緩存，長期優(yōu)化數(shù)據(jù)分片策略。
同時(shí)結(jié)合Arthas定位到線程池配置不合理，調(diào)整后QPS提升40%。
這類問題需要建立常態(tài)化巡檢機(jī)制，比如每周分析慢SQL日志，提前優(yōu)化潛在瓶頸。
