1次生產(chǎn)環(huán)境GC頻繁導(dǎo)致接口出現(xiàn)超過問題的排查經(jīng)過

  1. 機(jī)器負(fù)載分析
    通過 top 命令分析系統(tǒng)負(fù)載,發(fā)現(xiàn) load average = 1.5 左右,但是機(jī)器是4核的,所以負(fù)載并不高

  2. 找到對應(yīng)服務(wù)進(jìn)程中使用 cpu 最高的線程

    top -Hp 進(jìn)程號


    1563936535057.png
  3. 發(fā)現(xiàn) 3306 這個線程使用 cpu 高達(dá) 88.9%,于是需要分析改線程做了啥

  4. 打印線程棧信息:jstack 進(jìn)程號 > stack.txt


    1563936564770.png
  5. 找到 3306 的線程棧信息
    將 3306 轉(zhuǎn)換為 16進(jìn)制(ceb),然后再輸出的線程棧文件 stack.txt 找下面的信息,"VM Thread" 是JVM的線程,懷疑是GC 線程。


    1563937807459.png
  6. 分析 GC 詳情

    jstat -gcutil 進(jìn)程號 1000 5(其中1000是每隔1s收集,5是收集次數(shù))

    發(fā)現(xiàn) O(老年代)一直經(jīng)過 FGC 后沒有降多少,還處于高于98%的情景,所以得出老代碼的堆內(nèi)存不夠用

    jstat -gcutils 3282 1000 5

    S0 S1 E O M CCS YGC YGCT FGC FGCT GCT 17.46 0.00 100.00 98.68 97.39 95.20 8942 258.342 26486 2041.388 2299.730 30.46 0.00 100.00 98.68 97.39 95.20 8942 258.342 26486 2041.388 2299.730 35.89 0.00 100.00 98.68 97.39 95.20 8942 258.342 26487 2041.431 2299.773 42.65 0.00 100.00 98.68 97.39 95.20 8942 258.342 26488 2041.516 2299.858 51.34 0.00 100.00 98.20 97.39 95.20 8942 258.342 26488 2041.516 2299.858

  7. 增大老年代的堆內(nèi)存,重啟

    以前的配置:-Xmx1536m -Xms1536m -Xmn800m

    更改后的配置:-Xmx1536m -Xms1536m -Xmn512m

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 文:羊紫 01、何為復(fù)盤? 復(fù)盤,這個詞,還是我在剽悍一只貓的年度分享中第一次聽到,他反復(fù)強(qiáng)調(diào):復(fù)盤很重要!復(fù)盤很...
    薇風(fēng)拾語閱讀 518評論 8 4
  • 下午五點半左右,老公準(zhǔn)備騎電車出去,說是有朋友約了六點一起喝酒。我勸阻道:“這么冷的天別騎車了,開車吧?!?..
    郁金香_042e閱讀 608評論 0 3
  • 今日無話,唯溝通爾!親朋好友,客戶伙伴,無一不是。說話的技巧溝通的本事。
    孤狼嘯月_閱讀 132評論 0 0
  • 上期最后說到如果逍遙只是屈從于動物本能,那我們在這里這里焚膏繼晷、皓首窮經(jīng)難道說到底只是無用功嗎?莊子本人還真有過...
    散翎閱讀 574評論 1 5

友情鏈接更多精彩內(nèi)容