背景:當(dāng)天發(fā)布了一版新功能,結(jié)果晚上20:00后出現(xiàn)了車輛自動人工提醒偏離線路報警,但是這個車輛并沒有綁定任何線路,潛江的客服也沒有人工操作過。一直自動報警持續(xù)出現(xiàn),沒有任何規(guī)律,不只是一臺車。
嚴(yán)重性:驚動CEO,對我們平臺的穩(wěn)定性質(zhì)疑,也沒有立馬處理好,導(dǎo)致客服妹妹背鍋了,研發(fā)和客服互相懟。
處理:研發(fā)緊急查詢后臺線路設(shè)置,沒有綁定車輛,客服主管查詢監(jiān)控,當(dāng)時客服也沒有操作電腦;日志登陸記錄也沒有外地IP登陸,系統(tǒng)登錄記錄只記錄了一個潛江位置IP,無法定位到每個電腦。最后沒有查到原因;擔(dān)心有外部人員掌握平臺密碼,我緊急重置了密碼,同時讓研發(fā)清理緩存,告知客服使用新密碼登錄,夜班要交接給百班。23:00之后之后就沒有收到人工處理的線路偏離警情了
復(fù)盤分析:
產(chǎn)生的原因:研發(fā)發(fā)版本的時候,緩存沒有清理,導(dǎo)致系統(tǒng)自動啟動某些服務(wù)。且日志記錄不夠精準(zhǔn),無法記錄每臺電腦的IP,還有操作內(nèi)容。
后續(xù)類似與這樣的事情兩方面考慮:
1、日志這個東西要規(guī)劃出解決方案—產(chǎn)品拿出
2、遇到系統(tǒng)問題回滾方案要建立起來。
3、版本發(fā)布緩存清理。

圖片發(fā)自簡書App

圖片發(fā)自簡書App

圖片發(fā)自簡書App

圖片發(fā)自簡書App

圖片發(fā)自簡書App

圖片發(fā)自簡書App

圖片發(fā)自簡書App

圖片發(fā)自簡書App

圖片發(fā)自簡書App