2020年第一次上線總結(jié)

項目 內(nèi)容 描述
上線目的 服務(wù)遷移 服務(wù)從阿里云遷移至華為云
上線時間 兩次上線 服務(wù)上線：
2019-12-07
00:00-08:00
流量切換：
2020-01-10
00:00-08:00
環(huán)境設(shè)計 服務(wù)結(jié)構(gòu) 調(diào)整了服務(wù)部署結(jié)構(gòu)，滿足了高可用
增加了全領(lǐng)域監(jiān)控覆蓋和告警
調(diào)整了資源分配，提高了利用率
數(shù)據(jù)服務(wù)改用RDS、DDS和Redis服務(wù)
MongoDB去掉了分片
上線準備 CI/CD流程 重新構(gòu)建了完整的CI/CD流程，以及發(fā)版通道。
上線準備 功能測試 在測試環(huán)境、類生產(chǎn)環(huán)境和新生產(chǎn)環(huán)境
均完成了至少一輪功能測試。
上線準備 性能測試 生產(chǎn)環(huán)境完成了基礎(chǔ)性能測試。
上線準備 上線計劃 設(shè)計了環(huán)境熟悉和重建計劃
測試上線計劃
線上切流計劃。
上線準備 人員保證 三個階段都完成人員分配
所有人均明晰了各自的職責(zé)
最后的流程還配備了后備人員。
上線準備 過程預(yù)演 預(yù)演了配置層面的切流全過程
異常處置 切流時異常 單場景緩慢
人員希望可以撤離
揪住查看發(fā)現(xiàn)是MongoDB查詢慢
增加索引解決
最終上線結(jié)果 基本成功 有一臺服務(wù)器的某個ng配置配置錯誤
導(dǎo)致該請求會轉(zhuǎn)發(fā)至錯誤地址
排查至下午解決
暴露問題 上線流程把控不夠 整個過程已經(jīng)做了所有能做的保障
最后遺留的問題在于問題暴露后沒有足夠的重視
主責(zé)在測試，次責(zé)在運維和主管
改進策略 加強責(zé)任教育
增加最后撤離前的靈魂拷問
確保沒有問題才能離開
增加nginx轉(zhuǎn)發(fā)的可視化驗證機制
總結(jié) 線上無小事
任何一個問題都不應(yīng)該輕易放過
尤其是測試和主管人員
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容