什么是監(jiān)控告警系統(tǒng)
監(jiān)控告警系統(tǒng)是一個軟件系統(tǒng)，給用戶提供監(jiān)控、告警、通知的功能?？梢杂孟聢D簡單的描述

image.png

監(jiān)控
監(jiān)控系統(tǒng)采集并存儲監(jiān)控對象的一個或者多個指標(biāo)。這里提到了幾個名詞，稍加解釋：
監(jiān)控系統(tǒng)：對下采集一個或者多個監(jiān)控對象的指標(biāo)數(shù)據(jù)并存儲，對上暴露接口供上層做應(yīng)用圖形化展示、告警評估、報表；
監(jiān)控對象：在互聯(lián)網(wǎng)和軟件行業(yè)，可能是服務(wù)器、虛擬機等基礎(chǔ)設(shè)施，也可能是apiserver、消息隊列、數(shù)據(jù)庫等軟件；
監(jiān)控指標(biāo)：監(jiān)控對象的某一特征，例如服務(wù)器的CPU利用率、apiserver的RPS等。一般會周期性的采集，采集方式包括但不限于：Agent主動推送到Server、Server從Agent拉取、Agent發(fā)布Server訂閱等方式，其值跟時間相關(guān)，類似下面的數(shù)據(jù)：

image.png

告警規(guī)則：告警規(guī)則是一個或者多個監(jiān)控指標(biāo)運算表達式。例如：以一分鐘為評估周期，內(nèi)存使用率峰值大于60%；
評估：對所有的告警規(guī)則進行計算；
評估結(jié)果：評估的結(jié)果有三種情況：
滿足：表達式成立。例如：內(nèi)存使用率峰值>60%；
不滿足：表達式不成立。例如：內(nèi)存使用率峰值<=60%;
數(shù)據(jù)不足：采集的數(shù)據(jù)無法支撐表達式的計算。例如最近一分鐘內(nèi)沒有采集到內(nèi)存使用率的數(shù)據(jù)
通知
大多數(shù)監(jiān)控告警系統(tǒng)，會把告警評估后的動作并入告警的范疇，動作可以是執(zhí)行某個操作，但更多的情況是通知某對象，由某對象來執(zhí)行具體的操作。通知模塊負責(zé)將告警評估的結(jié)果發(fā)布出去，涉及到幾個關(guān)鍵部分：
發(fā)布方式：以何種方式發(fā)布？例如：電視墻、大屏、短信、企業(yè)微信、郵件、電話、報警鈴聲等等
發(fā)布范圍：發(fā)布的范圍？例如：手機或者郵件的收件人列表
為什么需要監(jiān)控告警系統(tǒng)
監(jiān)控告警的作用：

監(jiān)控告警系統(tǒng)2.png

圖中監(jiān)控告警系統(tǒng)的使用者包括：
運維人員：人力時代主要的用戶。接受到監(jiān)控告警系統(tǒng)的通知后處理告警，根據(jù)需要查看監(jiān)控數(shù)據(jù)，并恢復(fù)監(jiān)控對象的故障；
研發(fā)人員：根據(jù)告警、監(jiān)控報表分析系統(tǒng)問題，指定優(yōu)化方案，提升監(jiān)控對象的可用性；
智能運維系統(tǒng)：根據(jù)告警信息調(diào)整監(jiān)控對象，調(diào)整的方法可能有：
根據(jù)負載彈性伸縮
故障隔離
故障恢復(fù)等
總結(jié)起來包括以下兩個方面：
提升系統(tǒng)可用性
改善用戶體驗
提升系統(tǒng)可用性
從上述公式可以看出，想要提升系統(tǒng)可用性，無外乎兩個辦法：
提升MTBF，即提升系統(tǒng)可靠性，讓系統(tǒng)盡可能長時間穩(wěn)定運行不出故障。監(jiān)控告警系統(tǒng)的報表可以幫助研發(fā)人員分析系統(tǒng)存在的問題，不斷改進，以提升可靠性；
降低MTTR，即減少故障修復(fù)時間，讓故障快速恢復(fù)。監(jiān)控告警系統(tǒng)從兩個方面助力：
發(fā)現(xiàn)故障并告知智能運維系統(tǒng)自動擴容、自動恢復(fù)以應(yīng)對過載、故障等情況；
對于沒有智能運維系統(tǒng)或者智能運維系統(tǒng)無法處理的情況及時發(fā)現(xiàn)故障并知會相關(guān)人修復(fù)。
改善用戶體驗

監(jiān)控告警系統(tǒng)3.png