本文探討了隨著 IT 技術(shù)的發(fā)展，現(xiàn)代化可觀測性平臺對復(fù)雜分布式系統(tǒng)的必要性，并分析了相關(guān)挑戰(zhàn)和新興趨勢，包括 AI、云原生技術(shù)、高級數(shù)據(jù)可視化技術(shù)。并討論了如何構(gòu)建現(xiàn)代化可觀測性平臺，及其對組織戰(zhàn)略決策和創(chuàng)新的影響。本系列共 3 篇文章，這是第 2 篇。原文: Modernizing Observability Platforms — Part 1

前言

在可觀測性平臺現(xiàn)代化系列的第 1 部分中，我們深入探討了基本原理，探索了不斷發(fā)展的 IT 環(huán)境、新興技術(shù)以及現(xiàn)代可觀測性平臺的關(guān)鍵作用。在第 2 部分中，我們將重點(diǎn)轉(zhuǎn)向更細(xì)化的視角，深入探討復(fù)雜 IT 環(huán)境中支撐高效可觀測性的具體模式、原則和實(shí)踐。

本文旨在解讀在可觀測性平臺中推動高效數(shù)據(jù)收集、分析和響應(yīng)的復(fù)雜模式，將探討指導(dǎo)任何可觀測性戰(zhàn)略的關(guān)鍵原則，確保系統(tǒng)不僅強(qiáng)大、全面，而且適應(yīng)性強(qiáng)、以用戶為中心。同時(shí)，我們還將討論最佳實(shí)踐，為有效實(shí)施這些原則和模式提供真知灼見。

此外，還應(yīng)認(rèn)識到集成平臺架構(gòu)決策的重要性。因此，我們將剖析塑造現(xiàn)代化可觀測性平臺架構(gòu)的關(guān)鍵決策，在技術(shù)能力與實(shí)踐考量之間取得平衡。

本質(zhì)上講，第 2 部分是對可觀測性平臺操作核心的深入探討，旨在分享構(gòu)建、增強(qiáng)和維護(hù)系統(tǒng)的知識，這些系統(tǒng)不僅高效、有彈性，而且符合該領(lǐng)域最新趨勢和最佳實(shí)踐。

1. 深度可觀測性模式

在第 1 部分打下堅(jiān)實(shí)基礎(chǔ)后，了解構(gòu)成高效可觀測性平臺支柱的具體模式至關(guān)重要。本部分將深入探討這些模式，每種模式對于全面監(jiān)控和管理 IT 環(huán)境都至關(guān)重要。

1. 日志聚合模式

• 集中式日志管理與分散式日志管理：集中式日志管理可將不同來源的日志整合到一個(gè)位置，從而提高可訪問性和分析能力。相比之下，分散式管理將日志保留在其原始位置，需要更復(fù)雜的聚合策略，但可能提供更好的可擴(kuò)展性和容錯(cuò)性。

• 結(jié)構(gòu)化日志格式：與純文本相比，結(jié)構(gòu)化日志使用 JSON 或 XML 等格式，更易于解析和分析。通過對不同系統(tǒng)和應(yīng)用的日志格式進(jìn)行標(biāo)準(zhǔn)化，提高了查詢?nèi)罩竞吞崛∮幸饬x見解的能力。

• 日志輪換和保留策略：高效的日志管理涉及歷史數(shù)據(jù)需求與存儲限制之間的平衡。日志輪換（在創(chuàng)建新日志的同時(shí)歸檔舊日志）和保留策略（確定日志的保留時(shí)間）對于管理大量數(shù)據(jù)并確保符合監(jiān)管標(biāo)準(zhǔn)至關(guān)重要。

2. 指標(biāo)收集模式

• 時(shí)間序列數(shù)據(jù)處理：處理時(shí)間序列數(shù)據(jù)涉及存儲和分析隨時(shí)間變化的指標(biāo)，如 CPU 使用率或響應(yīng)時(shí)間。高效的處理可實(shí)現(xiàn)趨勢分析和異常檢測。

• 聚合和匯總技術(shù)：這些技術(shù)可以減少需要存儲和處理的數(shù)據(jù)量。匯總涉及創(chuàng)建緊湊的數(shù)據(jù)表示方式，而聚合則是將多個(gè)數(shù)據(jù)點(diǎn)合并為一個(gè)指標(biāo)。

• 指標(biāo)收集的拉模式與推模式：在 "拉" 模式中，中央系統(tǒng)會定期向服務(wù)器請求數(shù)據(jù)，而在 "推" 模式中，服務(wù)器會在數(shù)據(jù)生成后向中央系統(tǒng)發(fā)送數(shù)據(jù)。每種模式對性能、可擴(kuò)展性和實(shí)時(shí)數(shù)據(jù)可用性都有影響。

3. 分布式跟蹤模式

• 端到端請求跟蹤：包括跟蹤請求通過各種服務(wù)和組件的過程，深入了解分布式架構(gòu)的性能和潛在瓶頸。

• 日志與跟蹤的關(guān)聯(lián)：將日志與分布式跟蹤整合在一起，可增強(qiáng)診斷和理解微服務(wù)架構(gòu)中復(fù)雜交互的能力。

• 微服務(wù)中的跟蹤：微服務(wù)中的跟蹤模式涉及跨服務(wù)邊界的數(shù)據(jù)關(guān)聯(lián)，需要標(biāo)準(zhǔn)化的跟蹤格式和協(xié)議才能有效實(shí)施。

4. 異常檢測和告警模式

• 基于機(jī)器學(xué)習(xí)的異常檢測：利用機(jī)器學(xué)習(xí)算法，通過學(xué)習(xí)正常行為模式和識別偏差，可以更復(fù)雜、更準(zhǔn)確的檢測異常情況。

• 基于閾值的告警與預(yù)測性告警：基于閾值的告警會在指標(biāo)超過預(yù)定義閾值時(shí)觸發(fā)告警，而預(yù)測性告警則使用歷史數(shù)據(jù)和趨勢分析來預(yù)測和預(yù)防問題。

• 減少告警噪音：減少誤報(bào)和無關(guān)告警的技術(shù)對于保持可觀測性系統(tǒng)的有效性和防止告警疲勞至關(guān)重要。

5. 自修復(fù)和自愈模式

• 自動事件響應(yīng)：對常見事件實(shí)施自動響應(yīng)，可大大減少解決時(shí)間和人工干預(yù)。

• 持續(xù)改進(jìn)的反饋回路：系統(tǒng)的設(shè)計(jì)應(yīng)能從事件中吸取教訓(xùn)并不斷調(diào)整，隨著時(shí)間推移不斷改進(jìn)檢測和響應(yīng)機(jī)制。

• 與部署和調(diào)度工具集成：可觀測性應(yīng)與現(xiàn)有 CI/CD 流水線和調(diào)度工具集成，以便主動解決問題，確保順利部署。

本節(jié)將全面介紹現(xiàn)代可觀測性平臺所采用的各種模式，重點(diǎn)是這些模式在高效系統(tǒng)監(jiān)控和管理中的實(shí)際應(yīng)用和集成。

2. 高效可觀測性原則

本節(jié)將概述對構(gòu)建和維護(hù)高效可觀測性平臺至關(guān)重要的核心原則。這些原則對于確保您的可觀測性戰(zhàn)略不僅穩(wěn)健，而且能適應(yīng)不斷變化的技術(shù)環(huán)境至關(guān)重要。

1. 全面監(jiān)測原則

• 覆蓋所有層面：強(qiáng)調(diào)需要跨越基礎(chǔ)設(shè)施、應(yīng)用程序和網(wǎng)絡(luò)等不同層面進(jìn)行監(jiān)控，以便全面了解系統(tǒng)健康狀況。

• 全?？捎^測性：討論對整個(gè)堆棧（從前端到后端，包括第三方服務(wù)）進(jìn)行可視化的重要性。

2. 實(shí)時(shí)分析原理

• 近實(shí)時(shí)數(shù)據(jù)處理：探索近實(shí)時(shí)處理數(shù)據(jù)的必要性，以便快速響應(yīng)事故和性能問題。

• 實(shí)時(shí)儀表盤和報(bào)告：強(qiáng)調(diào)實(shí)時(shí)儀表板在提供持續(xù)洞察力方面的作用，以及實(shí)時(shí)報(bào)告在決策過程中的價(jià)值。

3. 可擴(kuò)展性和靈活性原則

• 縮放策略：詳細(xì)介紹不同的擴(kuò)展方法，包括橫向和縱向擴(kuò)展，以及在各種情況下的適用性。

• 適應(yīng)性架構(gòu)：討論構(gòu)建靈活且能適應(yīng)不斷變化的負(fù)載和要求的可觀測系統(tǒng)的重要性。

4. 可操作性見解原則

• 數(shù)據(jù)到信息的轉(zhuǎn)化：深入探討應(yīng)如何設(shè)計(jì)可觀測性平臺，以便將原始數(shù)據(jù)轉(zhuǎn)化為可操作的信息，從而幫助高效解決問題。

• 自動建議：涵蓋基于分析數(shù)據(jù)的自動洞察和建議的作用，加強(qiáng)決策過程。

本節(jié)旨在全面介紹指導(dǎo)現(xiàn)代可觀測性平臺設(shè)計(jì)、實(shí)施和運(yùn)行的基本原則。遵守這些原則，企業(yè)就能確保其可觀測性系統(tǒng)有效、高效、面向未來。

3. 實(shí)施可觀測性平臺最佳實(shí)踐

本節(jié)將重點(diǎn)介紹對有效實(shí)施和管理可觀測性平臺至關(guān)重要的最佳實(shí)踐。這些實(shí)踐旨在確保平臺的安全性、與現(xiàn)有系統(tǒng)無縫集成以及用戶友好性。

1. 確保數(shù)據(jù)安全和隱私

• 加密協(xié)議：強(qiáng)調(diào)對傳輸中和靜態(tài)數(shù)據(jù)使用強(qiáng)大加密功能以保護(hù)敏感信息的重要性。

• 遵守標(biāo)準(zhǔn)：討論與 GDPR、HIPAA 等監(jiān)管標(biāo)準(zhǔn)保持一致的必要性，以確保數(shù)據(jù)隱私和安全。

2. 與現(xiàn)有系統(tǒng)無縫集成

• API 優(yōu)先設(shè)計(jì)：強(qiáng)調(diào)采用 API 優(yōu)先方法的重要性，以便與各種系統(tǒng)和技術(shù)輕松集成。

• 傳統(tǒng)系統(tǒng)兼容性：解決將可觀測性平臺與傳統(tǒng)系統(tǒng)集成而不中斷現(xiàn)有工作流程的策略。

3. 以用戶為中心的設(shè)計(jì)和無障礙環(huán)境

• 直觀的用戶界面：重點(diǎn)關(guān)注設(shè)計(jì)易于瀏覽的用戶界面的必要性，以促進(jìn)更好的用戶體驗(yàn)。

• 定制和個(gè)性化：討論定制儀表盤和報(bào)告的能力，以滿足組織內(nèi)不同用戶群體的特定需求。

4. 不斷學(xué)習(xí)和改進(jìn)

• 反饋機(jī)制：概述納入反饋機(jī)制以不斷改進(jìn)可觀測性平臺的重要性。

• 適應(yīng)技術(shù)變革：討論使平臺跟上最新技術(shù)和實(shí)踐的策略。

通過遵守最佳實(shí)踐，企業(yè)可確保其可觀測性平臺不僅穩(wěn)健高效，而且符合用戶需求和不斷發(fā)展的技術(shù)環(huán)境。

4. 可觀測性平臺架構(gòu)決策

本節(jié)將深入探討影響可觀測性平臺在集成環(huán)境中的有效性和效率的關(guān)鍵架構(gòu)決策。

1. 數(shù)據(jù)存儲和管理

• 選擇數(shù)據(jù)存儲解決方案：討論 SQL 和 NoSQL 數(shù)據(jù)庫之間的選擇，考慮數(shù)據(jù)結(jié)構(gòu)、可擴(kuò)展性和速度等因素。

• 數(shù)據(jù)分區(qū)和索引策略：探索高效數(shù)據(jù)分區(qū)和索引技術(shù)，優(yōu)化查詢性能和數(shù)據(jù)檢索速度。

2. 選擇正確的處理框架

• 流處理與批處理：比較使用流處理進(jìn)行實(shí)時(shí)數(shù)據(jù)分析與使用批處理進(jìn)行大型累積數(shù)據(jù)集分析。

• 選擇處理引擎：深入研究選擇合適處理引擎的標(biāo)準(zhǔn)，考慮處理速度、數(shù)據(jù)量和特定用例等因素。

3. 可擴(kuò)展性和性能的架構(gòu)考慮因素

• 負(fù)載均衡技術(shù)：討論負(fù)載均衡的實(shí)施，以有效管理數(shù)據(jù)流和處理需求。

• 緩存策略：研究緩存策略，以縮短響應(yīng)時(shí)間并減輕數(shù)據(jù)處理基礎(chǔ)設(shè)施的負(fù)荷。

4. 平衡成本與效率

• 經(jīng)濟(jì)高效的存儲解決方案：重點(diǎn)介紹在不影響數(shù)據(jù)可訪問性和保留需求的情況下平衡存儲成本的方法。

• 資源利用優(yōu)化：探索優(yōu)化資源利用的策略，在控制運(yùn)營成本的同時(shí)保持效率。

本節(jié)深入介紹了對集成環(huán)境中可觀測性平臺的性能、可擴(kuò)展性和成本效益有重大影響的架構(gòu)選擇。其目的是指導(dǎo)專業(yè)人員做出符合其具體操作要求和目標(biāo)的明智決策。

5. 堅(jiān)持原則和模式的挑戰(zhàn)

本節(jié)討論組織在實(shí)施前幾節(jié)討論的原則和模式時(shí)可能面臨的各種挑戰(zhàn)。

1. 技術(shù)挑戰(zhàn)

• 數(shù)據(jù)集成的復(fù)雜性：探索整合不同數(shù)據(jù)源和格式的困難，以及處理海量數(shù)據(jù)的復(fù)雜性。

• 性能優(yōu)化：討論優(yōu)化可觀測性平臺性能的挑戰(zhàn)，尤其是在大容量和高速數(shù)據(jù)環(huán)境中。

2. 組織和文化障礙

• 采用阻力：應(yīng)對在說服團(tuán)隊(duì)和個(gè)人采用新的可觀測性工具和實(shí)踐，打破傳統(tǒng)方法方面的挑戰(zhàn)。

• 技能差距：突出團(tuán)隊(duì)中的技能差距問題，強(qiáng)調(diào)需要進(jìn)行現(xiàn)代可觀測性技術(shù)和實(shí)踐方面的培訓(xùn)和教育。

3. 平衡創(chuàng)新與穩(wěn)定

• 整合新技術(shù)：討論在不破壞現(xiàn)有系統(tǒng)的情況下整合新興技術(shù)所面臨的挑戰(zhàn)。

• 保持系統(tǒng)穩(wěn)定性：深入探討在實(shí)施新模式和新實(shí)踐的同時(shí)確保系統(tǒng)穩(wěn)定性所面臨的挑戰(zhàn)。

4. 成本管理

• 預(yù)算限制：探索預(yù)算限制如何限制理想可觀測性解決方案的實(shí)施。

• 投資回報(bào)說明：討論向利益相關(guān)者說明高級可觀測性平臺投資回報(bào)的合理性所面臨的挑戰(zhàn)。

5. 監(jiān)管與合規(guī)問題

• 遵守法規(guī)：應(yīng)對挑戰(zhàn)，確?？捎^測性實(shí)踐符合行業(yè)法規(guī)和標(biāo)準(zhǔn)。

• 數(shù)據(jù)隱私問題：討論在可觀測性中管理數(shù)據(jù)隱私的復(fù)雜性，尤其是在監(jiān)管嚴(yán)格的行業(yè)中。

本節(jié)旨在以現(xiàn)實(shí)眼光來看待企業(yè)在實(shí)現(xiàn)可觀測性平臺現(xiàn)代化的過程中可能遇到的障礙，并就如何應(yīng)對和克服這些挑戰(zhàn)提出見解。

6. 創(chuàng)新和未來方向

本節(jié)將探討可觀測性平臺不斷發(fā)展的前景，重點(diǎn)關(guān)注當(dāng)前的創(chuàng)新并預(yù)測未來的趨勢。

1. 利用新興技術(shù)

• 人工智能和機(jī)器學(xué)習(xí)：討論 AI/ML 在自動數(shù)據(jù)分析、異常檢測和預(yù)測性維護(hù)方面的整合。

• 云原生技術(shù)：探索 Kubernetes 和無服務(wù)器架構(gòu)等云原生技術(shù)如何塑造可觀測性平臺。

2. 對不斷發(fā)展的最佳做法的預(yù)測

• 主動監(jiān)控：預(yù)計(jì)將轉(zhuǎn)向更積極主動的監(jiān)控方法，即系統(tǒng)可在問題發(fā)生前進(jìn)行預(yù)測和預(yù)防。

• 與 DevOps 進(jìn)一步融合：預(yù)測可觀測性與 DevOps 實(shí)踐的進(jìn)一步融合，提高持續(xù)部署和運(yùn)營效率。

3. 注重用戶體驗(yàn)

• 增強(qiáng)可視化工具：預(yù)測數(shù)據(jù)可視化工具的進(jìn)步，使用戶更容易獲取復(fù)雜的數(shù)據(jù)，更便于操作。

• 可定制的交互式儀表盤：預(yù)計(jì)將開發(fā)出更先進(jìn)、更方便用戶使用的儀表盤，以提供更深入的洞察力和互動性。

4. 可觀測性的可持續(xù)性

• 生態(tài)友好型數(shù)據(jù)實(shí)踐：討論可觀測性平臺中可持續(xù)和節(jié)能數(shù)據(jù)實(shí)踐日益增長的重要性。

• 減少碳足跡：探索旨在減少大規(guī)模數(shù)據(jù)處理和存儲對環(huán)境影響的創(chuàng)新技術(shù)。

5. 安全與合規(guī)

• 數(shù)據(jù)安全的進(jìn)步：預(yù)計(jì)將有更新、更強(qiáng)大的安全措施來保護(hù)可觀測性平臺中的敏感數(shù)據(jù)。

• 適應(yīng)監(jiān)管變化：討論可觀測性平臺需要具有靈活性和適應(yīng)性，以符合不斷變化的監(jiān)管標(biāo)準(zhǔn)。

本節(jié)旨在提供前瞻性視角，強(qiáng)調(diào)當(dāng)前創(chuàng)新將如何塑造可觀測性平臺的未來，使其與技術(shù)進(jìn)步、用戶需求和環(huán)境因素保持一致。

結(jié)論

總之，可觀察性平臺現(xiàn)代化系列文章的第 2 部分深入探討了各種模式、原則和實(shí)踐，這些討論對于在當(dāng)今復(fù)雜 IT 環(huán)境中實(shí)現(xiàn)有效的可觀測性至關(guān)重要。

本文深入研究了錯(cuò)綜復(fù)雜的可觀測性模式，了解如何有助于高效監(jiān)控和管理 IT 系統(tǒng)。

概述了高效可觀測性原則，強(qiáng)調(diào)了全面監(jiān)測、實(shí)時(shí)分析、可擴(kuò)展性和可操作見解的必要性。

討論了指導(dǎo)實(shí)施這些原則和模式的最佳實(shí)踐。

還介紹了決定集成平臺效率和效果的關(guān)鍵架構(gòu)決策。

討論了實(shí)施過程中可能出現(xiàn)的挑戰(zhàn)，包括技術(shù)和組織方面的障礙。

最后展望未來，考慮繼續(xù)塑造可觀測性平臺格局的創(chuàng)新和未來趨勢。

這次對可觀測性平臺核心內(nèi)容的探討，旨在為希望建立或加強(qiáng)可觀測性戰(zhàn)略的專業(yè)人士提供穩(wěn)健框架，確保戰(zhàn)略不僅有效，而且能夠適應(yīng)快速變化的技術(shù)環(huán)境。

你好，我是俞凡，在Motorola做過研發(fā)，現(xiàn)在在Mavenir做技術(shù)工作，對通信、網(wǎng)絡(luò)、后端架構(gòu)、云原生、DevOps、CICD、區(qū)塊鏈、AI等技術(shù)始終保持著濃厚的興趣，平時(shí)喜歡閱讀、思考，相信持續(xù)學(xué)習(xí)、終身成長，歡迎一起交流學(xué)習(xí)。為了方便大家以后能第一時(shí)間看到文章，請朋友們關(guān)注公眾號"DeepNoMind"，并設(shè)個(gè)星標(biāo)吧，如果能一鍵三連(轉(zhuǎn)發(fā)、點(diǎn)贊、在看)，則能給我?guī)砀嗟闹С趾蛣恿?，激?lì)我持續(xù)寫下去，和大家共同成長進(jìn)步！

本文由mdnice多平臺發(fā)布