Elastic Stack生態(tài)圈

專注于網(wǎng)站搜索、代碼搜索、日志管理分析、安全指標(biāo)監(jiān)控、應(yīng)用性能監(jiān)控等功能。

elastic stack生態(tài)圈

Logstash：數(shù)據(jù)處理管道

• 開源的服務(wù)器數(shù)據(jù)處理管道，支持從不同來源采集數(shù)據(jù)，轉(zhuǎn)換數(shù)據(jù)，并將數(shù)據(jù)發(fā)送到不同的存儲(chǔ)庫中
• Logstash誕生于2009年，最初用來做日志的采集與處理
• Logstash創(chuàng)始人Jordan Sisel
• 2013年被Elasticsearch收購
  “Remember: if a new user has a bad time, is a bug in logstash” —— Jordan Sisel

Kibana：可視化分析利器

• Kibana名字的含義 = Kiwifruit + Banana
• 數(shù)據(jù)可視化工具，幫助用戶解開對數(shù)據(jù)的任何疑問
• 基于Logstash的工具，2013年加入Elastic公司
• 創(chuàng)始人：Rashid Khan

Elastic的發(fā)展

• 2015年3月收購Elastic Cloud，提供Cloud服務(wù)
• 2015年3月收購PacketBeat
• 2016年9月收購PreAlert - Machine Learning異常檢測
• 2017年6月收購Opbeat進(jìn)軍APM
• 2017年11月收購SaaS廠商Swiftype，提供網(wǎng)站和App搜索
• 2018年X-Pack開源

BEATS —— 輕量的數(shù)據(jù)采集器

https://www.elastic.co/cn/beats/

X-Pack：商業(yè)化套件

• 6.3之前的版本，X-Pack以插件方式安裝
• X-Pack開源之后，Elasticsearch & Kibana支持OSS版和Basic兩種版本
  • 部分X-Pack功能支持免費(fèi)使用，6.8和7.1開始，Security功能免費(fèi)
• OSS，Basic，黃金級，白金級
• https://www.elastic.co/cn/subscriptions

ELK客戶及應(yīng)用場景

• 應(yīng)用場景
  • 網(wǎng)站搜索 / 垂直搜索 / 代碼搜索
  • 日志管理與分析 / 安全指標(biāo)監(jiān)控 / 應(yīng)用性能監(jiān)控 / WEB抓取輿情分
  • https://www.elastic.co/cn/customers/

日志的重要性

• 為什么重要
  • 運(yùn)維：醫(yī)生給人看病，日志就是病人對自己的陳述
  • 惡意攻擊，惡意注冊，刷單，惡意代碼猜測
• 挑戰(zhàn)
  • 關(guān)注點(diǎn)很多，任何一個(gè)點(diǎn)都有可能引起問題
  • 日志分散在很多機(jī)器上，出了問題時(shí)，才發(fā)現(xiàn)日志被刪了
  • 很多運(yùn)維人員是消防員，哪里有問題就去哪里

日志管理

• 日志搜集
• 格式化分析
• 全文檢索
• 風(fēng)險(xiǎn)告警

Elasticsearch與數(shù)據(jù)庫的集成

• 單獨(dú)使用Elasticsearch作為存儲(chǔ)
• 以下情況可考慮與數(shù)據(jù)庫集成
  • 與現(xiàn)有系統(tǒng)的集成
  • 需考慮事務(wù)性

  • 數(shù)據(jù)更新頻繁

    
    
    與數(shù)據(jù)庫的集成

指標(biāo)分析 / 日志分析

數(shù)據(jù)收集 & 分析