1.ELK是什么?
ELK 其實并不是一款軟件,而是一整套解決方案,是三個軟件產(chǎn)品的首字母縮寫
Elasticsearch:負責日志檢索和儲存
Logstash:負責日志的收集和分析、處理
Kibana:負責日志的可視化
這三款軟件都是開源軟件,通常是配合使用,而且又先后歸于 Elastic.co 公司名下,故被簡稱為 ELK
2.ELK能做什么?
ELK組件在海量日志系統(tǒng)的運維中,可用于解決:
分布式日志數(shù)據(jù)集中式查詢和管理,故障排查
系統(tǒng)監(jiān)控,包含系統(tǒng)硬件和應用各個組件的監(jiān)控
安全信息和事件管理
友好web頁面展示
3.簡要概述Elasticsearch?
ElasticSearch 是一個基于 Lucene 構(gòu)建的。它提供了一個分布式多用戶能力的全文搜索引擎,基于 RESTful API 的 web 接口。
Elasticsearch是用Java開發(fā)的。
Elasticsearch的特點?
4.elasticsearch主要特點
1.實時分析
2.分布式實時文件存儲,并將每一個字段都編入索引
3.文檔導向,所有的對象全部是文檔
4.高可用性,易擴展,支持集群(Cluster)、分片和復制(Shards 和 Replicas)
接口友好,支持 JSON
5.ES 沒有什么?
Elasticsearch 沒有典型意義的事務.
Elasticsearch 是一種面向文檔的數(shù)據(jù)庫。
Elasticsearch 沒有提供授權(quán)和認證特性
6.ES相關概念
Node: 裝有一個 ES 服務器的節(jié)點。
Cluster: 有多個Node組成的集群
Document: 一個可被搜素的基礎信息單元
Index: 擁有相似特征的文檔的集合
Type: 一個索引中可以定義一種或多種類型
Filed: 是 ES 的最小單位,相當于數(shù)據(jù)的某一列
Shards: 索引的分片,每一個分片就是一個 Shard
Replicas: 索引的拷貝
7.ES與關系數(shù)據(jù)庫對比
ES 與關系型數(shù)據(jù)庫的對比
在 ES 中,文檔歸屬于一種 類型 (type) ,而這些類型存在于索引 (index) 中,類比傳統(tǒng)關系型數(shù)據(jù)庫
DB -> Databases -> Tables -> Rows -> Columns
關系型 數(shù)據(jù)庫 表 行 列
ES -> Indices -> Types -> Documents -> Fields
ES 索引 類型 文檔 域(字段)
8.搭建ES流程安裝第一臺 ES 服務器
1.設置主機名稱和 ip 對應關系 192.168.4.11 node1
2.解決依賴關系 openjdk1.8
3.安裝軟件包 elasticsearch
4.修改配置文件 elasticsearch.yml
5.啟動服務
6.檢查服務 netstat -lutunp (9200 9300)
curl:htttp://192.168.4.1:9200/
11.ES 常用插件
head 插件:
它展現(xiàn)ES集群的拓撲結(jié)構(gòu),并且可以通過它來進行索引(Index)和節(jié)點(Node)級別的操作
它提供一組針對集群的查詢API,并將結(jié)果以json和表格形式返回
它提供一些快捷菜單,用以展現(xiàn)集群的各種狀態(tài)
kopf 插件
是一個ElasticSearch的管理工具
它提供了對ES集群操作的API
bigdesk 插件
是elasticsearch的一個集群監(jiān)控工具
可以通過它來查看es集群的各種狀態(tài),如:cpu、內(nèi)存使用情況,索引數(shù)據(jù)、搜索情況,http連接數(shù)等
12.kibana是什么
數(shù)據(jù)可視化平臺工具
特點:
靈活的分析和可視化平臺
實時總結(jié)和流數(shù)據(jù)的圖表
為不同的用戶顯示直觀的界面
即時分享和嵌入的儀表板
15logstash 是什么
logstash是一個數(shù)據(jù)采集、加工處理以及傳輸?shù)墓ぞ?/p>
16.logstash 特點:
所有類型的數(shù)據(jù)集中處理
不同模式和格式數(shù)據(jù)的正?;?br>
自定義日志格式的迅速擴展
為自定義數(shù)據(jù)源輕松添加插件