一、ELK應用場景
復雜的企業(yè)應用服務集群中，日志的類型多種多樣，不易歸檔不說，還不容易監(jiān)控。無論是誰都很難準確定位服務器上的各種問題，也沒有能夠高效搜索日志定位問題的方式方法。ELK就提供了這樣一個功能，能夠搜索各個服務器的日志信息并且提供圖形化界面做數(shù)據(jù)展示和分析。
二、ELK日志系統(tǒng)介紹
| 簡寫 | 全稱 | 簡介 | 作用 |
|---|---|---|---|
| E | Elasticsearch | 開源分布式搜索引擎，提供存儲、分析、搜索的功能。 | 搜集日志數(shù)據(jù)并提供給kibana查詢分析 |
| L | Logstash | 日志搜集分析過濾框架，支持多種數(shù)據(jù)輸入輸出格式 | 用于收集日志，對日志進行過濾及格式化輸出到elasticsearch |
| K | Kibana | 開源的圖形化展示系統(tǒng) | 對elasticsearch提供的數(shù)據(jù)進行可視化分析 |
三、Beats介紹
由于Logstash對資源消耗較大，因此引進了輕量級日志采集框架Beats，主要包括以下六種：
| 名稱 | 功能 |
|---|---|
| Packetbeat | 用于收集網(wǎng)絡流量數(shù)據(jù) |
| Heartbeat | 用于運行時間監(jiān)控 |
| Filebeat | 用于搜集文件數(shù)據(jù) |
| Winlogbeat | 用于搜集windows事件數(shù)據(jù) |
| Metricbeat | 用于指標數(shù)據(jù) |
| Auditbeat | 用于審計數(shù)據(jù) |
四、ELK環(huán)境搭建（非集群）
1.安裝JDK
- 使用yum查看JDK版本
yum search java|grep -i --color JDK
命令結果
- 使用yum命令安裝jdk
yum install java-1.8.0-openjdk*
- 查看jdk安裝位置
ls -l /usr/lib/jvm
- 編輯環(huán)境變量
vi /etc/profile
JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.171-8.b10.el7_5.x86_64
PATH=$PATH:$JAVA_HOME/bin
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/toos.jar
export JAVA_HOME CLASSPATH PATH
source /etc/profile #生效環(huán)境配置
2.安裝Elasticsearch
- 下載路徑：
elasticsearch
kibana
logstash - 解壓安裝包
tar -zxvf elasticsearch-7.4.0-linux-x86_64.tar.gz
- 修改elasearch配置文件
vim /home/elasticsearch/config/elasticsearch.yml
#添加以下內(nèi)容
network.host: 0.0.0.0
http.port: 9200
http.cors.enabled: true
http.cors.allow-origin: "*"
node.name: node-1
cluster.initial_master_nodes: ["node-1"]
- 注意事項
root用戶是不能直接啟動elasticsearch的，需要創(chuàng)建新用戶，然后切換用戶去啟動elasticsearch。
groupadd elsearch
useradd elsearch -g elsearch -p elasticsearch
cd /home/
chown -R elsearch:elsearch elasticsearch
su elsearch
cd elasticsearch/bin
sh elasticsearch &
需要修改服務器最大鏈接數(shù)：
vim /etc/security/limit.conf
* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096
編輯sysctl.conf文件
vim /etc/sysctl.conf
vm.max_map_count=655360
-
測試
現(xiàn)在已經(jīng)配置啟動完成，可以在瀏覽器中輸入url，服務器ip:9200看是否能看到如下內(nèi)容：
elasticsearch部署完成后
3.安裝kibana
vi /home/kibana/config/kibana.yml
#新增如下內(nèi)容：
server.port: 5601
server.host: "0.0.0.0"
elasticsearch.hosts: ["http://localhost:9200/"]
# elasticsearch.url: "http://192.168.153.135:9200"
kibana.index: ".kibana"
- 啟動kibana
cd /home/kibana/bin
sh kibana --allow-root &
-
測試
在瀏覽器中輸入ip:5601查看kibana是否啟動成功
kibana安裝成功
4.安裝logstash
cd logstash/bin
#新建文件logstash.conf
vim logstash.conf
input {
file {
path => "/var/log/messages"
type => "system"
start_position => "beginning"
}
}
output {
elasticsearch {
hosts => ["127.0.0.1:9200"]
index => "nagios-system-%{+YYYY.MM.dd}"
}
}
啟動logstash：sh logstash -f logstash.conf &
5.配置kibana
Index Management
create Index Patterns
這樣ELK的環(huán)境就搭建完成了。
