背景

????? 日志主要包括系統(tǒng)日志、應(yīng)用程序日志和安全日志。系統(tǒng)運(yùn)維和開(kāi)發(fā)人員可以通過(guò)日志了解服務(wù)器軟硬件信息、檢查配置過(guò)程中的錯(cuò)誤及錯(cuò)誤發(fā)生的原因。經(jīng)常分析日志可以了解服務(wù)器的負(fù)荷，性能安全性，從而及時(shí)采取措施糾正錯(cuò)誤。

通常，日志被分散的儲(chǔ)存不同的設(shè)備上。如果你管理數(shù)十上百臺(tái)服務(wù)器，你還在使用依次登錄每臺(tái)機(jī)器的傳統(tǒng)方法查閱日志。這樣是不是感覺(jué)很繁瑣和效率低下。當(dāng)務(wù)之急我們使用集中化的日志管理，例如：開(kāi)源的syslog，將所有服務(wù)器上的日志收集匯總。

集中化管理日志后，日志的統(tǒng)計(jì)和檢索又成為一件比較麻煩的事情，一般我們使用grep、awk和wc等Linux命令能實(shí)現(xiàn)檢索和統(tǒng)計(jì)，但是對(duì)于要求更高的查詢、排序和統(tǒng)計(jì)等要求和龐大的機(jī)器數(shù)量依然使用這樣的方法難免有點(diǎn)力不從心。

解決方案

? 開(kāi)源實(shí)時(shí)日志分析ELK平臺(tái)能夠完美的解決我們上述的問(wèn)題，ELK由ElasticSearch、Logstash和Kiabana三個(gè)開(kāi)源工具組成。官方網(wǎng)站：https://www.elastic.co/products

?Elasticsearch是個(gè)開(kāi)源分布式搜索引擎，它的特點(diǎn)有：分布式，零配置，自動(dòng)發(fā)現(xiàn)，索引自動(dòng)分片，索引副本機(jī)制，restful風(fēng)格接口，多數(shù)據(jù)源，自動(dòng)搜索負(fù)載等。

?Logstash是一個(gè)完全開(kāi)源的工具，他可以對(duì)你的日志進(jìn)行收集、分析，并將其存儲(chǔ)供以后使用（如，搜索）。

?kibana?也是一個(gè)開(kāi)源和免費(fèi)的工具，他Kibana可以為?Logstash?和?ElasticSearch?提供的日志分析友好的?Web?界面，可以幫助您匯總、分析和搜索重要數(shù)據(jù)日志。

實(shí)現(xiàn)原理

系統(tǒng)搭建

系統(tǒng)環(huán)境

JDK 1.8.0_74、elasticsearch-6.2.4、kibana-6.2.4-linux-x86_64、logstash-6.2.4、Linux version 2.6.32-431.23.3.el6.x86_64 (mockbuild@c6b8.bsys.dev.centos.org) (gcc version 4.4.7 20120313 (Red Hat 4.4.7-4) (GCC) )

搭建過(guò)程

1，安裝JDK（省略）

2，安裝ES（需要新建用戶組和用戶，ES不支持在root用戶下操作）。

?1） 解壓ES

tar-zxvfelasticsearch-6.2.4.tar.gz

解壓后目錄結(jié)構(gòu)如下：

2）修改ES的配置文件：vi config/elasticsearch.yml

注：network.host:0.0.0.0指明所有人都可以訪問(wèn)，上線后注意改成指定的IP地址

3）啟動(dòng)ES：./bin/elasticsearch -d （參數(shù)-d已后臺(tái)任務(wù)的方式啟動(dòng)ES）

4）curl命令或者是瀏覽器訪問(wèn)看到如下界面說(shuō)明ES啟動(dòng)成功。

3，安裝logstash

1）解壓logstash：tar-zxvf

解壓后文件目錄

2）在config文件下新建一個(gè)新的配置文件log_file_to_es.conf內(nèi)容如下：

input：指定日志的來(lái)源。這里指定的是業(yè)務(wù)日志文件。start_position：指定從文件的開(kāi)頭開(kāi)始導(dǎo)入數(shù)據(jù)。logstash的input支持多種數(shù)據(jù)源來(lái)收集日志：官方文檔：https://www.elastic.co/guide/en/logstash/current/input-plugins.html

filter：指定日志的過(guò)濾規(guī)則，這里未指定。filter支持的插件和過(guò)濾規(guī)則：https://www.elastic.co/guide/en/logstash/current/filter-plugins.html

output：指定日志輸出的位置。這里指定日志輸出到ES。host：ES的服務(wù)器地址。index：ES的索引名稱。output能夠?qū)⑷罩据敵龅蕉鄠€(gè)指定的位置：https://www.elastic.co/guide/en/logstash/current/output-plugins.html

3）啟動(dòng)logstash：nohup? ./logstash -f?log_file_to_es.conf?&

-f參數(shù)指定用你新建的配置文檔啟動(dòng)logstash。

nohup命令指定已后臺(tái)任務(wù)的方式啟動(dòng)logstash

4，安裝kibana

1）解壓kibana：tar-zxvf

解壓后目錄

2）修改配置文件：vi? /config/kibana.yml

serve.host:指定kibana的服務(wù)器

elasticsearch.url:指定ES的服務(wù)器地址

3）已后臺(tái)任務(wù)的方式啟動(dòng)kibana：nohup ./kibana &

4）瀏覽器訪問(wèn)：IP:5601??? 界面如下

遇到的坑和遇到的問(wèn)題

1，ELK的版本變化比較快。目前官網(wǎng)的最新版本是6.2.4。而看到的很多文章還都是ELK5+甚至是2+。不同的版本導(dǎo)致一些配置項(xiàng)的不同造成了很大的不同。

例如ES 2+版本支持已在線直接安裝head插件。執(zhí)行命令即可（./bin/plugininstallmobz/elasticsearch-head）。但是在6+的版本中已經(jīng)禁止了這種方式，只能通過(guò)離線上傳插件，通過(guò)node.js和grunt安裝。參考地址：https://blog.csdn.net/zoubf/article/details/79007908。

在比如很多時(shí)候我們都希望直接把業(yè)務(wù)日志直接出入到ES中，在logstash中input為log4j即可（logstash默認(rèn)不支持log4j，需要安裝插件：https://www.elastic.co/guide/en/logstash/current/plugins-inputs-log4j.html）。但是我試的時(shí)候及時(shí)安裝了也配置了但是還沒(méi)有起作用，又去查看官方文檔，這時(shí)候發(fā)信啊原來(lái)這種方式已經(jīng)被官方建議去掉了,不知道是不是這個(gè)原因?qū)е碌摹?/p>

總結(jié)在安裝ELK的時(shí)候一定要注意不同的版本可能會(huì)給搭建帶來(lái)不一樣的問(wèn)題。

2，一些報(bào)錯(cuò)和相應(yīng)的解決方案

問(wèn)題一：警告提示

[2016-11-06T16:27:21,712][WARN ][o.e.b.JNANatives ] unable to install syscall filter:?

java.lang.UnsupportedOperationException: seccomp unavailable: requires kernel 3.5+ with CONFIG_SECCOMP and CONFIG_SECCOMP_FILTER compiled in

at org.elasticsearch.bootstrap.Seccomp.linuxImpl(Seccomp.java:349) ~[elasticsearch-5.3.0.jar:5.3.0]

at org.elasticsearch.bootstrap.Seccomp.init(Seccomp.java:630) ~[elasticsearch-5.3.0.jar:5.3.0]

報(bào)了一大串錯(cuò)誤，其實(shí)只是一個(gè)警告。

解決：使用心得linux版本，就不會(huì)出現(xiàn)此類問(wèn)題了。

問(wèn)題二：ERROR: bootstrap checks failed

max file descriptors [4096] for elasticsearch process likely too low, increase to at least [65536]

max number of threads [1024] for user [lishang] likely too low, increase to at least [2048]

解決：切換到root用戶，編輯limits.conf 添加類似如下內(nèi)容

vi /etc/security/limits.conf?

添加如下內(nèi)容:

* soft nofile 65536

* hard nofile 131072

* soft nproc 2048

* hard nproc 4096

?system call filters failed to install; check the logs and fix your configuration or disable system call filters at your own risk

原因：

這是在因?yàn)镃entos6不支持SecComp，而ES5.2.0默認(rèn)bootstrap.system_call_filter為true進(jìn)行檢測(cè)，所以導(dǎo)致檢測(cè)失敗，失敗后直接導(dǎo)致ES不能啟動(dòng)。

解決：

在elasticsearch.yml中配置bootstrap.system_call_filter為false，注意要在Memory下面:

bootstrap.memory_lock: false

bootstrap.system_call_filter: false

問(wèn)題三：max number of threads [1024] for user [lish] likely too low, increase to at least [2048]

解決：切換到root用戶，進(jìn)入limits.d目錄下修改配置文件。

vi /etc/security/limits.d/90-nproc.conf?

修改如下內(nèi)容：

* soft nproc 1024

#修改為

* soft nproc 2048

問(wèn)題四：max virtual memory areas vm.max_map_count [65530] likely too low, increase to at least [262144]

解決：切換到root用戶修改配置sysctl.conf

vi /etc/sysctl.conf?

添加下面配置：

vm.max_map_count=655360

并執(zhí)行命令：

sysctl -p

然后，重新啟動(dòng)elasticsearch，即可啟動(dòng)成功。