我的
ELK
搭建筆記（基于阿里云）
“不是最好的，但一定是有良心的操作記錄?！?strong>目錄一覽
0 重不重要都得有的開(kāi)頭
1 安裝配置
1.1 CentOS 7.x環(huán)境準(zhǔn)備
1.1.1 安裝操作系統(tǒng)
1.1.2 更新系統(tǒng)軟件包（可選）
1.1.3 更改主機(jī)名（可選）
1.1.4 創(chuàng)建應(yīng)用賬號(hào)（必選）
1.1.5 安裝Java運(yùn)行環(huán)境（可選）
1.2 ELK安裝
1.2.1 安裝ElasticSearch with x-pack
1.2.2 Trouble shooting for elasticsearch
1.2.3 安裝Logstash
1.2.4 Trouble Shooting for Logstash
1.2.5 安裝Kibana with x-pack
1.2.6 Kibana界面日志檢索
2 最佳實(shí)踐
2.1 Logstash & JDBC
2.1.1 安裝jdbc-input插件
2.1.2 下載jdbc-mysql連接驅(qū)動(dòng)
2.1.3 配置jdbc日志收集參數(shù)
2.1.4 啟動(dòng)Logstash連接數(shù)據(jù)庫(kù)收集日志
2.2 Kibana相關(guān)
2.2.1 獲取指定索引下指定類型日志的映射表
2.2.2 修改數(shù)據(jù)類型映射mappings
2.2.3 判斷字段是否存在
3 參考資料

0重不重要都得有的開(kāi)頭
下面一段摘抄自互聯(lián)網(wǎng) http://baidu.blog.51cto.com/71938/1676798ELK平臺(tái)是當(dāng)前應(yīng)用比較廣泛的一套開(kāi)源實(shí)時(shí)日志分析解決方案。ELK由ElasticSearch、Logstash和Kiabana三個(gè)開(kāi)源工具組成。官方網(wǎng)站： https://www.elastic.co/products
Elasticsearch是個(gè)開(kāi)源分布式搜索引擎，它的特點(diǎn)有：分布式，零配置，自動(dòng)發(fā)現(xiàn)，索引自動(dòng)分片，索引副本機(jī)制，restful風(fēng)格接口，多數(shù)據(jù)源，自動(dòng)搜索負(fù)載等。

Logstash是一個(gè)完全開(kāi)源的工具，他可以對(duì)你的日志進(jìn)行收集、過(guò)濾，并將其存儲(chǔ)供以后使用（如，搜索）。

Kibana 也是一個(gè)開(kāi)源和免費(fèi)的工具，Kibana可以為 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以幫助您匯總、分析和搜索重要數(shù)據(jù)日志。

1安裝配置
1.1 CentOS 7.x環(huán)境準(zhǔn)備
******1.1.1 安裝操作系統(tǒng)**以阿里云
ECS
主機(jī)為例，
安裝系統(tǒng)時(shí)選擇
CentOS 7.2 64
位版本。

1.1.2 更新系統(tǒng)軟件包（可選）[root@elk-test ~]# yum update1.1.3 更改主機(jī)名（可選）[root@iZ2ze1filcblgjr9dcoxioZ ~]# hostnameelk-test[root@iZ2ze1filcblgjr9dcoxioZ ~]# hostname# elk-test[root@elk-test ~]# 1.1.4 創(chuàng)建應(yīng)用賬號(hào)（必選）以應(yīng)用賬號(hào)身份啟動(dòng)
ElasticSearch、
Logstash和
Kibana[root@elk-test ~]# useradd elk-test1.1.5 安裝Java運(yùn)行環(huán)境（可選）下載
JRE安裝包

，并上傳到服務(wù)器
root
用戶目錄

以
root身份安裝
JRE：
yum localinstall jre-8u121-linux-x64.rpm
配置
Java環(huán)境變量：
編輯文件
/etc/profile
在文件末尾增加如下內(nèi)容

驗(yàn)證
Java環(huán)境，
執(zhí)行命令
java -version查看
Java版本信息，
如果一切正常的話，能看到如下信息：

java version 1.8.0_121Java（TM） SE Runtime Environment （build 1.8.0_121-b13）Java HotSpot（TM） 64-Bit Server VM （build 25.121-b13, mixed mode）

如有需要，也可
下載
Server JRE手工安裝。
******1.2 ELK安裝**
******1.2.1 安裝ElasticSearch with x-pac**執(zhí)行命令
su - elk-test切換到應(yīng)用賬戶
elk-test，下載和安裝
ElasticSearch和
x-pack安全組件。如果你不需要安全認(rèn)證，
x-pack組件可以不用安裝，相應(yīng)的配置參數(shù)也不必設(shè)置。

根據(jù)需要，修改文件
ElasticSearch目錄下
config/jvm.options文件，調(diào)整
jvm內(nèi)存參數(shù)。

修改監(jiān)聽(tīng)端口，允許外部系統(tǒng)遠(yuǎn)程訪問(wèn)：
編輯文件
config/elasticsearch.yml
修改參數(shù)
network.host的數(shù)值

啟動(dòng)

驗(yàn)證
ElasticSearch服務(wù)，執(zhí)行命令：
curl http://elastic:changeme@10.0.0.136:9200
期待返回內(nèi)容如下：

max file descriptors [65535] forelasticsearch process likely too low, increase to at least [65536]
修改文件
/etc/security/limits.conf，末尾增加如下內(nèi)容
:* soft nofile 65536* hard nofile 65536max virtual memory

max virtual memory areas vm.max_map_count[65530] likely too low, increase to at least [262144]

修改文件
/etc/sysctl.conf
設(shè)置參數(shù)
vm.max_map_count= 262144
執(zhí)行命令
sysctl -p

完成以上步驟，重新
su - elk-test
再來(lái)啟動(dòng)
ElasticSearch
。
1.2.3 安裝Logstash下載
Logstash

執(zhí)行命令
bing/logstsh -f sample.comf
，啟動(dòng)
Logstash。

****啟動(dòng)后，輸入以下內(nèi)容：

Jan 19 12:28:31 elk-test sshd[13990]:pam_unix（sshd:auth）: authentication failure; logname= uid=0 euid=0 tty=sshruser= rhost=92.246.190.31 user=root
可以看到
Logstash在
Console返回的輸出內(nèi)容，同時(shí)以上內(nèi)容也發(fā)送到了
ElasticSearch。
**1.2.4 Trouble Shooting for Logstash******為什么Logstash啟動(dòng)特別緩慢？

原因可能是
JVM的隨機(jī)數(shù)字生成參數(shù)導(dǎo)致，診斷和修改方式：
修改文件
$JAVA_HOME/jre/lib/security/java.security
設(shè)置參數(shù)
securerandom.source=file:/dev/urandom

重新啟動(dòng)
Logstash，是不是快多了？
為什么要這么做，我已經(jīng)幫你搜好了，請(qǐng)參考以下文檔：

StackOverflow-Logstashstartup time #5491
-
Orace官方
-Avoiding JVM Delays Caused byRandom Number Generation

**1.2.5 安裝Kibana with x-pack******執(zhí)行命令
su - elk-test切換到應(yīng)用賬戶
elk-test，下載和安裝
Kibana和
x-pack安全組件。

設(shè)置
Kibaba對(duì)外開(kāi)放的
IP和
ElasticSearch的
url編輯文件
config/kibana.yml
設(shè)置參數(shù)
server.host和
elasticsearch.url

啟動(dòng)

訪問(wèn)
Kibanna，驗(yàn)證服務(wù)，用戶名
/密碼：

****如果你的日志中有特定的時(shí)間字段，這里可以單獨(dú)設(shè)置。
如果
Logstash的
output中已經(jīng)配置了
index的名稱，則必須在新的日志進(jìn)入
ElasticSearch后，才能在
Kibana上創(chuàng)建新的
index pattern。進(jìn)入
Kibana的
Dashboard，搜索日志，認(rèn)真體驗(yàn)。
********

2最佳實(shí)踐
**2.1 Logstash & JDBC********2.1.1 安裝jdbc-input插件******進(jìn)入
Logstash目錄，執(zhí)行命令
bin/logstash-plugin install logstash-input-jdbc安裝
JDBC輸入插件。
2.1.2 下載jdbc-mysql連接驅(qū)動(dòng)訪問(wèn)
MySQL網(wǎng)站，
https://dev.mysql.com/downloads/connector/j/，下載
mysql-connector-java-5.1.40，或執(zhí)行命令下載。

2.2 Kibana相關(guān)
2.2.1 獲取指定索引下指定類型日志的映射表Kibana主界面左側(cè)，點(diǎn)擊開(kāi)發(fā)工具按鈕。

進(jìn)入
Console界面，執(zhí)行如下命令：
GET logstash-nginx/_mappings/alm注意：替換
alm字符串為你自己的日志類型（來(lái)自
Logstash的
output參數(shù)）
返回如下：

以上內(nèi)容只是最基礎(chǔ)的
Hello World版本
ELK部署說(shuō)明，還不涉及到集群、分布式收集、
grok高級(jí)技巧等。關(guān)于復(fù)雜場(chǎng)景下的
ELK部署和應(yīng)用，等我功力提升后再來(lái)分享啦！

*為解決文中部分圖片不夠清晰問(wèn)題，您也可以通過(guò)以下鏈接查看原文（高清）內(nèi)容：

https://pan.baidu.com/s/1nv15BWt

https://bbs.ichunqiu.com/thread-19741-1-2.html