利用ELK搭建Docker容器化應(yīng)用日志中心

封面圖片

概述

應(yīng)用一旦容器化以后,需要考慮的就是如何采集位于Docker容器中的應(yīng)用程序的打印日志供運(yùn)維分析。典型的比如 SpringBoot應(yīng)用的日志 收集。本文即將闡述如何利用ELK日志中心來(lái)收集容器化應(yīng)用程序所產(chǎn)生的日志,并且可以用可視化的方式對(duì)日志進(jìn)行查詢(xún)與分析,其架構(gòu)如下圖所示:

架構(gòu)圖

注: 本文原載于 My Personal Blog:, CodeSheep · 程序羊 !


鏡像準(zhǔn)備

鏡像準(zhǔn)備
  • ElasticSearch鏡像
  • Logstash鏡像
  • Kibana鏡像
  • Nginx鏡像(作為容器化應(yīng)用來(lái)生產(chǎn)日志)

開(kāi)啟Linux系統(tǒng)Rsyslog服務(wù)

修改Rsyslog服務(wù)配置文件:

vim /etc/rsyslog.conf

開(kāi)啟下面三個(gè)參數(shù):

$ModLoad imtcp
$InputTCPServerRun 514

*.* @@localhost:4560
開(kāi)啟3個(gè)參數(shù)

意圖很簡(jiǎn)單:讓Rsyslog加載imtcp模塊并監(jiān)聽(tīng)514端口,然后將Rsyslog中收集的數(shù)據(jù)轉(zhuǎn)發(fā)到本地4560端口!

然后重啟Rsyslog服務(wù):

systemctl restart rsyslog

查看rsyslog啟動(dòng)狀態(tài):

netstat -tnl
netstat -tnl

部署ElasticSearch服務(wù)

docker run -d  -p 9200:9200 \
 -v ~/elasticsearch/data:/usr/share/elasticsearch/data \
 --name elasticsearch elasticsearch
ES啟動(dòng)成功效果

部署Logstash服務(wù)

添加 ~/logstash/logstash.conf 配置文件如下:

input {
  syslog {
    type => "rsyslog"
    port => 4560
  }
}

output {
  elasticsearch {
    hosts => [ "elasticsearch:9200" ]
  }
}

配置中我們讓Logstash從本地的Rsyslog服務(wù)中取出應(yīng)用日志數(shù)據(jù),然后轉(zhuǎn)發(fā)到ElasticSearch數(shù)據(jù)庫(kù)中!

配置完成以后,可以通過(guò)如下命令來(lái)啟動(dòng)Logstash容器:

docker run -d -p 4560:4560 \
-v ~/logstash/logstash.conf:/etc/logstash.conf \
--link elasticsearch:elasticsearch \
--name logstash logstash \
logstash -f /etc/logstash.conf
image.png

部署Kibana服務(wù)

docker run -d -p 5601:5601 \
--link elasticsearch:elasticsearch \
-e ELASTICSEARCH_URL=http://elasticsearch:9200 \
--name kibana kibana
image.png

啟動(dòng)nginx容器來(lái)生產(chǎn)日志

docker run -d -p 90:80 --log-driver syslog --log-opt \
syslog-address=tcp://localhost:514 \
--log-opt tag="nginx" --name nginx nginx

很明顯Docker容器中的Nginx應(yīng)用日志轉(zhuǎn)發(fā)到本地syslog服務(wù)中,然后由syslog服務(wù)將數(shù)據(jù)轉(zhuǎn)給Logstash進(jìn)行收集。

至此,日志中心搭建完畢,目前一共四個(gè)容器在工作:

image.png

實(shí)驗(yàn)驗(yàn)證

  • 瀏覽器打開(kāi)localhost:90來(lái)打開(kāi)Nginx界面,并刷新幾次,讓后臺(tái)產(chǎn)生GET請(qǐng)求的日志

  • 打開(kāi)Kibana可視化界面:localhost:5601

localhost:5601
  • 收集Nginx應(yīng)用日志
收集Nginx應(yīng)用日志
  • 查詢(xún)應(yīng)用日志

在查詢(xún)框中輸入program=nginx可查詢(xún)出特定日志

查詢(xún)應(yīng)用日志

后記

由于能力有限,若有錯(cuò)誤或者不當(dāng)之處,還請(qǐng)大家批評(píng)指正,一起學(xué)習(xí)交流!



最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書(shū)系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容