一、拉取鏡像

docker pull elasticsearch:7.2.0
docker pull mobz/elasticsearch-head:5
docker pull kibana:7.2.0
docker pull logstash:7.2.0

二、 運(yùn)行容器

-p （小寫(xiě)）映射端口號(hào)，主機(jī)端口:容器端口
-P（大寫(xiě)）隨機(jī)為容器指定端口號(hào)
-v 進(jìn)行容器的掛載
–name 指定容器別名
–net 連接指定網(wǎng)絡(luò)
-e 指定啟動(dòng)容器時(shí)的環(huán)境變量
-d 后臺(tái)運(yùn)行容器
–privileged=true 使容器有權(quán)限掛載目錄

ElasticSearch 的默認(rèn)端口是 9200，把宿主環(huán)境 9200 端口映射到 Docker 容器中的 9200 端口，容器命名為 es。

docker run -d --restart=always --name es -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" elasticsearch:7.2.0

三、 配置跨域

3.1 進(jìn)入容器

docker exec -it es /bin/bash

3.2 進(jìn)行配置

# 進(jìn)入配置文件夾
cd config

# 修改配置文件
vi elasticsearch.yml

# 加入跨域配置
http.cors.enabled: true
http.cors.allow-origin: "*"

3.3 重啟容器

由于修改了配置，因此需要重啟 ElasticSearch 容器。

docker restart es

3.4 訪問(wèn)

訪問(wèn)結(jié)果

四、 運(yùn)行 kibana 容器

docker run -d  --restart=always --name kibana  --link es:elasticsearch -p 5601:5601 kibana:7.2.0 

4.1 設(shè)置中文

# 進(jìn)入容器
docker exec -it kibana /bin/bash

# 進(jìn)入配置文件夾
cd config

# 修改配置文件
vi kibana.yml

# 修改elasticsearch連接（如果是本機(jī)部署，ip需填寫(xiě)內(nèi)網(wǎng)ip）
elasticsearch.hosts: [ "http://elasticsearch的ip地址:端口號(hào)" ]
# 加入中文配置（保存后重啟kibana）
i18n.locale: "zh-CN"

4.2 安裝ik分詞器

安裝ik分詞器，下載ik.zip（版本必須和elasticsearch相同）
https://github.com/medcl/elasticsearch-analysis-ik/releases

# 下載ik分詞器
https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.2.0/elasticsearch-analysis-ik-7.2.0.zip

# 解壓后通過(guò)ftp上傳到服務(wù)器下
# 將這個(gè)文件夾拷貝到elasticsearch中
docker cp /home/silence/elk/ik es:/usr/share/elasticsearch/plugins

# 查看是否拷貝成功，進(jìn)入elasticsearch/plugins/ik中：
docker exec -it es /bin/bash
cd /usr/share/elasticsearch/plugins
ls
cd ik
ls

# 重新啟動(dòng)elasticsearch容器
docker restart es

五、 運(yùn)行 Head 容器

docker run -d --restart=always  --name es_head -p 9100:9100 mobz/elasticsearch-head:5

轉(zhuǎn)載：Docker 簡(jiǎn)單部署 ElasticSearch

六、 安裝 LogStash

docker pull logstash:7.2.0
docker run -d --restart=always --name logstash -p 5044:5044 -p 9600:9600 logstash:7.2.0

6.1 進(jìn)入容器

docker exec -it logstash /bin/bash

6.2 修改 config 下的 logstash.yml 文件，主要修改 es 的地址（如果是本機(jī)部署，ip需填寫(xiě)內(nèi)網(wǎng)ip）：

vi config/logstash.yml

http.host: "0.0.0.0"
xpack.monitoring.elasticsearch.hosts: [ "http://elasticsearch的ip:端口號(hào)" ]

# 保存退出
:wq

6.3 修改 pipeline 下的 logstash.conf 文件：

vi pipeline/logstash.yml

input {
  tcp {
    mode => "server"
    host => "0.0.0.0"  # 允許任意主機(jī)發(fā)送日志
    port => 5044
    codec => json_lines    # 數(shù)據(jù)格式
  }
}

output {
  elasticsearch {
      hosts  => ["http://elasticsearch的ip:端口號(hào)"]   # ElasticSearch 的地址和端口（如果是本機(jī)部署，ip需填寫(xiě)內(nèi)網(wǎng)ip）
      index  => "elk"         # 指定索引名
      codec  => "json"
  }
  stdout {
    codec => rubydebug
  }
}

# 保存退出
:wq

6.4 查看日志

docker logs -f logstash

6.5 重新啟動(dòng)elasticsearch容器

docker restart logstash

6.6 查看es是否獲取數(shù)據(jù)

http://localhost:9200/_cat/indices?v

es索引列表

6.7 Kibana新建索引模式

Kibana創(chuàng)建索引模式_1

Kibana創(chuàng)建索引模式_2

Kibana創(chuàng)建索引模式_3

轉(zhuǎn)載：Docker快速搭建部署ELK實(shí)戰(zhàn)詳解
轉(zhuǎn)載：Docker安裝ELK詳細(xì)步驟

七、Springboot通過(guò)log4j2+logstash整合日志

7.1 pom.xml文件中增加log4j2相關(guān)依賴

　　　　<dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
            <exclusions><!-- 去掉logback配置 -->
                <exclusion>
                    <groupId>org.springframework.boot</groupId>
                    <artifactId>spring-boot-starter-logging</artifactId>
                </exclusion>
            </exclusions>
        </dependency>
        <!--log4j2 相關(guān)版本最好選擇最新版本-->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-log4j2</artifactId>
        </dependency>

7.2 application-dev.yml引入log4j2.xml日志配置文件

# log4j2日志配置文件
logging:
  config: classpath:config/log4j2-dev.xml

7.3 log4j2-dev.xml文件配置

logstash兩種連接方式：Socket連接/Gelf連接

log4j2.xml配置1

log4j2.xml配置2

<?xml version="1.0" encoding="UTF-8"?>
<!--Configuration后面的status，這個(gè)用于設(shè)置log4j2自身內(nèi)部的信息輸出，可以不設(shè)置，當(dāng)設(shè)置成trace時(shí)，你會(huì)看到log4j2內(nèi)部各種詳細(xì)輸出-->
<!--monitorInterval：Log4j能夠自動(dòng)檢測(cè)修改配置 文件和重新配置本身，設(shè)置間隔秒數(shù)-->
<configuration monitorInterval="5">
    <!--日志級(jí)別以及優(yōu)先級(jí)排序: OFF > FATAL > ERROR > WARN > INFO > DEBUG > TRACE > ALL -->

    <!--變量配置-->
    <Properties>
        <!-- 格式化輸出：%date表示日期，%thread表示線程名，%-5level：級(jí)別從左顯示5個(gè)字符寬度 %msg：日志消息，%n是換行符-->
        <!-- %logger{36} 表示 Logger 名字最長(zhǎng)36個(gè)字符 -->
        <property name="LOG_PATTERN" value="%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] [%p] [%c:%L] -&#45;&#45; %m%n" />
        <Property name="PATTERN">{"host": "%host", "logger": "%logger", "level": "%level", "message": "[%thread] [%c:%L] --- %message"}%n</Property>
        <!-- 定義日志存儲(chǔ)的路徑，不要配置相對(duì)路徑 -->
        <property name="FILE_PATH" value="C:/springSecurity/" />
        <property name="FILE_NAME" value="securitylog" />
    </Properties>

    <appenders>

        <console name="Console" target="SYSTEM_OUT">
            <!--輸出日志的格式-->
            <PatternLayout pattern="${LOG_PATTERN}"/>
            <!--控制臺(tái)只輸出level及其以上級(jí)別的信息（onMatch），其他的直接拒絕（onMismatch）-->
            <ThresholdFilter level="Debug" onMatch="ACCEPT" onMismatch="DENY"/>
        </console>

        <!--文件會(huì)打印出所有信息，這個(gè)log每次運(yùn)行程序會(huì)自動(dòng)清空，由append屬性決定，適合臨時(shí)測(cè)試用-->
        <File name="Filelog" fileName="${FILE_PATH}/test.log" append="false">
            <PatternLayout pattern="${LOG_PATTERN}"/>
        </File>

        <!-- 這個(gè)會(huì)打印出所有的info及以下級(jí)別的信息，每次大小超過(guò)size，則這size大小的日志會(huì)自動(dòng)存入按年份-月份建立的文件夾下面并進(jìn)行壓縮，作為存檔-->
        <RollingFile name="RollingFileInfo" fileName="${FILE_PATH}/info.log" filePattern="${FILE_PATH}/${FILE_NAME}-INFO-%d{yyyy-MM-dd}_%i.log.gz">
            <!--控制臺(tái)只輸出level及以上級(jí)別的信息（onMatch），其他的直接拒絕（onMismatch）-->
            <ThresholdFilter level="info" onMatch="ACCEPT" onMismatch="DENY"/>
            <PatternLayout pattern="${LOG_PATTERN}"/>
            <Policies>
                <!--interval屬性用來(lái)指定多久滾動(dòng)一次，默認(rèn)是1 hour-->
                <TimeBasedTriggeringPolicy interval="1"/>
                <SizeBasedTriggeringPolicy size="10MB"/>
            </Policies>
            <!-- DefaultRolloverStrategy屬性如不設(shè)置，則默認(rèn)為最多同一文件夾下7個(gè)文件開(kāi)始覆蓋-->
            <DefaultRolloverStrategy max="15"/>
        </RollingFile>

        <!-- 這個(gè)會(huì)打印出所有的warn及以下級(jí)別的信息，每次大小超過(guò)size，則這size大小的日志會(huì)自動(dòng)存入按年份-月份建立的文件夾下面并進(jìn)行壓縮，作為存檔-->
        <RollingFile name="RollingFileWarn" fileName="${FILE_PATH}/warn.log" filePattern="${FILE_PATH}/${FILE_NAME}-WARN-%d{yyyy-MM-dd}_%i.log.gz">
            <!--控制臺(tái)只輸出level及以上級(jí)別的信息（onMatch），其他的直接拒絕（onMismatch）-->
            <ThresholdFilter level="warn" onMatch="ACCEPT" onMismatch="DENY"/>
            <PatternLayout pattern="${LOG_PATTERN}"/>
            <Policies>
                <!--interval屬性用來(lái)指定多久滾動(dòng)一次，默認(rèn)是1 hour-->
                <TimeBasedTriggeringPolicy interval="1"/>
                <SizeBasedTriggeringPolicy size="10MB"/>
            </Policies>
            <!-- DefaultRolloverStrategy屬性如不設(shè)置，則默認(rèn)為最多同一文件夾下7個(gè)文件開(kāi)始覆蓋-->
            <DefaultRolloverStrategy max="15"/>
        </RollingFile>

        <!-- 這個(gè)會(huì)打印出所有的error及以下級(jí)別的信息，每次大小超過(guò)size，則這size大小的日志會(huì)自動(dòng)存入按年份-月份建立的文件夾下面并進(jìn)行壓縮，作為存檔-->
        <RollingFile name="RollingFileError" fileName="${FILE_PATH}/error.log" filePattern="${FILE_PATH}/${FILE_NAME}-ERROR-%d{yyyy-MM-dd}_%i.log.gz">
            <!--控制臺(tái)只輸出level及以上級(jí)別的信息（onMatch），其他的直接拒絕（onMismatch）-->
            <ThresholdFilter level="error" onMatch="ACCEPT" onMismatch="DENY"/>
            <PatternLayout pattern="${LOG_PATTERN}"/>
            <Policies>
                <!--interval屬性用來(lái)指定多久滾動(dòng)一次，默認(rèn)是1 hour-->
                <TimeBasedTriggeringPolicy interval="1"/>
                <SizeBasedTriggeringPolicy size="10MB"/>
            </Policies>
            <!-- DefaultRolloverStrategy屬性如不設(shè)置，則默認(rèn)為最多同一文件夾下7個(gè)文件開(kāi)始覆蓋-->
            <DefaultRolloverStrategy max="15"/>
        </RollingFile>

        <!-- 這個(gè)會(huì)打印出所有的error及以下級(jí)別的信息，每次大小超過(guò)size，則這size大小的日志會(huì)自動(dòng)存入按年份-月份建立的文件夾下面并進(jìn)行壓縮，作為存檔-->
        <RollingFile name="RollingFileDebug" fileName="${FILE_PATH}/debug.log" filePattern="${FILE_PATH}/${FILE_NAME}-ERROR-%d{yyyy-MM-dd}_%i.log.gz">
            <!--控制臺(tái)只輸出level及以上級(jí)別的信息（onMatch），其他的直接拒絕（onMismatch）-->
            <ThresholdFilter level="debug" onMatch="ACCEPT" onMismatch="DENY"/>
            <PatternLayout pattern="${LOG_PATTERN}"/>
            <Policies>
                <!--interval屬性用來(lái)指定多久滾動(dòng)一次，默認(rèn)是1 hour-->
                <TimeBasedTriggeringPolicy interval="1"/>
                <SizeBasedTriggeringPolicy size="10MB"/>
            </Policies>
            <!-- DefaultRolloverStrategy屬性如不設(shè)置，則默認(rèn)為最多同一文件夾下7個(gè)文件開(kāi)始覆蓋-->
            <DefaultRolloverStrategy max="15"/>
        </RollingFile>

        <!-- logstash Socket連接配置-->
        <Socket name="logstash" host="logstash部署ip地址" port="logstash部署端口號(hào)" protocol="TCP">
            <PatternLayout pattern="${PATTERN}" />
            <!--<JsonLayout properties="true"/>-->
        </Socket>

        <!-- logstash Gelf連接配置-->
        <!--<Gelf name="logstash-gelf" host="udp:logstash部署ip地址" port="logstash部署端口號(hào)" version="1.1" ignoreExceptions="true">
            <Field name="timestamp" pattern="%d{yyyy-MM-dd HH:mm:ss.SSS}" />
            <Field name="logger" pattern="%logger" />
            <Field name="level" pattern="%level" />
            <Field name="simpleClassName" pattern="%C{1}" />
            <Field name="className" pattern="%C" />
            <Field name="method" pattern="%M" />
            <Field name="line" pattern="%L" />
            <Field name="server" pattern="%host" />
        </Gelf>-->
    </appenders>

    <!--Logger節(jié)點(diǎn)用來(lái)單獨(dú)指定日志的形式，比如要為指定包下的class指定不同的日志級(jí)別等。-->
    <!--然后定義loggers，只有定義了logger并引入的appender，appender才會(huì)生效-->
    <loggers>

        <!--過(guò)濾掉spring和mybatis的一些無(wú)用的DEBUG信息-->
        <logger name="org.mybatis" level="info" additivity="false">
            <AppenderRef ref="Console"/>
        </logger>
        <!--監(jiān)控系統(tǒng)信息-->
        <!--若是additivity設(shè)為false，則 子Logger 只會(huì)在自己的appender里輸出，而不會(huì)在 父Logger 的appender里輸出。-->
        <Logger name="org.springframework" level="info" additivity="false">
            <AppenderRef ref="Console"/>
        </Logger>

        <Logger name="com.security.persisence" level="debug" additivity="false">
            <AppenderRef ref="Console"/>
            <appender-ref ref="RollingFileDebug"/>
        </Logger>

        <AsyncLogger name="com.security" level="info" includeLocation="false" >
            <!--<appender-ref ref="Console"/>-->
            <appender-ref ref="logstash" />
        </AsyncLogger>

        <root level = "info">
            <appender-ref ref="Console"/>
            <appender-ref ref="RollingFileInfo"/>
            <appender-ref ref="RollingFileError"/>
            <!--<appender-ref ref="RollingFileWarn"/>-->
            <!--<appender-ref ref="RollingFileDebug"/>-->
            <!--<appender-ref ref="Filelog"/>-->

            <!-- logstash 配置-->
            <appender-ref ref="logstash" />
        </root>
    </loggers>

</configuration>

轉(zhuǎn)載：springboot集成log4j2 + logstash 異步輸出日志
轉(zhuǎn)載：Springboot通過(guò)log4j2+logstash整合日志到Elasticsearch中

記部署過(guò)程中遇到的問(wèn)題以及解決方法

• 問(wèn)題1：Kibana 在config/kibana.yaml 中修改host ,把默認(rèn)的 http://elasticsearch:9200改為 http://localhost:9200，啟動(dòng)報(bào)錯(cuò)，查看日志：

# docker logs 容器ID， 查看的日志信息：
2023-06-14 16:15:32 {"type":"log","@timestamp":"2023-06-14T08:15:32Z","tags":["warning","elasticsearch","admin"],"pid":1,"message":"No living connections"}
2023-06-14 16:15:32 {"type":"log","@timestamp":"2023-06-14T08:15:32Z","tags":["warning","task_manager"],"pid":1,"message":"PollError No Living connections"}

解決辦法：
把kibana.yaml里面的host改為主機(jī)的真實(shí)IP（內(nèi)網(wǎng)172網(wǎng)段ip）

• 問(wèn)題2：logstash 修改文件：config/logstash.yml、pipeline/logstash.yml文件時(shí)，把elasticsearch的hosts中的IP地址改為localhost/127.0.0.1時(shí)，啟動(dòng)報(bào)錯(cuò)，查看日志：

2023-06-14 16:01:53 [2023-06-14T08:01:53,270][WARN ][logstash.outputs.elasticsearch] Attempted to resurrect connection to dead ES instance, but got an error. {:url=>"http://127.0.0.1:9200/", :error_type=>LogStash::Outputs::ElasticSearch::HttpClient::Pool::HostUnreachableError, :error=>"Elasticsearch Unreachable: [http://127.0.0.1:9200/][Manticore::SocketException] Connection refused (Connection refused)"}

解決辦法：
把config/logstash.yml、pipeline/logstash.yml文件里面elasticsearch的hostsIP地址改為主機(jī)的真實(shí)IP（內(nèi)網(wǎng)172網(wǎng)段ip）

filebeat未完善內(nèi)容

docker pull docker.elastic.co/beats/filebeat:7.2.0
docker run -d --restart=always  --name filebeat  docker.elastic.co/beats/filebeat:7.2.0