集群的一些概念

集群

一個(gè)集群cluster由一個(gè)或者多個(gè)節(jié)點(diǎn)組成，具有相同的cluster.name，協(xié)同工作，分項(xiàng)數(shù)據(jù)和負(fù)載。當(dāng)有新的節(jié)點(diǎn)加入或者刪除了一個(gè)節(jié)點(diǎn)時(shí)，集群回感知到并能夠平衡數(shù)據(jù)。ElasticSearch中可以監(jiān)控很多信息，有一個(gè)最重要的就是集群健康。集群健康有三個(gè)狀態(tài)：green（所有主要分片和復(fù)制分片都可用），yellow（所有主要分片可用，但不是所有復(fù)制分片都可用），red（不是所有的主要分片都可用）。

節(jié)點(diǎn)

一個(gè)節(jié)點(diǎn)node就是一個(gè)ElasticSearch的實(shí)例。 集群中的一個(gè)節(jié)點(diǎn)會(huì)被選舉為主節(jié)點(diǎn)master，它將臨時(shí)管理集群級(jí)別的一些變更，譬如新建或者刪除索引、增加或者移除節(jié)點(diǎn)等等。主節(jié)點(diǎn)不參與文檔級(jí)別的變更或者搜索，所以不會(huì)成為集群的瓶頸。任何節(jié)點(diǎn)都可以成為主節(jié)點(diǎn)。 用戶能夠與集群中的任何節(jié)點(diǎn)通信，包括主節(jié)點(diǎn)。每一個(gè)節(jié)點(diǎn)都知道文檔存在于哪個(gè)節(jié)點(diǎn)上，可以轉(zhuǎn)發(fā)請(qǐng)求到相應(yīng)的節(jié)點(diǎn)上。

分片

一個(gè)分片shard是一個(gè)最小級(jí)別的工作單元，es把一個(gè)完整的索引分成多個(gè)分片。僅保存了索引中所有數(shù)據(jù)的一部分。 分片就是一個(gè)Lucene實(shí)例，并且它本身就是一個(gè)完整的搜索引擎。 文檔存儲(chǔ)在分片中，并且在分片中被索引，但是程序不會(huì)直接與分片通信，而是與索引通信。
Replicas分片：代表索引副本。es可以設(shè)置多個(gè)索引的副本，副本的作用是提高了系統(tǒng)的容錯(cuò)性。當(dāng)某個(gè)節(jié)點(diǎn)的分片損壞或者丟失的時(shí)候可以從副本中恢復(fù)。還可以提高查詢搜索效率，es會(huì)自動(dòng)對(duì)搜索請(qǐng)求進(jìn)行負(fù)載均衡。

Elasticsearch配置參數(shù)說(shuō)明

分析主docker-compose文件

詳細(xì)docker-compose文件請(qǐng)見文章末尾附件
elasticsearch主節(jié)點(diǎn)

image.png

• discovery.zen.minimum_master_nodes=2 設(shè)置最新主節(jié)點(diǎn)數(shù)，有助于防止腦裂
• node.name=elasticsearch 指定節(jié)點(diǎn)名字
• cluster.name=es-docker-cluster 指定集群名字
• discovery.seed_hosts=es02,es03 寫入除自己以外的候選主節(jié)點(diǎn)的設(shè)備地址，來(lái)開啟服務(wù)時(shí)就可以被選為主節(jié)點(diǎn)
• cluster.initial_master_nodes=elasticsearch,es02,es03 寫入全部的候選主節(jié)點(diǎn)的設(shè)備地址，來(lái)開啟服務(wù)時(shí)就可以被選為主節(jié)點(diǎn)
• bootstrap.memory_lock=true 在ES運(yùn)行起來(lái)后鎖定ES所能使用的堆內(nèi)存大小，鎖定內(nèi)存大小一般為可用內(nèi)存的一半左右；鎖定內(nèi)存后就不會(huì)使用交換分區(qū)。如果不打開此項(xiàng)，當(dāng)系統(tǒng)物理內(nèi)存空間不足，ES將使用交換分區(qū)，ES如果使用交換分區(qū)，那么ES的性能將會(huì)變得很差

從節(jié)點(diǎn)es02：

從節(jié)點(diǎn)es02.png

從節(jié)點(diǎn)es03.png

重啟docker-compose
建議down掉之前的docker-compose，再up開啟，防止restart容器前，需要修改 elasticsearch容器內(nèi)的elasticsearch.yml文件

image.png

docker-compose up后訪問(wèn)http://localhost:9200/使用谷歌的Elasticsearch Head插件,可觀察到主節(jié)點(diǎn)和從節(jié)點(diǎn)信息

image.png

• 粗框是主節(jié)點(diǎn)，細(xì)框是從節(jié)點(diǎn)
  
  image.png

附件：

主docker-compose.yml文件

version: "3.2"
services:
    elasticsearch:           #主節(jié)點(diǎn)master
      image: docker.elastic.co/elasticsearch/elasticsearch:7.4.2
      container_name: elasticsearch
      networks:
        - "elk-net"
      ports:
        - "9200:9200"
      environment:
        - discovery.zen.minimum_master_nodes=2      #設(shè)置最新主節(jié)點(diǎn)數(shù)，有助于防止 腦裂 
        - node.name=elasticsearch      #指定節(jié)點(diǎn)名字
        - cluster.name=es-docker-cluster       #指定集群名字
        - discovery.seed_hosts=es02,es03   #寫入除自己以外的候選主節(jié)點(diǎn)的設(shè)備地址，來(lái)開啟服務(wù)時(shí)就可以被選為主節(jié)點(diǎn)
        - cluster.initial_master_nodes=elasticsearch,es02,es03  #寫入全部的候選主節(jié)點(diǎn)的設(shè)備地址，來(lái)開啟服務(wù)時(shí)就可以被選為主節(jié)點(diǎn)
        - bootstrap.memory_lock=true   #在ES運(yùn)行起來(lái)后鎖定ES所能使用的堆內(nèi)存大小，鎖定內(nèi)存大小一般為可用內(nèi)存的一半左右；鎖定內(nèi)存后就不會(huì)使用交換分區(qū)。如果不打開此項(xiàng)，當(dāng)系統(tǒng)物理內(nèi)存空間不足，ES將使用交換分區(qū)，ES如果使用交換分區(qū)，那么ES的性能將會(huì)變得很差
        - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
      ulimits:
        memlock:
          soft: -1
          hard: -1

       #- cluster.initial_master_nodes=single-node
       # - discovery.type=single-node

    es02:    #從節(jié)點(diǎn)
      image: docker.elastic.co/elasticsearch/elasticsearch:7.4.2
      container_name: es02
      networks:
        - "elk-net"
      # ports:     #不用設(shè)定端口，自動(dòng)生成即可
      #   - "9200:9200"
      environment:
        - discovery.zen.minimum_master_nodes=2
        - node.name=es02
        - cluster.name=es-docker-cluster
        - discovery.seed_hosts=elasticsearch,es03
        - cluster.initial_master_nodes=elasticsearch,es02,es03
        - bootstrap.memory_lock=true
        - "ES_JAVA_OPTS=-Xms1024m -Xmx1024m"
      ulimits:
        memlock:
          soft: -1
          hard: -1

    es03:     #從節(jié)點(diǎn)
      image: docker.elastic.co/elasticsearch/elasticsearch:7.4.2
      container_name: es03
      networks:
        - "elk-net"
      # ports:
      #   - "9200:9200"
      environment:
        - discovery.zen.minimum_master_nodes=2
        - node.name=es03
        - cluster.name=es-docker-cluster
        - discovery.seed_hosts=elasticsearch,es02
        - cluster.initial_master_nodes=elasticsearch,es02,es03
        - bootstrap.memory_lock=true
        - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
      ulimits:
        memlock:
          soft: -1
          hard: -1


    filebeat:
      image: docker.elastic.co/beats/filebeat:7.4.2
      volumes:
        - type: bind
          source: "/home/ELK/filebeat/2018.log"
          target: "/2018.log"
        - type: bind
          source: "/home/ELK/filebeat/filebeat.yml"
          target: "/usr/share/filebeat/filebeat.yml"
      networks:
        - "elk-net"
      depends_on:
        - "logstash"
    logstash:
      image: docker.elastic.co/logstash/logstash:7.4.2
      container_name: logstash
      volumes:
        - type: bind
          source: "/home/ELK/filebeat/2018.log"
          target: "/2018.log"
        - type: bind
          source: "/home/ELK/logstash/logstash_stdout.conf"
          target: "/usr/share/logstash/pipeline/logstash.conf"
      networks:
        - "elk-net"
    kibanna:
      image:  docker.elastic.co/kibana/kibana:7.4.2
      networks:
        - "elk-net"
      ports:
        - "5601:5601"
      depends_on:
        - "elasticsearch"
networks:
    elk-net:

• logstash_stdout.conf文件

input {
  beats {
    port => 5044        
    host => "0.0.0.0"
  }
}

#output {
#  stdout { codec => rubydebug }
#}



#filter {
#    grok {
#        match => { "message" => "%{COMBINEDAPACHELOG}"}
#    }
#    geoip {
#        source => "clientip"
#    }
#}

filter {
  if ([fileset][module] == "nginx") {
    if ([fileset][name] == "access") {
      grok {
        match => { "message" => ["%{IPORHOST:[nginx][access][remote_ip]} - %{DATA:[nginx][access][user_name]} \[%{HTTPDATE:[nginx][access][time]}\] \"%{WORD:[nginx][access][method]} %{DATA:[nginx][access][url]} HTTP/%{NUMBER:[nginx][access][http_version]}\" %{NUMBER:[nginx][access][response_code]} %{NUMBER:[nginx][access][body_sent][bytes]} \"%{DATA:[nginx][access][referrer]}\" \"%{DATA:[nginx][access][agent]}\""] }
        remove_field => "message"
      }
      mutate {
        add_field => { "read_timestamp" => "%{@timestamp}" }
      }
      date {
        match => [ "[nginx][access][time]", "dd/MMM/YYYY:H:m:s Z" ]
        remove_field => "[nginx][access][time]"
      }
      useragent {
        source => "[nginx][access][agent]"
        target => "[nginx][access][user_agent]"
        remove_field => "[nginx][access][agent]"
      }
      geoip {
        source => "[nginx][access][remote_ip]"
        target => "[nginx][access][geoip]"
      }
    }
    else if [fileset][name] == "error" {
      grok {
        match => { "message" => ["%{DATA:[nginx][error][time]} \[%{DATA:[nginx][error][level]}\] %{NUMBER:[nginx][error][pid]}#%{NUMBER:[nginx][error][tid]}: (\*%{NUMBER:[nginx][error][connection_id]} )?%{GREEDYDATA:[nginx][error][message]}"] }
        remove_field => "message"
      }
      mutate {
        rename => { "@timestamp" => "read_timestamp" }
      }
      date {
        match => [ "[nginx][error][time]", "YYYY/MM/dd H:m:s" ]
        remove_field => "[nginx][error][time]"
      }
    }
  }
}

output {
  elasticsearch {
    hosts => ["elasticsearch:9200"] 
    manage_template => false
    index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
  }
  # stdout { codec => rubydebug }  # 假如有問(wèn)題，可以打開此行進(jìn)行調(diào)試
}

工作目錄文件結(jié)構(gòu)