一。elasticsearch Docker安裝集群
- 版本7.6.2
- 拉取es鏡像: 可能有點慢, 具體還沒有找到解決方法
docker pull docker.elastic.co/elasticsearch/elasticsearch:7.6.2
- 編寫docker-compose.yml文件
version: '2.2'
services:
#節(jié)點1
es01:
image: docker.elastic.co/elasticsearch/elasticsearch:7.6.2
container_name: es01
environment:
- node.name=es01
- cluster.name=es-docker-cluster
- discovery.seed_hosts=es02,es03
- cluster.initial_master_nodes=es01,es02
- bootstrap.memory_lock=true
- "ES_JAVA_OPTS=-Xms512m -Xmx512m"
ulimits:
memlock:
soft: -1
hard: -1
volumes:
#掛在數(shù)據(jù)文件和配置文件到宿主機
- /root/docker_service/elasticsearch/data/d01:/usr/share/elasticsearch/data
- /root/docker_service/elasticsearch/config/es01/config:/usr/share/elasticsearch/config
ports:
- 9200:9200
networks:
- elastic
restart: always
#節(jié)點2
es02:
image: docker.elastic.co/elasticsearch/elasticsearch:7.6.2
container_name: es02
environment:
- node.name=es02
- cluster.name=es-docker-cluster
- network.host=es02
- discovery.seed_hosts=es01,es03
- cluster.initial_master_nodes=es01,es02
- bootstrap.memory_lock=true
- "ES_JAVA_OPTS=-Xms512m -Xmx512m"
ulimits:
memlock:
soft: -1
hard: -1
volumes:
- /root/docker_service/elasticsearch/data/d02:/usr/share/elasticsearch/data
- /root/docker_service/elasticsearch/config/es02/config:/usr/share/elasticsearch/config
networks:
- elastic
restart: always
networks:
elastic:
driver: bridge
- 啟動容器
docker-compose up -d
- 檢測是否啟動成功
curl 127.0.0.1:9200
- 遇到的坑
注：本人用的是虛擬機安裝的centos7, 如果是生產(chǎn)環(huán)境的正式服務器，不一定會遇見下面的坑。
- 查看容器日志，出現(xiàn)一下錯誤。原因：安裝的vm虛擬機分配的內(nèi)存太小，我分配的是1G，改為4G，解決以下錯誤
OpenJDK 64-Bit Server VM warning: Option UseConcMarkSweepGC was deprecated in version 9.0 and will likely be removed in a future release
- 查看容器日志，出現(xiàn)一下錯誤。原因：掛在的宿主機目錄權(quán)限不夠，我直接暴力改為 chmod 777 xxx -R
ElasticsearchException[failed to bind service]; nested: AccessDeniedException[/usr/share/elasticsearch/data/nodes]
- 查看日志，出現(xiàn)一下錯誤。原因：docker容器擁有的虛擬存儲太小，默認為65530，改為262144，可能需要重啟服務器才能生效或者執(zhí)行 /sbin/sysctl -p 指令。編輯/etc/sysctl.conf，文件尾添加：vm.max_map_count=262144
ERROR: [1] bootstrap checks failed
[1]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
二。kibana可視化工具安裝，不采用docker
- 下載7.6.2版本的，官網(wǎng)下載比較慢，可以通過國內(nèi)加速網(wǎng)站下載
https://www.newbe.pro/Mirrors/Mirrors-Kibana/
- 修改kibana的配置文件， 配置文件在解壓目錄下的 config/kibana.yml，修改以下下配置
-
端口，host改為0.0.0.0可以提供外部訪問
image.png
2.添加elasticsearch的ip和端口，可以添加多個，主要針對es的集群
image.png
3.修改中文風格界面
image.png
- 啟動kibana
/解壓目錄/bin/kibana --allow-root #本人使用的是centos root賬戶，不添加 --allow-root啟動不了
- 打開瀏覽器輸入 http://ip:5601 就可以看到kibana界面了。
- 注：記得開啟防火墻的5601端口
三。go 日志推送到elasticsearch示例代碼
- 首先需要下載三個go代碼的依賴包
#第一個：elastic客戶端開發(fā)包
go get -u github.com/olivere/elastic/v7
#第二個：logrus開發(fā)包
go get -u github.com/sirupsen/logrus
#第三個：將logrus日志推送到elasticsearch插件，也成為hook鉤子
go get -u gopkg.in/sohlich/elogrus.v7
*示例代碼
package main
#包依賴
import (
"github.com/olivere/elastic/v7"
"github.com/sirupsen/logrus"
"gopkg.in/sohlich/elogrus.v7"
)
var log *logrus.Logger
func init() {
log = logrus.New() #創(chuàng)建logrus對象
log.Formatter = &logrus.JSONFormatter{} #設置logrus的日志格式為json
#創(chuàng)建elasticsearch客戶端
client, err := elastic.NewClient(elastic.SetSniff(false),elastic.SetURL("http://192.168.6.128:9200"))
if err != nil {
log.Panic(err)
}
#將logrus和elastic綁定，localhost 是指定該程序執(zhí)行時的ip
hook, err := elogrus.NewElasticHook(client, "localhost", log.Level, "mylog")
if err != nil {
log.Panic(err)
}
log.AddHook(hook)
}
func main() {
#日志
log.WithFields(logrus.Fields{}).Info("hello world")
log.WithFields(logrus.Fields{}).Info("A group of walrus emerges from the ocean")
select {}
}
- 執(zhí)行代碼: go run main.go
-
打開kibana可以看到已經(jīng)有該日志image.png
