94_es生產(chǎn)集群部署之從零開(kāi)始搭建一套4個(gè)節(jié)點(diǎn)的2核4G虛擬機(jī)集群

94_es生產(chǎn)集群部署之從零開(kāi)始搭建一套4個(gè)節(jié)點(diǎn)的2核4G虛擬機(jī)集群

這塊我們跟大家說(shuō)一下,一般來(lái)說(shuō),你即使要圍繞es搭建一個(gè)集群的話,也建議至少4~5個(gè)節(jié)點(diǎn),因?yàn)槠鋵?shí)不光是es,后面可能還有kibana,logstash,elk生態(tài)棧的其他的東西要部署,包括這個(gè)高手進(jìn)階篇的課程,后面也是會(huì)不斷的免費(fèi)升級(jí)的,后面再出幾個(gè)課程,單獨(dú)收費(fèi),講解運(yùn)維,項(xiàng)目,ELK,等等。但是后來(lái)覺(jué)得說(shuō),既然大家都很支持我們,我們說(shuō)還是決定敢說(shuō),對(duì)已經(jīng)購(gòu)買(mǎi)高級(jí)篇的同學(xué),會(huì)不斷免費(fèi)升級(jí),第二版,運(yùn)維,第三版,搜索項(xiàng)目,第四版,ELK

部署一個(gè)4個(gè)節(jié)點(diǎn)的虛擬機(jī)集群,每個(gè)虛擬機(jī)是2核4G,我的筆記本是24G,雙核的,16G,宿主機(jī)留8G內(nèi)存

用2核4G,虛擬cpu core,4臺(tái),基本可以去模擬真實(shí)的生產(chǎn)環(huán)境

包括我們接下來(lái)的一些部署,都盡量用接近生產(chǎn)環(huán)境的標(biāo)準(zhǔn)去部署,讓大家可以體驗(yàn)一下

1、在虛擬機(jī)中安裝CentOS

啟動(dòng)一個(gè)virtual box虛擬機(jī)管理軟件(vmware,我早些年,發(fā)現(xiàn)不太穩(wěn)定,主要是當(dāng)時(shí)搭建一個(gè)hadoop大數(shù)據(jù)的集群,發(fā)現(xiàn)每次休眠以后再重啟,集群就掛掉了)

virtual box,發(fā)現(xiàn)很穩(wěn)定,集群從來(lái)不會(huì)隨便亂掛,所以就一直用virtual box了

安裝virtual box

用的是什么centos鏡像,CentOS比較新的版本是7了,然后服務(wù)器上裝操作系統(tǒng)的話,內(nèi)存一般比較大,一般是安裝64位的,32位的有一個(gè)最大內(nèi)存4G的限制

(1)使用課程提供的CentOS 7鏡像即可,CentOS-7-x86_64-Minimal-1611.iso。

(2)創(chuàng)建虛擬機(jī):打開(kāi)Virtual Box,點(diǎn)擊“新建”按鈕,點(diǎn)擊“下一步”,輸入虛擬機(jī)名稱為elasticsearch01,選擇操作系統(tǒng)為L(zhǎng)inux,選擇版本為Red Hat-64bit,分配4096MB內(nèi)存,后面的選項(xiàng)全部用默認(rèn),在Virtual Disk File location and size中,一定要自己選擇一個(gè)目錄來(lái)存放虛擬機(jī)文件,最后點(diǎn)擊“create”按鈕,開(kāi)始創(chuàng)建虛擬機(jī)。

(3)設(shè)置虛擬機(jī)網(wǎng)卡:選擇創(chuàng)建好的虛擬機(jī),點(diǎn)擊“設(shè)置”按鈕,在網(wǎng)絡(luò)一欄中,連接方式中,選擇“Bridged Adapter”。

(4)安裝虛擬機(jī)中的CentOS 7操作系統(tǒng):選擇創(chuàng)建好的虛擬機(jī),點(diǎn)擊“開(kāi)始”按鈕,選擇安裝介質(zhì)(即本地的CentOS 7鏡像文件),按照課程選擇后自動(dòng)安裝即可

(5)安裝完以后,CentOS會(huì)提醒你要重啟一下,就是reboot,你就reboot就可以了。

(6)配置網(wǎng)絡(luò)

vi /etc/sysconfig/network-scripts/ifcfg-enp0s3

先讓它動(dòng)態(tài)分配一個(gè)ip地址

ONBOOT=yes

service network restart

ip addr

再設(shè)置靜態(tài)ip地址

BOOTPROTO=static

IPADDR=192.168.31.250

NETMASK=255.255.255.0

GATEWAY=192.168.31.1

service network restart

ip addr

配置DNS

檢查NetManager的狀態(tài):systemctl status NetworkManager.service

檢查NetManager管理的網(wǎng)絡(luò)接口:nmcli dev status

檢查NetManager管理的網(wǎng)絡(luò)連接:nmcli connection show

設(shè)置dns:nmcli con mod enp0s3 ipv4.dns "114.114.114.114 8.8.8.8"

讓dns配置生效:nmcli con up enp0s3

(7)配置hosts

vi /etc/hosts

配置本機(jī)的hostname到ip地址的映射

(8)配置SecureCRT

此時(shí)就可以使用SecureCRT從本機(jī)連接到虛擬機(jī)進(jìn)行操作了

一般來(lái)說(shuō),虛擬機(jī)管理軟件,virtual box,可以用來(lái)創(chuàng)建和管理虛擬機(jī),但是一般不會(huì)直接在virtualbox里面去操作,因?yàn)楸容^麻煩,沒(méi)有辦法復(fù)制粘貼

SecureCRT,在windows宿主機(jī)中,去連接virtual box中的虛擬機(jī)

收費(fèi)的,我這里有完美破解版,跟著課程一起給大家,破解

(9)關(guān)閉防火墻

systemctl stop firewalld.service

systemctl disable firewalld.service

關(guān)閉windows的防火墻

后面要搭建集群,有的大數(shù)據(jù)技術(shù)的集群之間,在本地你給了防火墻的話,可能會(huì)沒(méi)有辦法互相連接,會(huì)導(dǎo)致搭建失敗

(10)配置yum

yum clean all

yum makecache

yum install wget


2、在每個(gè)CentOS中都安裝Java

WinSCP,就是在windows宿主機(jī)和linux虛擬機(jī)之間互相傳遞文件的一個(gè)工具

(1)安裝JDK

1、將jdk-8u131-linux-x64.rpm通過(guò)WinSCP上傳到虛擬機(jī)中

2、安裝JDK:rpm -ivh jdk-8u131-linux-x64.rpm

3、配置jdk相關(guān)的環(huán)境變量

vi .bashrc

export JAVA_HOME=/usr/java/latest

export PATH=PATH:JAVA_HOME/bin

source .bashrc

4、測(cè)試jdk安裝是否成功:java -version


3、在4個(gè)虛擬機(jī)中安裝CentOS集群

(1)按照上述步驟,再安裝三臺(tái)一模一樣環(huán)境的linux機(jī)器

(2)另外三臺(tái)機(jī)器的hostname分別設(shè)置為elasticsearch02,elasticsearch03,elasticsearch04

(3)安裝好之后,在每臺(tái)機(jī)器的hosts文件里面,配置好所有的機(jī)器的ip地址到hostname的映射關(guān)系

比如說(shuō),在elasticsearch01的hosts里面

192.168.31.250 elasticsearch01

192.168.31.xxx elasticsearch02

192.168.31.xxx elasticsearch03

192.168.31.xxx elasticsearch04


4、配置4臺(tái)CentOS為ssh免密碼互相通信

(1)首先在三臺(tái)機(jī)器上配置對(duì)本機(jī)的ssh免密碼登錄

ssh-keygen -t rsa

生成本機(jī)的公鑰,過(guò)程中不斷敲回車(chē)即可,ssh-keygen命令默認(rèn)會(huì)將公鑰放在/root/.ssh目錄下

cd /root/.ssh

cp id_rsa.pub authorized_keys

將公鑰復(fù)制為authorized_keys文件,此時(shí)使用ssh連接本機(jī)就不需要輸入密碼了

image.png

(2)接著配置三臺(tái)機(jī)器互相之間的ssh免密碼登錄

使用ssh-copy-id -i hostname命令將本機(jī)的公鑰拷貝到指定機(jī)器的authorized_keys文件中

image.png

可以看到elasticsearch01下面已經(jīng)有4臺(tái)機(jī)器公鑰

image.png

再將密碼copy到其他機(jī)器,如此四臺(tái)機(jī)器之間可以互相無(wú)密碼訪問(wèn)

image.png
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書(shū)系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容