前言
現(xiàn)在mysql自建集群方案有多種,keepalived、MHA、PXC、MYSQL主備等,但是目前根據(jù)自身情況和條件,選擇使用pxc的放來(lái)進(jìn)行搭建,最大的好處就是,多主多備,即主從一體,沒(méi)有同步延時(shí)問(wèn)題,方便易用。
本人使用過(guò),直接安裝pxc和docker容器方式的安裝,個(gè)人覺(jué)得docker下安裝更為方便,也更易維護(hù),所以也推薦大家使用此方式。
搭建環(huán)境
| 環(huán)境 |
|---|
| centos7 |
| pxc版本鏡像:最新版,目前為8.0+ |
| 主機(jī)ip | 部署 | swarm |
|---|---|---|
| 172.16.9.40 | pxc1 | manager |
| 172.16.9.41 | pxc2 | worker |
| 172.16.9.42 | pxc3 | worker |
| 172.16.9.48 | nginx 做負(fù)載 |
前期準(zhǔn)備
linux需要關(guān)閉防火墻,或者開(kāi)啟某些需要的端口;pxc會(huì)自帶mysql,版本是對(duì)應(yīng)一致的,所以機(jī)子上不需要mysql;最好關(guān)閉SELINUX,linux自帶的安全增強(qiáng)。
注意這些配置,三臺(tái)機(jī)子上都要操作。
1、開(kāi)放pxc所需端口
| 端口 | 功能 |
|---|---|
| 3306 | mysql數(shù)據(jù)庫(kù) |
| 4567 | pxc cluster 相互通訊端口 |
| 4444 | sst全量傳輸 |
| 4568 | ist增量傳輸 |
這里給出一些linux下防火墻的命令相關(guān)
# 查詢(xún)防火墻狀態(tài)
systemctl status firewalld
# 查詢(xún)防火墻狀態(tài)
firewall-cmd --state
# 查詢(xún)8080端口是否開(kāi)放
firewall-cmd --query-port=8080/tcp
# 開(kāi)放80端口
firewall-cmd --permanent --add-port=80/tcp
# 移除端口
firewall-cmd --permanent --remove-port=8080/tcp
清理防火墻
iptables -F
2、關(guān)閉SELINUX、關(guān)閉mysql
永久關(guān)閉:
vi /etc/selinux/config
設(shè)置SELINUX為disable,然后reboot機(jī)子
臨時(shí)關(guān)閉:
setenforce 0
關(guān)閉mysql
systemctl status mysql
systemctl stop mysql
3、創(chuàng)建docker swarm集群
swarm也需要一些端口的開(kāi)放,當(dāng)然如果你是關(guān)閉防火墻就無(wú)需多言
| 端口 | 功能 |
|---|---|
| 2377 | 用于集群通信 |
| 4789 | 容器覆蓋網(wǎng)絡(luò) |
| 7946 | 容器網(wǎng)絡(luò)發(fā)現(xiàn) |
我這里是172.16.9.40作為主節(jié)點(diǎn)
docker swarm init 主節(jié)點(diǎn)的初始化
docker swarm join --token xxxx xxxx 其他節(jié)點(diǎn)的加入
40主節(jié)點(diǎn) init之后,控制臺(tái)就會(huì)出現(xiàn) docker swarm join --token xxxx xxxx
然后41,42機(jī)子,就調(diào)用對(duì)應(yīng)的命令,即可加入swarm集群
docker node ls
可以查看現(xiàn)在的node信息,如下
root@srig config]# docker node ls
ID HOSTNAME STATUS AVAILABILITY MANAGER STATUS ENGINE VERSION
vk3kzrob1b8jvjq9bxia8lwa7 * srig.dcmp.database.m1 Ready Active Leader 20.10.3
4s0pj57d43hm71wipnnbckfkt srig.dcmp.database.m2 Ready Active 20.10.3
ub1fe2qms2rlhmj9zlap20bsq srig.dcmp.database.s1 Ready Active 20.10.3
docker node rm -f xxx 強(qiáng)制刪除節(jié)點(diǎn)
docker swarm leave -f 主節(jié)點(diǎn)強(qiáng)制離開(kāi)swarm集群
docker swarm leave 從節(jié)點(diǎn)離開(kāi)swarm集群
4、創(chuàng)建虛擬網(wǎng)絡(luò)
docker network create -d overlay --attachable xxxxx
其他相關(guān)命令
docker network inspect xxxx 查看改網(wǎng)絡(luò)信息
docker network ls 查看所有網(wǎng)絡(luò)信息
docker network rm xxxx 刪除網(wǎng)絡(luò)
這里網(wǎng)絡(luò)名就叫,swarm_mysql,創(chuàng)建好了網(wǎng)絡(luò)之后,docker network inspect swarm_mysql 查看(我這里是節(jié)點(diǎn)建立好了之后,就可以看到,有三臺(tái)機(jī)子)
5、創(chuàng)建目錄及cert證書(shū)
如果你是8.0+且沒(méi)有使用相同的證書(shū),那么你肯定會(huì)遇到一個(gè)ssl相關(guān)的錯(cuò)誤
“error:0407008A:rsa routines:RSA_padding_check_PKCS1_type_1:invalid padding”
這是因?yàn)?.0后,是ssl來(lái)連接,三臺(tái)機(jī)子,就必須保持密鑰的一致性才可以通信。
這是官方的解決方案,生成證書(shū),大家使用同一套。
創(chuàng)建目錄
一般情況下我們最好看一下系統(tǒng)磁盤(pán)的分區(qū)情況,然后把mysql的數(shù)據(jù)要放到大的磁盤(pán)上
df -h
我這里/home下面最大,所以我的數(shù)據(jù)都是在/home下面
!注意這里的目錄在三臺(tái)機(jī)子上都要做相同的操作創(chuàng)建
cd /home
mkdir -m 777 pxc_cert 證書(shū)
mkdir -m 777 pxc_config mysql自定義配置文件
mkdir -m 777 pxc_data 數(shù)據(jù)
注意:這里需要給予權(quán)限,不然很多地方會(huì)報(bào)錯(cuò)
創(chuàng)建custom.cnf
cd /home/pxc_config
vi custom.cnf
輸入內(nèi)容 這里我們
[mysqld]
lower_case_table_names=1
sql_mode=STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_ENGINE_SUBSTITUTION
ssl-ca = /cert/ca.pem
ssl-cert = /cert/server-cert.pem
ssl-key = /cert/server-key.pem
[client]
ssl-ca = /cert/ca.pem
ssl-cert = /cert/client-cert.pem
ssl-key = /cert/client-key.pem
[sst]
encrypt = 4
ssl-ca = /cert/ca.pem
ssl-cert = /cert/server-cert.pem
ssl-key = /cert/server-key.pem
我這里需要設(shè)置數(shù)據(jù)庫(kù)不區(qū)分大小寫(xiě) 和 8.0以后 可以使用group by
創(chuàng)建cert證書(shū)
docker run --name pxc-cert --rm -v /home/pxc_cert:/cert \
percona/percona-xtradb-cluster:8.0 mysql_ssl_rsa_setup -d /cert
就能在/home/pxc_cert目錄下創(chuàng)建證書(shū)文件
!注意這里的證書(shū)創(chuàng)建好,需要拷貝到其他兩臺(tái)機(jī)子上的相應(yīng)目錄去
scp -r root@172.16.9.40:/home/pxc_cert /Users/jafir/downloads/pxc_cert
下載到本地
scp -r /Users/jafir/Downloads/pxc_cert root@172.16.9.41:/home/
scp -r /Users/jafir/Downloads/pxc_cert root@172.16.9.42:/home/
上傳到41 42其他兩臺(tái)機(jī)子
!注意:三臺(tái)機(jī)子都需要給你證書(shū)文件權(quán)限
cd /home/pxc_cert
chmod 777 *
搭建pxc集群
1、安裝鏡像
docker pull percona/percona-xtradb-cluster
名字有點(diǎn)長(zhǎng),可以tag重命名
docker tag percona/percona-xtradb-cluster pxc
刪除原來(lái)的
docker rmi percona/percona-xtradb-cluster
2、多臺(tái)機(jī)子創(chuàng)建容器
我這里是40主節(jié)點(diǎn),其他是叢節(jié)點(diǎn),所以40先開(kāi)始創(chuàng)建
172.9.16.40主節(jié)點(diǎn)
docker run -d -p 3306:3306 --net=swarm_mysql \
-e MYSQL_ROOT_PASSWORD=asdw@123 \
-e CLUSTER_NAME=pxc_cluster \
-e XTRABACKUP_PASSWORD=asdw@123 \
-v /home/pxc_data:/var/lib/mysql \
-v /home/pxc_cert:/cert \
-v /home/pxc_config/:/etc/percona-xtradb-cluster.conf.d \
--privileged --name=pxc1 pxc
命令解讀:
docker run -d
-p 3306:3306 3306端口映射
--net=swarm_mysql 虛擬網(wǎng)絡(luò)名字
-e MYSQL_ROOT_PASSWORD=asdw@123 數(shù)據(jù)庫(kù)初始密碼
-e CLUSTER_NAME=pxc_cluster 集群名字
-e XTRABACKUP_PASSWORD=asdw@123 備份密碼
-v /home/pxc_cert:/cert 證書(shū)路徑映射
-v /home/pxc:/var/lib/mysql pxc路徑映射
-v /home/pxc/config/:/etc/percona-xtradb-cluster.conf.d mysql配置文件路徑映射
--privileged 給予權(quán)限
--name=pxc1 pxc
可以docker logs pxc1看看日志是否報(bào)錯(cuò)等
如果成功,你可以用Navicat連接看看是否成功啟動(dòng)了mysql,啟動(dòng)了之后再安裝從節(jié)點(diǎn)。
172.9.16.41節(jié)點(diǎn)
docker run -d -p 3306:3306 --net=swarm_mysql \
-e MYSQL_ROOT_PASSWORD=asdw@123 \
-e CLUSTER_NAME=pxc_cluster \
-e XTRABACKUP_PASSWORD=asdw@123 \
-v /home/pxc_data:/var/lib/mysql \
-v /home/pxc_cert:/cert \
-v /home/pxc_config/:/etc/percona-xtradb-cluster.conf.d \
-e CLUSTER_JOIN=pxc1 \
--privileged --name=pxc2 pxc
這里跟上面比起來(lái),多了一句 -e CLUSTER_JOIN=pxc1 ,表示加入pxc1。
為第2臺(tái)機(jī)子可以知道pxc1呢?就是因?yàn)閟warm集群的建立,讓彼此可以相互通信。
172.9.16.42節(jié)點(diǎn)
docker run -d -p 3306:3306 --net=swarm_mysql \
-e MYSQL_ROOT_PASSWORD=asdw@123 \
-e CLUSTER_NAME=pxc_cluster \
-e XTRABACKUP_PASSWORD=asdw@123 \
-v /home/pxc_data:/var/lib/mysql \
-v /home/pxc_cert:/cert \
-v /home/pxc_config/:/etc/percona-xtradb-cluster.conf.d \
-e CLUSTER_JOIN=pxc1 \
--privileged --name=pxc3 pxc
注意:如果你是8.0+那么你肯定會(huì)遇到一個(gè)ssl相關(guān)的錯(cuò)誤
“error:0407008A:rsa routines:RSA_padding_check_PKCS1_type_1:invalid padding”
這是因?yàn)?.0后,是ssl來(lái)連接,三臺(tái)機(jī)子,就必須保持密鑰的一致性才可以通信。
這是官方的解決方案,生成證書(shū),大家使用同一套。我這邊,就簡(jiǎn)單點(diǎn),直接把主機(jī)點(diǎn)那臺(tái)的文件考出來(lái),然后傳輸給其他兩臺(tái)機(jī)子,覆蓋之后,重啟即可。
server-key.pem、server-cert.pem、client-key.pem、client-cert.pem、ca.pem
scp -r root@172.16.9.40:/home/pxc /Users/jafir/Downloads/pxc
從40節(jié)點(diǎn),把數(shù)據(jù)拷貝下來(lái),然后刪除里面除了那5個(gè)文件的其他文件
scp -r /Users/jafir/Downloads/pxc root@172.16.9.41:/home
再上傳到41、42上面去覆蓋,然后重啟即可
成功
如果三臺(tái)都成功了,再確認(rèn)一下。
主節(jié)點(diǎn)進(jìn)入容器,再進(jìn)入mysql查看
docker exec -it pxc1 sh
mysql -uroot -p
show status like 'wsrep%';
不出意外,這里cluster size就是3臺(tái)
docker network inspect xxx
網(wǎng)絡(luò)也是3個(gè)
校驗(yàn)
你可以在其中一臺(tái)上Navicat 創(chuàng)建一個(gè)數(shù)據(jù)庫(kù),一張表等,就可以看到3臺(tái)都同步了!
nginx負(fù)載
nginx我是放在172.16.9.48上面的
如果沒(méi)有nginx.conf配置文件,可以先隨便建一個(gè),然后把配置考出來(lái)
自建/nginx/log /nginx/etc/nginx.conf等
docker run -d -name nginx nginx
docker cp nginx:/etc/nginx/nginx.conf 拷貝出來(lái)
docker rm -f nginx
nginx.conf的配置修改
在最后一行添加,也就是和http同級(jí)
stream {
upstream pxc {
server 172.16.9.40:3306;
server 172.16.9.41:3306;
server 172.16.9.42:3306;
}
server {
listen 3306;
proxy_pass pxc;
}
}
docker run --net=host --name nginx -v /nginx/log/:/var/log/nginx -v /nginx/etc/nginx.conf:/etc/nginx/nginx.conf -d nginx
然后Navicat連接http://172.16.9.48:3306也可以連上數(shù)據(jù)庫(kù)啦
關(guān)于作者
作者是一個(gè)熱愛(ài)學(xué)習(xí)、開(kāi)源、分享,傳播正能量,喜歡打籃球、頭發(fā)還很多的程序員-。-
熱烈歡迎大家關(guān)注、點(diǎn)贊、評(píng)論交流!
簡(jiǎn)書(shū):http://www.itdecent.cn/u/d234d1569eed
github:https://github.com/fly7632785