RabbitMQ集群

1、 RabbiMQ簡介

RabbiMQ是Erlang開發(fā)的,集群非常方便,因為Erlang天生就是分布式語言,但其本身并不支持負(fù)載均衡,支持高并發(fā),支持可擴展。支持AJAX,持久化,用于在分布式系統(tǒng)中存儲轉(zhuǎn)發(fā)消息,在易用性、擴展性、高可用性等方面表現(xiàn)不俗。

Ajax 即“Asynchronous Javascript And XML”(異步 JavaScript 和 XML),是指一種創(chuàng)建交互式網(wǎng)頁應(yīng)用的網(wǎng)頁開發(fā)技術(shù)。Ajax = 異步 JavaScript 和 XML

2、RabbitMQ 特點

  • 可靠性

  • 擴展性

  • 高可用性

  • 多種協(xié)議

  • 多語言客戶端

  • 管理界面

  • 插件機制

    3、什么是消息隊列

    MQ 全稱為Message Queue, 消息隊列。是一種應(yīng)用程序?qū)?yīng)用程序的通信方法。應(yīng)用程序通過讀寫出入隊列的消息(針對應(yīng)用程序的數(shù)據(jù))來通信,而無需專用連接來鏈接它們。

    消息傳遞指的是程序之間通過在消息中發(fā)送數(shù)據(jù)進行通信。

4、RabbitMQ模式

注意:RabbitMQ模式大概分為以下三種:
(1)單機模式。
(2)普通模式(默認(rèn)的集群模式)。
(3) 鏡像模式(把需要的隊列做成鏡像隊列,存在于多個節(jié)點,屬于RabbiMQ的HA方案,在對業(yè)務(wù)可靠性要求較高的場合中比較適合)。要實現(xiàn)鏡像模式,需要先搭建出普通集群模式,在這個模式的基礎(chǔ)上再配置鏡像模式以實現(xiàn)高可用。

5、了解集群中的基本概念:

RabbitMQ的集群節(jié)點包括內(nèi)存節(jié)點、磁盤節(jié)點。顧名思義內(nèi)存節(jié)點就是將所有數(shù)據(jù)放在內(nèi)存,磁盤節(jié)點將數(shù)據(jù)放在磁盤。
一個rabbitmq集群中可以共享 user,vhost,queue,exchange等,所有的數(shù)據(jù)和狀態(tài)都是必須在所有節(jié)點上復(fù)制。

Broker:消息隊列服務(wù)器實體
ConnectionFactory(連接管理器):應(yīng)用程序與Rabbit之間建立連接的管理器,程序代碼中使用;
Exchange(交換器):用于接受、分配消息;
Routing Key:路由關(guān)鍵字,exchange根據(jù)這個關(guān)鍵字進行消息投遞;
Queue(隊列):用于存儲生產(chǎn)者的消息;
Bindding:綁定,把exchange和queue按照路由規(guī)則綁定起來。
vhost:虛擬主機,一個broker里可以開設(shè)多個vhost,用作不同用戶的權(quán)限分離.
producer:消息生產(chǎn)者,就是投遞消息的程序。
consumer:消息消費者,就是接受消息的程序。
channel:(信道)消息通道,在客戶端的每個連接里,可建立多個channel,每個channel代表一個會話任務(wù)。消息推送使用的通道;
集群中有兩種節(jié)點

1 內(nèi)存節(jié)點:只保存狀態(tài)到內(nèi)存(持久的queue的持久內(nèi)容將被保存到disk)

2 磁盤節(jié)點:保存狀態(tài)到內(nèi)存和磁盤。---推薦

內(nèi)存節(jié)點雖然不寫入磁盤,但是它執(zhí)行比磁盤節(jié)點要好。集群中,只需要一個磁盤節(jié)點來保存狀態(tài) 就足夠了

如果集群中只有內(nèi)存節(jié)點,那么不能停止它們,否則所有的狀態(tài),消息等都會丟失。

普通集群準(zhǔn)備環(huán)境

注意,三臺服務(wù)器,RabbitMQ集群節(jié)點必須在同一網(wǎng)段,如果是跨域,效果會變差。關(guān)閉防火墻和selinux
192.168.25.154 rabbitmq-1
192.168.25.155 rabbitmq-2
192.168.25.156 rabbitmq-3

1. 配置hosts文件

更改三臺MQ節(jié)點的計算機名分別為rabbitmq-1、rabbitmq-2 和rabbitmq-3,然后修改hosts配置件
修改主機名稱,添加解析
三臺機器都操作:

[root@rabbitmq-1 ~]# hostnamectl set-hostname rabbitmq-1
[root@rabbitmq-1 ~]# vim /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.25.154    rabbitmq-1
192.168.25.155    rabbitmq-2
192.168.25.156    rabbitmq-3

2.三個節(jié)點配置安裝rabbitmq軟件

安裝依賴
[root@rabbitmq-1 ~]# yum install -y *epel* gcc-c++ unixODBC unixODBC-devel openssl-devel ncurses-devel
yum安裝erlang
[root@rabbitmq-1 ~]# wget --content-disposition https://packagecloud.io/rabbitmq/erlang/packages/el/7/erlang-20.3-1.el7.centos.x86_64.rpm/download.rpm
[root@rabbitmq-1 ~]# yum install erlang-20.3-1.el7.centos.x86_64.rpm -y
測試;
[root@rabbitmq-1 ~]# erl
Erlang/OTP 20 [erts-9.3] [source] [64-bit] [smp:1:1] [ds:1:1:10] [async-threads:10] [hipe] [kernel-poll:false]

Eshell V9.3  (abort with ^G)
1>

安裝rabbitmq
[root@rabbitmq-1 ~]# wget https://dl.bintray.com/rabbitmq/all/rabbitmq-server/3.7.5/rabbitmq-server-3.7.5-1.el7.noarch.rpm
[root@rabbitmq-1 ~]# yum install rabbitmq-server-3.7.5-1.el7.noarch.rpm -y

3.啟動

#啟動:
[root@rabbitmq-1 ~]# systemctl daemon-reload
[root@rabbitmq-1 ~]# systemctl start rabbitmq-server
[root@rabbitmq-1 ~]# systemctl enable rabbitmq-server
[root@rabbitmq-1 ~]# systemctl status rabbitmq-server

#每臺都操作開啟rabbitmq的web訪問界面: 
[root@rabbitmq-1 ~]# rabbitmq-plugins enable rabbitmq_management
1585804728482.png

瀏覽器訪問:http://192.168.25.154:15672


image.png

4、創(chuàng)建用戶

注意:在一臺機器操作

#添加用戶和密碼
[root@rabbitmq-1 ~]# rabbitmqctl add_user soho soso
Adding user "soho" ...
[root@rabbitmq-1 ~]# rabbitmqctl list_users
Listing users ...
soho    []
guest   [administrator]
#設(shè)置用戶為管理員
[root@rabbitmq-1 ~]# rabbitmqctl set_user_tags soho administrator
Setting tags for user "soho" to [administrator] ...
#查看用戶
[root@rabbitmq-1 ~]# rabbitmqctl list_users
Listing users ...
guest   [administrator]
soho    [administrator]
...done.
設(shè)置權(quán)限時注意'.*'之間需要有空格 三個'.*'分別代表了conf權(quán)限,read權(quán)限與write權(quán)限 例如:當(dāng)沒有給
soho設(shè)置這三個權(quán)限前是沒有權(quán)限查詢隊列,在ui界面也看不見
[root@rabbitmq-1 ~]# rabbitmqctl set_permissions -p "/" soho ".*" ".*" ".*"
Setting permissions for user "soho" in vhost "/" ...

5、用戶登錄

用戶角色

用戶角色可分為五類,超級管理員, 監(jiān)控者, 策略制定者, 普通管理者以及其他。
(1) 超級管理員(administrator)
可登陸管理控制臺(啟用management plugin的情況下),可查看所有的信息,并且可以對用戶,策略(policy)進行操作。
(2) 監(jiān)控者(monitoring)
可登陸管理控制臺(啟用management plugin的情況下),同時可以查看rabbitmq節(jié)點的相關(guān)信息(進程數(shù),內(nèi)存使用情況,磁盤使用情況等)
(3) 策略制定者(policymaker)
可登陸管理控制臺(啟用management plugin的情況下), 同時可以對policy進行管理。但無法查看節(jié)點的相關(guān)信息(上圖紅框標(biāo)識的部分)。
(4) 普通管理者(management)
僅可登陸管理控制臺(啟用management plugin的情況下),無法看到節(jié)點信息,也無法對策略進行管理。
(5) 其他
無法登陸管理控制臺,通常就是普通的生產(chǎn)者和消費者。
了解了這些后,就可以根據(jù)需要給不同的用戶設(shè)置不同的角色,以便按需管理。

3臺機器都操作:開啟用戶遠(yuǎn)程登錄:

[root@rabbitmq-1 ~]# cd /etc/rabbitmq/   
[root@rabbitmq-1 rabbitmq]# cp /usr/share/doc/rabbitmq-server-3.7.5/rabbitmq.config.example /etc/rabbitmq/rabbitmq.config
[root@rabbitmq-1 rabbitmq]# ls
enabled_plugins  rabbitmq.config
[root@rabbitmq-1 rabbitmq]# vim rabbitmq.config
修改如下:
image.png
三臺機器都操作重啟服務(wù)服務(wù):
[root@rabbitmq-1 ~]# systemctl restart rabbitmq-server

6、查看端口

1564157344617.png
4369 -- erlang端口
5672 --程序連接端口
15672 -- 管理界面ui端口
25672 -- server間內(nèi)部通信端口

!注意如果是云服務(wù)器,切記添加安全組端口放行。
瀏覽器訪問:192.168.25.154:15672

1564157664109.png

1564158056319.png

這里需要注意:
rabbitmq默認(rèn)管理員用戶:guest 密碼:guest
新添加的用戶為:soho 密碼:soso

開始部署集群

三臺機器都操作:

1.首先創(chuàng)建好數(shù)據(jù)存放目錄和日志存放目錄:

[root@rabbitmq-1 ~]# mkdir -p /data/rabbitmq/data
[root@rabbitmq-1 ~]# mkdir -p /data/rabbitmq/logs
[root@rabbitmq-1 ~]# chmod 777 -R /data/rabbitmq
[root@rabbitmq-1 ~]# chown rabbitmq.rabbitmq /data/ -R
創(chuàng)建配置文件:
[root@rabbitmq-1 ~]# vim /etc/rabbitmq/rabbitmq-env.conf
[root@rabbitmq-1 ~]# cat /etc/rabbitmq/rabbitmq-env.conf
RABBITMQ_MNESIA_BASE=/data/rabbitmq/data
RABBITMQ_LOG_BASE=/data/rabbitmq/logs
重啟服務(wù)
[root@rabbitmq-1 ~]# systemctl restart rabbitmq-server

2.拷erlang.cookie

Rabbitmq的集群是依附于erlang的集群來工作的,所以必須先構(gòu)建起erlang的集群。Erlang的集群中各節(jié)點是經(jīng)由各個cookie來實現(xiàn)的,這個cookie存放在/var/lib/rabbitmq/.erlang.cookie中,文件是400的權(quán)限。所以必須保證各節(jié)點cookie一致,不然節(jié)點之間就無法通信.


image.png

如果文件權(quán)限不是400

[root@rabbitmq-1 ~]# cd /var/lib/rabbitmq
[root@rabbitmq-1 ~]# chmod 400 .erlang.cookie
[root@rabbitmq-1 ~]# chown rabbitmq.rabbitmq .erlang.cookie

(官方在介紹集群的文檔中提到過.erlang.cookie 一般會存在這兩個地址:第一個是home/.erlang.cookie;第二個地方就是/var/lib/rabbitmq/.erlang.cookie。如果我們使用解壓縮方式安裝部署的rabbitmq,那么這個文件會在{home}目錄下,也就是$home/.erlang.cookie。如果我們使用rpm等安裝包方式進行安裝的,那么這個文件會在/var/lib/rabbitmq目錄下。)

[root@rabbitmq-1 ~]# cat /var/lib/rabbitmq/.erlang.cookie
IIQOUDXCATMLKZLWBIXT
scp的方式將rabbitmq-1節(jié)點的.erlang.cookie的值復(fù)制到其他兩個節(jié)點中。
[root@rabbitmq-1 ~]# scp /var/lib/rabbitmq/.erlang.cookie 192.168.25.155:/var/lib/rabbitmq/
[root@rabbitmq-1 ~]# scp /var/lib/rabbitmq/.erlang.cookie 192.168.25.156:/var/lib/rabbitmq/

3.將mq-2、mq-3作為內(nèi)存節(jié)點加到mq-1節(jié)點集群中

在mq-2、mq-3執(zhí)行如下命令:
[root@rabbitmq-1 rabbitmq]# systemctl restart rabbitmq-server  #節(jié)點cookie改變,所以要重啟服務(wù)
[root@rabbitmq-2 ~]# rabbitmqctl stop_app  #停止節(jié)點,切記不是停止服務(wù)
Stopping rabbit application on node rabbit@rabbitmq-3 ...
[root@rabbitmq-2 ~]# rabbitmqctl reset   #如果有數(shù)據(jù)需要重置,沒有則不用
1585815744200.png

4.將兩個節(jié)點加入集群,指定角色

[root@rabbitmq-2 ~]# rabbitmqctl join_cluster --ram rabbit@rabbitmq-1  #添加到內(nèi)存節(jié)點
Clustering node 'rabbit@rabbitmq-2' with 'rabbit@rabbitmq-1' ...
[root@rabbitmq-2 ~]# rabbitmqctl start_app  #啟動節(jié)點
Starting node 'rabbit@rabbitmq-2' ...
 completed with 3 plugins.
========================================================
[root@rabbitmq-3 ~]# rabbitmqctl join_cluster --ram rabbit@rabbitmq-1
Clustering node 'rabbit@rabbitmq-3' with 'rabbit@rabbitmq-1' ...
[root@rabbitmq-3 ~]# rabbitmqctl start_app
Starting node 'rabbit@rabbitmq-3' ...
 completed with 3 plugins.

(1)默認(rèn)rabbitmq啟動后是磁盤節(jié)點,在這個cluster命令下,mq-2和mq-3是內(nèi)存節(jié)點,
mq-1是磁盤節(jié)點。
(2)如果要使mq-2、mq-3都是磁盤節(jié)點,去掉--ram參數(shù)即可。
(3)如果想要更改節(jié)點類型,可以使用命令rabbitmqctl change_cluster_node_type
disc(ram),前提是必須停掉rabbitmq應(yīng)用
注:
#如果有需要使用磁盤節(jié)點加入集群
 [root@rabbitmq-2 ~]# rabbitmqctl join_cluster  rabbit@rabbitmq-1
 [root@rabbitmq-3 ~]# rabbitmqctl join_cluster  rabbit@rabbitmq-1

5.查看集群狀態(tài)

在 RabbitMQ 集群任意節(jié)點上執(zhí)行 rabbitmqctl cluster_status來查看是否集群配置成功。
在mq-1磁盤節(jié)點上面查看

[root@rabbitmq-1 ~]# rabbitmqctl cluster_status
1564158874154.png

每臺機器顯示出三臺節(jié)點,表示已經(jīng)添加成功!

6.登錄rabbitmq web管理控制臺,創(chuàng)建新的隊列

瀏覽器訪問192.168.25.154:15672
輸入默認(rèn)的Username:guest
輸入默認(rèn)的Password:guest


image.png

根據(jù)界面提示創(chuàng)建一條隊列


1564159056655.png

1564159160374.png

RabbitMQ鏡像集群配置

上面已經(jīng)完成RabbitMQ默認(rèn)集群模式,但并不保證隊列的高可用性,隊列內(nèi)容不會復(fù)制。如果隊列節(jié)點宕機直接導(dǎo)致該隊列無法應(yīng)用,只能等待重啟,所以要想在隊列節(jié)點宕機或故障也能正常應(yīng)用,就要復(fù)制隊列內(nèi)容到集群里的每個節(jié)點,必須要創(chuàng)建鏡像隊列。

image.png

鏡像隊列是基于普通的集群模式的。
創(chuàng)建鏡像集群:在任意一臺機器操作
rabbitmq set_policy :設(shè)置策略

[root@rabbitmq-2 ~]# rabbitmqctl set_policy ha-all "^" '{"ha-mode":"all"}'
Setting policy "ha-all" for pattern "^" to "{"ha-mode":"all"}" with priority "0" for vhost "/" ...

 "^"匹配所有的隊列, ha-all 策略名稱為ha-all, '{"ha-mode":"all"}' 策略模式為 all 即復(fù)制到所有節(jié)點,包含新增節(jié)點。

再次查看隊列已經(jīng)同步到其他兩臺節(jié)點


image.png

image.png

設(shè)置策略介紹:

rabbitmqctl set_policy [-p Vhost] Name Pattern Definition
-p Vhost: 可選參數(shù),針對指定vhost下的queue進行設(shè)置
Name: policy的名稱,可以定義
Pattern: queue的匹配模式(正則表達式),也就是說會匹配一組。
Definition:鏡像定義,包括三個部分ha-mode, ha-params, ha-sync-mode
    ha-mode:指明鏡像隊列的模式,有效值為 all/exactly/nodes
        all:表示在集群中所有的節(jié)點上進行鏡像
        exactly:表示在指定個數(shù)的節(jié)點上進行鏡像,節(jié)點的個數(shù)由ha-params指定
        nodes:表示在指定的節(jié)點上進行鏡像,節(jié)點名稱通過ha-params指定
    ha-params:ha-mode模式需要用到的參數(shù)
    ha-sync-mode:進行隊列中消息的同步方式,有效值為automatic和manual
案例:
例如,對隊列名稱以hello開頭的所有隊列進行鏡像,并在集群的兩個節(jié)點上完成鏡像,policy的設(shè)置命令為: 
rabbitmqctl set_policy hello-ha “^hello” ‘{“ha-mode”:”exactly”,”ha-params”:2,”ha-sync-mode”:”automatic”}’

則此時鏡像隊列設(shè)置成功。
已經(jīng)部署完成
將所有隊列設(shè)置為鏡像隊列,即隊列會被復(fù)制到各個節(jié)點,各個節(jié)點狀態(tài)保持一致。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容