2） 負(fù)載均衡與動態(tài)伸縮

負(fù)載均衡：Broker上存Topic信息，Topic由多個隊列組成，隊列會平均分散在多個Broker上，而Producer的發(fā)送機制保證消息盡量平均分布到所有隊列中，最終效果就是所有消息都平均落在每個Broker上。

動態(tài)伸縮能力（非順序消息）：Broker的伸縮性體現(xiàn)在兩個維度：Topic, Broker。

• Topic維度：假如一個Topic的消息量特別大，但集群水位壓力還是很低，就可以擴大該Topic的隊列數(shù)，Topic的隊列數(shù)跟發(fā)送、消費速度成正比。
• Broker維度：如果集群水位很高了，需要擴容，直接加機器部署B(yǎng)roker就可以。Broker起來后想Namesrv注冊，Producer、Consumer通過Namesrv發(fā)現(xiàn)新Broker，立即跟該Broker直連，收發(fā)消息。

3） 高可用&高可靠

高可用：集群部署時一般都為主備，備機實時從主機同步消息，如果其中一個主機宕機，備機提供消費服務(wù)，但不提供寫服務(wù)。

高可靠：所有發(fā)往broker的消息，有同步刷盤和異步刷盤機制；同步刷盤時，消息寫入物理文件才會返回成功，異步刷盤時，只有機器宕機，才會產(chǎn)生消息丟失，broker掛掉可能會發(fā)生，但是機器宕機崩潰是很少發(fā)生的，除非突然斷電

4）Broker與Namesrv的心跳機制
單個Broker跟所有Namesrv保持心跳請求，心跳間隔為30秒，心跳請求中包括當(dāng)前Broker所有的Topic信息。Namesrv會反查Broer的心跳信息，如果某個Broker在2分鐘之內(nèi)都沒有心跳，則認(rèn)為該Broker下線，調(diào)整Topic跟Broker的對應(yīng)關(guān)系。但此時Namesrv不會主動通知Producer、Consumer有Broker宕機。

3.3 消費者

消費者啟動時需要指定Namesrv地址，與其中一個Namesrv建立長連接。消費者每隔30秒從nameserver獲取所有topic的最新隊列情況，這意味著某個broker如果宕機，客戶端最多要30秒才能感知。連接建立后，從namesrv中獲取當(dāng)前消費Topic所涉及的Broker，直連Broker。

Consumer跟Broker是長連接，會每隔30秒發(fā)心跳信息到Broker。Broker端每10秒檢查一次當(dāng)前存活的Consumer，若發(fā)現(xiàn)某個Consumer 2分鐘內(nèi)沒有心跳，就斷開與該Consumer的連接，并且向該消費組的其他實例發(fā)送通知，觸發(fā)該消費者集群的負(fù)載均衡。

消費者端的負(fù)載均衡
先討論消費者的消費模式，消費者有兩種模式消費：集群消費，廣播消費。

• 廣播消費：每個消費者消費Topic下的所有隊列。
• 集群消費：一個topic可以由同一個ID下所有消費者分擔(dān)消費。具體例子：假如TopicA有6個隊列，某個消費者ID起了2個消費者實例，那么每個消費者負(fù)責(zé)消費3個隊列。如果再增加一個消費者ID相同消費者實例，即當(dāng)前共有3個消費者同時消費6個隊列，那每個消費者負(fù)責(zé)2個隊列的消費。

消費者端的負(fù)載均衡，就是集群消費模式下，同一個ID的所有消費者實例平均消費該Topic的所有隊列。

3.4 生產(chǎn)者(Producer)

Producer啟動時，也需要指定Namesrv的地址，從Namesrv集群中選一臺建立長連接。如果該Namesrv宕機，會自動連其他Namesrv。直到有可用的Namesrv為止。

生產(chǎn)者每30秒從Namesrv獲取Topic跟Broker的映射關(guān)系，更新到本地內(nèi)存中。再跟Topic涉及的所有Broker建立長連接，每隔30秒發(fā)一次心跳。在Broker端也會每10秒掃描一次當(dāng)前注冊的Producer，如果發(fā)現(xiàn)某個Producer超過2分鐘都沒有發(fā)心跳，則斷開連接。

生產(chǎn)者端的負(fù)載均衡

生產(chǎn)者發(fā)送時，會自動輪詢當(dāng)前所有可發(fā)送的broker，一條消息發(fā)送成功，下次換另外一個broker發(fā)送，以達(dá)到消息平均落到所有的broker上。

這里需要注意一點：假如某個Broker宕機，意味生產(chǎn)者最長需要30秒才能感知到。在這期間會向宕機的Broker發(fā)送消息。當(dāng)一條消息發(fā)送到某個Broker失敗后，會往該broker自動再重發(fā)2次，假如還是發(fā)送失敗，則拋出發(fā)送失敗異常。業(yè)務(wù)捕獲異常，重新發(fā)送即可。客戶端里會自動輪詢另外一個Broker重新發(fā)送，這個對于用戶是透明的。

4 集群說明

• 單個 Master

  這種方式風(fēng)險較大，一旦Broker重啟或者宕機時，會導(dǎo)致整個服務(wù)不可用，不建議線上環(huán)境使用。

• 多 Master 模式（2m-noslave）

  brokerClusterName	brokerName	brokerRole	brokerId
  DefaultCluster	broker-a	ASYNC_MASTER	0
  DefaultCluster	broker-b	ASYNC_MASTER	0

  說明：一個集群無 Slave，全是 Master，例如 2 個 Master 或者 3 個 Master優(yōu)點：配置簡單，單個Master 宕機或重啟維護對應(yīng)用無影響，在磁盤配置為RAID10 時，即使機器宕機不可恢復(fù)情況下，由與 RAID10磁盤非?？煽?，消息也不會丟（異步刷盤丟失少量消息，同步刷盤一條不丟）。性能最高。
  
  缺點：單臺機器宕機期間，這臺機器上未被消費的消息在機器恢復(fù)之前不可訂閱，消息實時性會受到受到影響。
  
  啟動說明：先啟動 NameServer在機器 A，啟動第一個 Master在機器 B，啟動第二個 Master
  
  

• 多 Master 多 Slave 模式，異步復(fù)制（2m-2s-async）

  brokerClusterName	brokerName	brokerRole	brokerId
  DefaultCluster	broker-a	ASYNC_MASTER	0
  DefaultCluster	broker-a	SLAVE	1
  DefaultCluster	broker-b	ASYNC_MASTER	0
  DefaultCluster	broker-b	SLAVE	1

  說明：每個 Master 配置一個 Slave，有多對Master-Slave，HA。采用異步復(fù)制方式，主備有短暫消息延遲，毫秒級。
  
  優(yōu)點：即使磁盤損壞，消息丟失的非常少，且消息實時性不會受影響，因為Master 宕機后，消費者仍然可以從 Slave消費，此過程對應(yīng)用透明。不需要人工干預(yù)。性能同多 Master 模式幾乎一樣。
  
  缺點：Master 宕機，磁盤損壞情況，會丟失少量消息。
  
  啟動說明：
    先啟動 NameServer
    在機器 A，啟動第一個 Master
    在機器 B，啟動第二個 Master
    在機器 C，啟動第一個 Slave
    在機器 D，啟動第二個 Slave
  

• **多 Master 多 Slave 模式，同步雙寫（2m-2s-sync） **

說明：每個 Master 配置一個 Slave，有多對Master-Slave，HA。采用同步雙寫方式，主備都寫成功，向應(yīng)用返回成功。

優(yōu)點：數(shù)據(jù)與服務(wù)都無單點，Master宕機情況下，消息無延遲，服務(wù)可用性與數(shù)據(jù)可用性都非常高

缺點：性能比異步復(fù)制模式略低，大約低10%左右，發(fā)送單個消息的RT會略高。目前主宕機后，備機不能自動切換為主機，后續(xù)會支持自動切換功能。

啟動說明：
  先啟動 NameServer
  在機器 A，啟動第一個 Master
  在機器 B，啟動第二個 Master
  在機器 C，啟動第一個 Slave
  在機器 D，啟動第二個 Slave

以上 Broker 與 Slave 配對是通過指定相同的brokerName 參數(shù)來配對，Master
的 BrokerId 必須是 0，Slave 的BrokerId 必須是大與 0 的數(shù)。另外一個 Master
下面可以掛載多個 Slave，同一 Master 下的多個 Slave通過指定不同的 BrokerId
來區(qū)分。

5 集群部署案例-2m-2s-sync

5.1 環(huán)境說明

1) 軟件及其機器

綁定hosts或dns：

#測試環(huán)境hosts
#Name Server 提供給外部訪問
192.168.59.2 nameserver1.rocketmq.test.com
192.168.59.3 nameserver2.rocketmq.test.com
#Broker Server 綁定網(wǎng)卡，方便擴容
192.168.59.4 broker01.rocketmq.test.com
192.168.59.5 broker02.rocketmq.test.com
192.168.59.6 broker03.rocketmq.test.com
192.168.59.7 broker04.rocketmq.test.com

主機命名說明：

主機名命名規(guī)范：項目名-隨機數(shù).環(huán)境.組件.公司/機房

例如：表5.2中第一行，項目名：mqnamesrv，部署環(huán)境：dev，ip:192.168.59.2，組件是rocketmq，命名主機名為：

mqnamesrv-192168059002.dev.rocketmq.com

該命名好處：通過主機名可以判斷當(dāng)前機器部署的服務(wù)以及部署環(huán)境、機房情況，方便在報警系統(tǒng)里或者cmdb中很快判斷到該主機的的影響。

2) 多環(huán)境說明

在實際應(yīng)用中都會涉及多環(huán)境的問題，比如有線下環(huán)境(dev)和生產(chǎn)環(huán)境(prod)，不同環(huán)境的應(yīng)用最好保持配置一致，減少各個每個環(huán)境的配置工作量。

Rocketmq各環(huán)境統(tǒng)一連接地址：

NAMESRV_ADDR="nameserver1.rocketmq.test.com:9876;nameserver2.rocketmq.test.com:9876"

根據(jù)Rocketmq集群說明，其實最終只需暴露nameserver的地址給應(yīng)用即可，因此，各個環(huán)境綁定各個環(huán)境對應(yīng)的hosts/dns即可使用統(tǒng)一連接的地址。

3) 打包部署

• 編譯

  官方提供的是源碼包，需要編譯成二進(jìn)制包：

    > unzip rocketmq-all-4.2.0-source-release.zip
    > cd rocketmq-all-4.2.0/
    > mvn -Prelease-all -DskipTests clean install -U
    > cd distribution/target/apache-rocketmq
  

• 打包

  二進(jìn)制包雖然可以直接運行，批量安裝和批量管理以及不利于統(tǒng)一管理，這里我直接打成rpm包，規(guī)范目錄（安裝目錄、日志目錄、數(shù)據(jù)目錄），指定rocketmq用戶運行，設(shè)置服務(wù)自動啟動等；

  因為nameserver和broker基本上是一個包，只是啟動命令不一樣，因此，打包也是打成一個包了，根據(jù)啟動命令和當(dāng)前主機名判斷是何服務(wù)。

  #使用fpm打rocketmq，然后上傳到y(tǒng)um倉庫
  fpm -s dir -t rpm -n apache-rocketmq --epoch 1 -a 'x86_64' -v 4.2.0 --iteration 1.el7 -C rocketmq/root -d 'jdk >= 1.8.0' -d 'git' --license 'Apache License, Version 2.0' --description "Apache RocketMQ is a distributed messaging and streaming platform with low latency, high performance and reliability, trillion-level capacity and flexible scalability." --no-rpm-sign --url 'http://rocketmq.apache.org/' --before-install rocketmq/install_before.sh --after-install rocketmq/install_after.sh  --before-remove rocketmq/remove_before.sh
  

• 部署

  打包以后，部署非常簡單，直接yum安裝

  #安裝rocketmq
  > yum install apache-rocketmq
  #啟動/停止/重啟 NameServer 服務(wù)
  > systemctl start/stop/restart rocketmq-mqnamesrv
  #啟動/停止/重啟 Broker 服務(wù)
  > systemctl start/stop/restart rocketmq-mqbroker
  

• 配置文件

  NameServer沒有配置文件，直接可以啟動

  Broker配置文件：配置基本上一致，需要更改下表的一些內(nèi)容

  brokerClusterName	brokerName	brokerRole	brokerId
  iotcls	broker01	SYNC_MASTER	0
  iotcls	broker01	SLAVE	1
  iotcls	broker02	SYNC_MASTER	0
  iotcls	broker02	SLAVE	1

  #broker.conf.j2
  brokerClusterName=iotcls
  brokerIP1={{broker_name}}-{{broker_id}}.rocketmq.test.com
  brokerIP2={{broker_name}}-{{broker_id}}.rocketmq.test.com
  brokerName={{broker_name}}
  brokerId={{broker_id}}
  deleteWhen=04
  fileReservedTime=48
  brokerRole={{broker_role}}
  flushDiskType=SYNC_FLUSH
  namesrvAddr=nameserver1.rocketmq.test.com:9876;nameserver2.rocketmq.test.com:9876
  

  需要注意的是：

  多網(wǎng)卡環(huán)境：需要配置brokerIP1（broker ip）和brokerIP2（ha ip），brokerIP1注冊到NameServer，brokerIP2 這個ip是master和slave同步數(shù)據(jù)的ip，如果不配置，默認(rèn)會選擇第一個網(wǎng)卡。

  BrokerName，master和slave組成一個broker group，通過broker name來區(qū)別是否是一個broker group。

• ansible role 一鍵部署

  ansible-playbook -i environments/dev/hosts rocketmq.yml
  

  ansible role配置文件說明:

  rocketmq
  ├── README.md
  ├── defaults
  │   └── main.yml
  ├── files
  ├── handlers
  │   └── main.yml
  ├── meta
  │   └── main.yml
  ├── tasks
  │   ├── install.yml
  │   ├── main.yml
  │   ├── mqbroker.yml
  │   └── mqnamesrv.yml
  ├── templates
  │   ├── broker.conf.j2
  │   ├── rocketmq-mqbroker.service
  │   └── rocketmq-mqnamesrv.service
  ├── tests
  │   ├── README.md
  │   ├── etc_hosts
  │   ├── inventory
  │   └── test.yml
  └── vars
      └── main.yml
  

  #rocetmq.yml
  - name: run rocketmq role for all hosts
    hosts: rocketmq
    roles:
      - { role: commons, tags: ["hosts"] }
  
  - name: run mqnamesrv
    hosts: mqnamesrv
    roles:
      - { role: "rocketmq", rocket_type: "mqnamesrv"}
  
  - name: run mqbroker
    hosts: mqbroker
    roles:
      - { role: "rocketmq", rocket_type: "mqbroker"}
  

  #hosts
  [rocketmq:children]
  mqnamesrv
  mqbroker
  
  [mqnamesrv]
  192.168.59.2
  192.168.59.3
  
  [mqbroker]
  192.168.59.3 broker_name="broker03" broker_id=0 broker_role=SYNC_MASTER
  192.168.59.4 broker_name="broker01" broker_id=0 broker_role=SYNC_MASTER
  192.168.59.5 broker_name="broker01" broker_id=1 broker_role=SLAVE
  192.168.59.6 broker_name="broker02" broker_id=0 broker_role=SYNC_MASTER
  192.168.59.7 broker_name="broker02" broker_id=1 broker_role=SLAVE
  
  [mqbroker:vars]
  PROJECT_NAME=mqbroker
  
  [mqnamesrv:vars]
  PROJECT_NAME=mqnamesrv
  

  #broker.conf.j2
  brokerClusterName=iotcls
  brokerIP1={{broker_name}}-{{broker_id}}.rocketmq.test.com
  brokerIP2={{broker_name}}-{{broker_id}}.rocketmq.test.com
  brokerName={{broker_name}}
  brokerId={{broker_id}}
  deleteWhen=04
  fileReservedTime=48
  brokerRole={{broker_role}}
  flushDiskType=SYNC_FLUSH
  namesrvAddr=nameserver1.rocketmq.test.com:9876;nameserver2.rocketmq.test.com:9876
  

  #role-rocketmq tasks/main.yml
  #install jdk1.8
  - include: ../../commons/tasks/jdk.yml
  
  - name: install apache-rocketmq
    yum: name=apache-rocketmq state=present
    tags: install_apache-rocketmq
  
  - name: Update mqnamesrv.service
    template:
      src: rocketmq-mqnamesrv.service
      dest: "/etc/systemd/system/"
      force: true
      owner: root
      group: root
      mode: "0755"
    notify: reload systemd
    when: rocket_type == 'mqnamesrv'
  
  - include: mqbroker.yml
    when: rocket_type == 'mqbroker'
  
  - name: enable apache-rocketmq
    service:
      name: "rocketmq-{{ rocket_type }}"
      state: started
      enabled: True
  
  handlers:
    - name: reload systemd
        command: "systemctl daemon-reload"
  
    - name: restart apache-rocketmq
      service:
        name: "rocketmq-{{ rocket_type }}"
        state: restarted
  

  #role-rocketmq tasks/mqbroker.yml
  ---
  - name: Update mqbroker.service
    template:
      src: rocketmq-mqbroker.service
      dest: "/etc/systemd/system/"
      force: true
      owner: root
      group: root
      mode: "0755"
    notify: reload systemd
  
  - name: update conf for mqbroker
    template:
      src: broker.conf.j2
      dest: "/opt/apache-rocketmq/conf/broker.conf"
      force: true
      owner: root
      group: root
      mode: "0755"
    notify: restart apache-rocketmq
  

4) 集群擴容

rocketmq各個組件都支持橫向擴容：

5) WEB管理（rocketmq-console）

通過web可以查看集群狀態(tài)，查看topic信息以及創(chuàng)建更改topic，管理producer和consumer等。

#安裝 && 啟動
mvn clean package -Dmaven.test.skip=true
java -jar target/rocketmq-console-ng-1.0.0.jar

用戶手冊：https://github.com/apache/rocketmq-externals/blob/master/rocketmq-console/doc/1_0_0/UserGuide_CN.md

rocketmq-console-gui

rocketmq-console-2

rocketmq-topic