title: 用戶指引
date: 2017/12/29
categories: 文檔翻譯
為什么是RocketMQ
動機(jī)
在早期階段，我們在ActiveMQ 5.x(早于5.3)的基礎(chǔ)上構(gòu)建我們的分布式消息中間件。我們的跨國業(yè)務(wù)使用它來實(shí)現(xiàn)異步通信、檢索、社交網(wǎng)絡(luò)活動流、數(shù)據(jù)管道，甚至在交易過程中也在使用。隨著我們的交易業(yè)務(wù)量增加，來自消息集群的壓力與日俱增，亟需解決。
為什么是RocketMQ
根據(jù)我們的研究，隨著使用中的隊(duì)列越來越長、虛擬主題越來越多，ActiveMQ的IO模型會到達(dá)一個瓶頸。我們盡力地試圖通過節(jié)流、斷路器或者降級這些手段來解決這個問題，但是都沒有很好的效果。因此，我們開始注意到當(dāng)時非常流行的消息解決方案，Kafka。不走運(yùn)的是，Kafka并不能滿足我們的需求，尤其是在低延遲和高可用這兩點(diǎn)上，點(diǎn)擊鏈接進(jìn)一步了解細(xì)節(jié)。
在這樣的情況下，我們決定寫一個全新的消息引擎來處理這一類用途更廣泛的使用案例，囊括范圍從傳統(tǒng)的發(fā)布/訂閱情景到高流量實(shí)時零差錯交易系統(tǒng)。我們相信這個解決方案能帶來好處，所以我們非常愿意把這個項(xiàng)目向社區(qū)開源。今時今日，已經(jīng)有超過100家企業(yè)在他們的業(yè)務(wù)里采用開源版本的RocketMQ。我們也在阿里云平臺發(fā)布了一個基于RocketMQ的商業(yè)版PaaS產(chǎn)品。
下面這張表格對比了RocketMQ、ActiveMQ和Kafaka(Apache里最受歡迎的基于java的消息解決方案)
RocketMQ vs. ActiveMQ vs. Kafka
(譯者注：markdown要完整實(shí)現(xiàn)這個表格比較復(fù)雜，暫且擱置，延后處理)
快速開始
快速開始指引由詳細(xì)的命令組成，告訴你如何在本機(jī)配置RocketMQ消息投遞系統(tǒng)并且收發(fā)消息。
前期必要的準(zhǔn)備
以下軟件必須安裝：
- 64位操作系統(tǒng)，linux/Unit/Mac（推薦）；
- 64位JDK，1.8+；
- Maven 3.2.x
- Git
克隆代碼倉庫和構(gòu)建程序
> git clone -b develop https://github.com/apache/rocketmq.git
> cd rocketmq
> mvn -Prelease-all -DskipTests clean install -U
> cd distribution/target/apache-rocketmq
(譯者注：命令集合無需翻譯。下同。)
啟動Name Server
> nohup sh bin/mqnamesrv &
> tail -f ~/logs/rocketmqlogs/namesrv.log
The Name Server boot success...
啟動Broker
> nohup sh bin/mqbroker -n localhost:9876 &
> tail -f ~/logs/rocketmqlogs/broker.log
The broker[%s, 172.30.30.233:10911] boot success...
發(fā)送和接收消息
在發(fā)送或接收消息之前，我們需要通知客戶端name servers的位置。RocketMQ提供多種實(shí)現(xiàn)方式。為簡單起見，我們現(xiàn)在展示環(huán)境變量NAMESRV_ADDR的用法
> export NAMESRV_ADDR=localhost:9876
> sh bin/tools.sh org.apache.rocketmq.example.quickstart.Producer
SendResult [sendStatus=SEND_OK, msgId= ...
> sh bin/tools.sh org.apache.rocketmq.example.quickstart.Consumer
ConsumeMessageThread_%d Receive New Messages: [MessageExt...
關(guān)閉所有服務(wù)器
> sh bin/mqshutdown broker
The mqbroker(36695) is running...
Send shutdown request to mqbroker(36695) OK
> sh bin/mqshutdown namesrv
The mqnamesrv(36664) is running...
Send shutdown request to mqnamesrv(36664) OK
簡單示例
簡單的消息示例
使用RocketMQ發(fā)送消息的3種方法：可靠同步發(fā)送、可靠異步發(fā)送和單向發(fā)送
This page exemplifies these three message-sending ways. Checkout the notes along with the example to figure out which way to use for your specific use case.
本頁文檔展示這3種消息發(fā)送方式。檢出這些帶有注釋的示例代碼，可以讓你知道每一個用例對應(yīng)哪一種發(fā)送方式。
可靠同步發(fā)送
應(yīng)用：可靠同步發(fā)送在眾多場景中被使用，例如重要的通知消息、短信通知、短信營銷系統(tǒng)，等等。
public class SyncProducer {
public static void main(String[] args) throws Exception {
//Instantiate with a producer group name.
DefaultMQProducer producer = new
DefaultMQProducer("please_rename_unique_group_name");
//Launch the instance.
producer.start();
for (int i = 0; i < 100; i++) {
//Create a message instance, specifying topic, tag and message body.
Message msg = new Message("TopicTest" /* Topic */,
"TagA" /* Tag */,
("Hello RocketMQ " +
i).getBytes(RemotingHelper.DEFAULT_CHARSET) /* Message body */
);
//Call send message to deliver message to one of brokers.
SendResult sendResult = producer.send(msg);
System.out.printf("%s%n", sendResult);
}
//Shut down once the producer instance is not longer in use.
producer.shutdown();
}
}
可靠異步發(fā)送
應(yīng)用：異步發(fā)送通常被用于對響應(yīng)時間敏感的業(yè)務(wù)場景
public class AsyncProducer {
public static void main(String[] args) throws Exception {
//Instantiate with a producer group name.
DefaultMQProducer producer = new DefaultMQProducer("ExampleProducerGroup");
//Launch the instance.
producer.start();
producer.setRetryTimesWhenSendAsyncFailed(0);
for (int i = 0; i < 100; i++) {
final int index = i;
//Create a message instance, specifying topic, tag and message body.
Message msg = new Message("TopicTest",
"TagA",
"OrderID188",
"Hello world".getBytes(RemotingHelper.DEFAULT_CHARSET));
producer.send(msg, new SendCallback() {
@Override
public void onSuccess(SendResult sendResult) {
System.out.printf("%-10d OK %s %n", index,
sendResult.getMsgId());
}
@Override
public void onException(Throwable e) {
System.out.printf("%-10d Exception %s %n", index, e);
e.printStackTrace();
}
});
}
//Shut down once the producer instance is not longer in use.
producer.shutdown();
}
}
單向發(fā)送
應(yīng)用：單向發(fā)送用于要求一定可靠性的場景，例如日志收集。
public class OnewayProducer {
public static void main(String[] args) throws Exception{
//Instantiate with a producer group name.
DefaultMQProducer producer = new DefaultMQProducer("ExampleProducerGroup");
//Launch the instance.
producer.start();
for (int i = 0; i < 100; i++) {
//Create a message instance, specifying topic, tag and message body.
Message msg = new Message("TopicTest" /* Topic */,
"TagA" /* Tag */,
("Hello RocketMQ " +
i).getBytes(RemotingHelper.DEFAULT_CHARSET) /* Message body */
);
//Call send message to deliver message to one of brokers.
producer.sendOneway(msg);
}
//Shut down once the producer instance is not longer in use.
producer.shutdown();
}
}
順序消息示例
順序消息
RocketMQ提供使用先進(jìn)先出算法的順序消息實(shí)現(xiàn)。
以下示例展示了如何發(fā)送/接收全局順序消息和分區(qū)順序消息。
發(fā)送消息示例代碼
public class OrderedProducer {
public static void main(String[] args) throws Exception {
//Instantiate with a producer group name.
MQProducer producer = new DefaultMQProducer("example_group_name");
//Launch the instance.
producer.start();
String[] tags = new String[] {"TagA", "TagB", "TagC", "TagD", "TagE"};
for (int i = 0; i < 100; i++) {
int orderId = i % 10;
//Create a message instance, specifying topic, tag and message body.
Message msg = new Message("TopicTestjjj", tags[i % tags.length], "KEY" + i,
("Hello RocketMQ " + i).getBytes(RemotingHelper.DEFAULT_CHARSET));
SendResult sendResult = producer.send(msg, new MessageQueueSelector() {
@Override
public MessageQueue select(List<MessageQueue> mqs, Message msg, Object arg) {
Integer id = (Integer) arg;
int index = id % mqs.size();
return mqs.get(index);
}
}, orderId);
System.out.printf("%s%n", sendResult);
}
//server shutdown
producer.shutdown();
}
}
訂閱消息示例代碼
public class OrderedConsumer {
public static void main(String[] args) throws Exception {
DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("example_group_name");
consumer.setConsumeFromWhere(ConsumeFromWhere.CONSUME_FROM_FIRST_OFFSET);
consumer.subscribe("TopicTest", "TagA || TagC || TagD");
consumer.registerMessageListener(new MessageListenerOrderly() {
AtomicLong consumeTimes = new AtomicLong(0);
@Override
public ConsumeOrderlyStatus consumeMessage(List<MessageExt> msgs,
ConsumeOrderlyContext context) {
context.setAutoCommit(false);
System.out.printf(Thread.currentThread().getName() + " Receive New Messages: " + msgs + "%n");
this.consumeTimes.incrementAndGet();
if ((this.consumeTimes.get() % 2) == 0) {
return ConsumeOrderlyStatus.SUCCESS;
} else if ((this.consumeTimes.get() % 3) == 0) {
return ConsumeOrderlyStatus.ROLLBACK;
} else if ((this.consumeTimes.get() % 4) == 0) {
return ConsumeOrderlyStatus.COMMIT;
} else if ((this.consumeTimes.get() % 5) == 0) {
context.setSuspendCurrentQueueTimeMillis(3000);
return ConsumeOrderlyStatus.SUSPEND_CURRENT_QUEUE_A_MOMENT;
}
return ConsumeOrderlyStatus.SUCCESS;
}
});
consumer.start();
System.out.printf("Consumer Started.%n");
}
}
廣播示例
什么是廣播
廣播就是向一個主題的所有訂閱者發(fā)送同一條消息。如果你想讓一個主題的所有訂閱者收到消息，廣播是一個很好的選擇。
生產(chǎn)者示例
public class BroadcastProducer {
public static void main(String[] args) throws Exception {
DefaultMQProducer producer = new DefaultMQProducer("ProducerGroupName");
producer.start();
for (int i = 0; i < 100; i++){
Message msg = new Message("TopicTest",
"TagA",
"OrderID188",
"Hello world".getBytes(RemotingHelper.DEFAULT_CHARSET));
SendResult sendResult = producer.send(msg);
System.out.printf("%s%n", sendResult);
}
producer.shutdown();
}
}
消費(fèi)者示例
public class BroadcastConsumer {
public static void main(String[] args) throws Exception {
DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("example_group_name");
consumer.setConsumeFromWhere(ConsumeFromWhere.CONSUME_FROM_FIRST_OFFSET);
//set to broadcast mode
consumer.setMessageModel(MessageModel.BROADCASTING);
consumer.subscribe("TopicTest", "TagA || TagC || TagD");
consumer.registerMessageListener(new MessageListenerConcurrently() {
@Override
public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> msgs,
ConsumeConcurrentlyContext context) {
System.out.printf(Thread.currentThread().getName() + " Receive New Messages: " + msgs + "%n");
return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
}
});
consumer.start();
System.out.printf("Broadcast Consumer Started.%n");
}
}
延時消息示例
什么是延時消息？
延時消息提供了一種不同于普通消息的實(shí)現(xiàn)形式——它們只會在設(shè)定的時限到了之后才被遞送出去。
應(yīng)用
- 啟動消費(fèi)者，等待即將接收的訂閱消息
import org.apache.rocketmq.client.consumer.DefaultMQPushConsumer;
import org.apache.rocketmq.client.consumer.listener.ConsumeConcurrentlyContext;
import org.apache.rocketmq.client.consumer.listener.ConsumeConcurrentlyStatus;
import org.apache.rocketmq.client.consumer.listener.MessageListenerConcurrently;
import org.apache.rocketmq.common.message.MessageExt;
import java.util.List;
public class ScheduledMessageConsumer {
public static void main(String[] args) throws Exception {
// Instantiate message consumer
DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("ExampleConsumer");
// Subscribe topics
consumer.subscribe("TestTopic", "*");
// Register message listener
consumer.registerMessageListener(new MessageListenerConcurrently() {
@Override
public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> messages, ConsumeConcurrentlyContext context) {
for (MessageExt message : messages) {
// Print approximate delay time period
System.out.println("Receive message[msgId=" + message.getMsgId() + "] "
+ (System.currentTimeMillis() - message.getStoreTimestamp()) + "ms later");
}
return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
}
});
// Launch consumer
consumer.start();
}
}
- 發(fā)送延時消息
import org.apache.rocketmq.client.producer.DefaultMQProducer;
import org.apache.rocketmq.common.message.Message;
public class ScheduledMessageProducer {
public static void main(String[] args) throws Exception {
// Instantiate a producer to send scheduled messages
DefaultMQProducer producer = new DefaultMQProducer("ExampleProducerGroup");
// Launch producer
producer.start();
int totalMessagesToSend = 100;
for (int i = 0; i < totalMessagesToSend; i++) {
Message message = new Message("TestTopic", ("Hello scheduled message " + i).getBytes());
// This message will be delivered to consumer 10 seconds later.
message.setDelayTimeLevel(3);
// Send the message
producer.send(message);
}
// Shutdown producer after use.
producer.shutdown();
}
}
- 驗(yàn)證
你應(yīng)該會在消息被存儲之后10秒鐘看到它們被消費(fèi)。
批量消息示例
為什么要采用批量消息？
批量發(fā)送消息可以提升投遞小內(nèi)存消息時的性能。
使用限制
同一批消息必須滿足以下條件：相同的主題、相同的waitStoreMsgOK變量設(shè)置，而且都不支持延時發(fā)送
另外，一個批量消息的大小最好不要大于1MiB。
如何使用批量消息
如果你一次發(fā)送的消息總大小不超過1MB，使用批量消息就很簡單
String topic = "BatchTest";
List<Message> messages = new ArrayList<>();
messages.add(new Message(topic, "TagA", "OrderID001", "Hello world 0".getBytes()));
messages.add(new Message(topic, "TagA", "OrderID002", "Hello world 1".getBytes()));
messages.add(new Message(topic, "TagA", "OrderID003", "Hello world 2".getBytes()));
try {
producer.send(messages);
} catch (Exception e) {
e.printStackTrace();
//handle the error
}
切分后用List保存
只有在你發(fā)送大內(nèi)存批量消息而且不確定是否達(dá)到大小限制（1MiB）的時候，才會變得復(fù)雜。
這時候，你應(yīng)該把它們切分，然后用List保存
public class ListSplitter implements Iterator<List<Message>> {
private final int SIZE_LIMIT = 1000 * 1000;
private final List<Message> messages;
private int currIndex;
public ListSplitter(List<Message> messages) {
this.messages = messages;
}
@Override public boolean hasNext() {
return currIndex < messages.size();
}
@Override public List<Message> next() {
int nextIndex = currIndex;
int totalSize = 0;
for (; nextIndex < messages.size(); nextIndex++) {
Message message = messages.get(nextIndex);
int tmpSize = message.getTopic().length() + message.getBody().length;
Map<String, String> properties = message.getProperties();
for (Map.Entry<String, String> entry : properties.entrySet()) {
tmpSize += entry.getKey().length() + entry.getValue().length();
}
tmpSize = tmpSize + 20; //for log overhead
if (tmpSize > SIZE_LIMIT) {
//it is unexpected that single message exceeds the SIZE_LIMIT
//here just let it go, otherwise it will block the splitting process
if (nextIndex - currIndex == 0) {
//if the next sublist has no element, add this one and then break, otherwise just break
nextIndex++;
}
break;
}
if (tmpSize + totalSize > SIZE_LIMIT) {
break;
} else {
totalSize += tmpSize;
}
}
List<Message> subList = messages.subList(currIndex, nextIndex);
currIndex = nextIndex;
return subList;
}
}
//then you could split the large list into small ones:
ListSplitter splitter = new ListSplitter(messages);
while (splitter.hasNext()) {
try {
List<Message> listItem = splitter.next();
producer.send(listItem);
} catch (Exception e) {
e.printStackTrace();
//handle the error
}
}
消息過濾器示例
在大多數(shù)情況下，標(biāo)簽是一種幫助你選擇所需消息的簡單有用的設(shè)計(jì)。例如：
DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("CID_EXAMPLE");
consumer.subscribe("TOPIC", "TAGA || TAGB || TAGC");
該消費(fèi)者會接收含有TAGA、TAGB或TAGC標(biāo)簽的消息。但是，因?yàn)橛幸粭l消息只能打一個標(biāo)簽的限制，在復(fù)雜的場景下可能會失效。在這種情況下，你可以用SQL表達(dá)式來過濾消息。
規(guī)則
根據(jù)你在發(fā)送消息時設(shè)定的屬性，SQL特性可以做相應(yīng)的運(yùn)算。遵循RocketMQ預(yù)設(shè)的語法，你可以實(shí)現(xiàn)一些有趣的邏輯。這里有一個例子：
語法
RocketMQ只預(yù)設(shè)了一些基本的語法來支持這個特性。你也可以很容易地?cái)U(kuò)展它。
- Numeric comparison, like >, >=, <, <=, BETWEEN, =;
- Character comparison, like =, <>, IN;
- IS NULL or IS NOT NULL;
- Logical AND, OR, NOT;
以下是基本類型：
- Numeric, like 123, 3.1415;
- Character, like ‘a(chǎn)bc’, must be made with single quotes;
- NULL, special constant;
- Boolean, TRUE or FALSE;
使用限制
只有push類型的消費(fèi)者可以通過SQL92標(biāo)準(zhǔn)的語句來篩選消息。接口如下：
public void subscribe(final String topic, final MessageSelector messageSelector)
生產(chǎn)者示例
在發(fā)送消息時，你可以使用putUserProperty()方法為消息設(shè)置屬性。
DefaultMQProducer producer = new DefaultMQProducer("please_rename_unique_group_name");
producer.start();
Message msg = new Message("TopicTest",
tag,
("Hello RocketMQ " + i).getBytes(RemotingHelper.DEFAULT_CHARSET)
);
// Set some properties.
msg.putUserProperty("a", String.valueOf(i));
SendResult sendResult = producer.send(msg);
producer.shutdown();
消費(fèi)者示例
在消費(fèi)消息時，使用MessageSelector.bySql()方法和遵循SQL92標(biāo)準(zhǔn)的語句來篩選消息
DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("please_rename_unique_group_name_4");
// only subsribe messages have property a, also a >=0 and a <= 3
consumer.subscribe("TopicTest", MessageSelector.bySql("a between 0 and 3");
consumer.registerMessageListener(new MessageListenerConcurrently() {
@Override
public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> msgs, ConsumeConcurrentlyContext context) {
return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
}
});
consumer.start();
日志插件管理示例
RocketMQ日志插件管理提供了log4j插件、log4j2插件和logback插件，都可以在業(yè)務(wù)中使用，以下是如何設(shè)置的示例，
log4j
log4j配置文件如下.
log4j.appender.mq=org.apache.rocketmq.logappender.log4j.RocketmqLog4jAppender
log4j.appender.mq.Tag=yourTag
log4j.appender.mq.Topic=yourLogTopic
log4j.appender.mq.ProducerGroup=yourLogGroup
log4j.appender.mq.NameServerAddress=yourRocketmqNameserverAddress
log4j.appender.mq.layout=org.apache.log4j.PatternLayout
log4j.appender.mq.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-4r [%t] (%F:%L) %-5p
使用xml文件配置log4j時，如下配置并添加一個異步插件：
<appender name="mqAppender1" class="org.apache.rocketmq.logappender.log4j.RocketmqLog4jAppender">
<param name="Tag" value="yourTag" />
<param name="Topic" value="yourLogTopic" />
<param name="ProducerGroup" value="yourLogGroup" />
<param name="NameServerAddress" value="yourRocketmqNameserverAddress"/>
<layout class="org.apache.log4j.PatternLayout">
<param name="ConversionPattern" value="%d{yyyy-MM-dd HH:mm:ss}-%p %t %c - %m%n" />
</layout>
</appender>
<appender name="mqAsyncAppender1" class="org.apache.log4j.AsyncAppender">
<param name="BufferSize" value="1024" />
<param name="Blocking" value="false" />
<appender-ref ref="mqAppender1"/>
</appender>
log4j2
log4j2配置如下。如果你希望隱藏，就配置一個異步插件作為引用。【譯者注：有問題】
<RocketMQ name="rocketmqAppender" producerGroup="yourLogGroup" nameServerAddress="yourRocketmqNameserverAddress"
topic="yourLogTopic" tag="yourTag">
<PatternLayout pattern="%d [%p] hahahah %c %m%n"/>
</RocketMQ>
logback
使用logback，異步插件也是必需的。
<appender name="mqAppender1" class="org.apache.rocketmq.logappender.logback.RocketmqLogbackAppender">
<tag>yourTag</tag>
<topic>yourLogTopic</topic>
<producerGroup>yourLogGroup</producerGroup>
<nameServerAddress>yourRocketmqNameserverAddress</nameServerAddress>
<layout>
<pattern>%date %p %t - %m%n</pattern>
</layout>
</appender>
<appender name="mqAsyncAppender1" class="ch.qos.logback.classic.AsyncAppender">
<queueSize>1024</queueSize>
<discardingThreshold>80</discardingThreshold>
<maxFlushTime>2000</maxFlushTime>
<neverBlock>true</neverBlock>
<appender-ref ref="mqAppender1"/>
</appender>
OpenMessaging兼容示例
OpenMessaging力圖建立行業(yè)準(zhǔn)則和消息分發(fā)、流計(jì)算領(lǐng)域標(biāo)準(zhǔn)，為金融、電子商務(wù)、物聯(lián)網(wǎng)和大數(shù)據(jù)領(lǐng)域提供通用框架。設(shè)計(jì)原則包括，面向云、簡單易用、靈活度高、獨(dú)立于編程語言，以及能在分布式異構(gòu)環(huán)境中使用。這些標(biāo)準(zhǔn)的一致性將會使得開發(fā)一款跨所有主流平臺和操作系統(tǒng)的異構(gòu)消息分發(fā)應(yīng)用成為可能。
RocketMQ提供了關(guān)于OpenMessaging 0.1.0-alpha版本的部分實(shí)現(xiàn)，以下例子展示了如何按照OpenMessaging規(guī)范接入RocketMQ.
OMSProducer
下面這個例子展示了如何向RocketMQ broker用同步、異步、單向發(fā)送的方式發(fā)送消息。
public class OMSProducer {
public static void main(String[] args) {
final MessagingAccessPoint messagingAccessPoint = MessagingAccessPointFactory
.getMessagingAccessPoint("openmessaging:rocketmq://IP1:9876,IP2:9876/namespace");
final Producer producer = messagingAccessPoint.createProducer();
messagingAccessPoint.startup();
System.out.printf("MessagingAccessPoint startup OK%n");
producer.startup();
System.out.printf("Producer startup OK%n");
{
Message message = producer.createBytesMessageToTopic("OMS_HELLO_TOPIC", "OMS_HELLO_BODY".getBytes(Charset.forName("UTF-8")));
SendResult sendResult = producer.send(message);
System.out.printf("Send sync message OK, msgId: %s%n", sendResult.messageId());
}
{
final Promise<SendResult> result = producer.sendAsync(producer.createBytesMessageToTopic("OMS_HELLO_TOPIC", "OMS_HELLO_BODY".getBytes(Charset.forName("UTF-8"))));
result.addListener(new PromiseListener<SendResult>() {
@Override
public void operationCompleted(Promise<SendResult> promise) {
System.out.printf("Send async message OK, msgId: %s%n", promise.get().messageId());
}
@Override
public void operationFailed(Promise<SendResult> promise) {
System.out.printf("Send async message Failed, error: %s%n", promise.getThrowable().getMessage());
}
});
}
{
producer.sendOneway(producer.createBytesMessageToTopic("OMS_HELLO_TOPIC", "OMS_HELLO_BODY".getBytes(Charset.forName("UTF-8"))));
System.out.printf("Send oneway message OK%n");
}
producer.shutdown();
messagingAccessPoint.shutdown();
}
}
OMSPullConsumer
使用OMS PullConsumer從特定隊(duì)列中拉取消息。
public class OMSPullConsumer {
public static void main(String[] args) {
final MessagingAccessPoint messagingAccessPoint = MessagingAccessPointFactory
.getMessagingAccessPoint("openmessaging:rocketmq://IP1:9876,IP2:9876/namespace");
final PullConsumer consumer = messagingAccessPoint.createPullConsumer("OMS_HELLO_TOPIC",
OMS.newKeyValue().put(NonStandardKeys.CONSUMER_GROUP, "OMS_CONSUMER"));
messagingAccessPoint.startup();
System.out.printf("MessagingAccessPoint startup OK%n");
consumer.startup();
System.out.printf("Consumer startup OK%n");
Message message = consumer.poll();
if (message != null) {
String msgId = message.headers().getString(MessageHeader.MESSAGE_ID);
System.out.printf("Received one message: %s%n", msgId);
consumer.ack(msgId);
}
consumer.shutdown();
messagingAccessPoint.shutdown();
}
}
OMSPushConsumer
把OMS PushConsumer和某一個特定的隊(duì)列綁定在一起，通過MessageListener消費(fèi)消息。
public class OMSPushConsumer {
public static void main(String[] args) {
final MessagingAccessPoint messagingAccessPoint = MessagingAccessPointFactory
.getMessagingAccessPoint("openmessaging:rocketmq://IP1:9876,IP2:9876/namespace");
final PushConsumer consumer = messagingAccessPoint.
createPushConsumer(OMS.newKeyValue().put(NonStandardKeys.CONSUMER_GROUP, "OMS_CONSUMER"));
messagingAccessPoint.startup();
System.out.printf("MessagingAccessPoint startup OK%n");
Runtime.getRuntime().addShutdownHook(new Thread(new Runnable() {
@Override
public void run() {
consumer.shutdown();
messagingAccessPoint.shutdown();
}
}));
consumer.attachQueue("OMS_HELLO_TOPIC", new MessageListener() {
@Override
public void onMessage(final Message message, final ReceivedMessageContext context) {
System.out.printf("Received one message: %s%n", message.headers().getString(MessageHeader.MESSAGE_ID));
context.ack();
}
});
}
}
常見問題
以下是一般情況下關(guān)于RocketMQ項(xiàng)目的常見問題。
一般問題
為什么我們要開發(fā)RocketMQ項(xiàng)目，而不是選擇其他的產(chǎn)品？
請參考《為什么是RocketMQ》。如果要使用RocketMQ，我必須安裝其他的軟件嗎，例如Zookeeper？
不需要。RocketMQ可以獨(dú)立運(yùn)行。
使用問題
新建消費(fèi)者ID從哪里開始消費(fèi)消息？
如果消息是該主題在3天之內(nèi)發(fā)送的，那么消費(fèi)者會從保存在服務(wù)端的第一條消息開始消費(fèi)。
如果消息是主題在3天之前發(fā)送的，那么消費(fèi)者會從保存在服務(wù)端的最后一條消息開始消費(fèi)，換句話來說，從消息隊(duì)列的隊(duì)尾開始。
如果消費(fèi)者重啟，那么它會從重啟前最后一個消費(fèi)位置開始。
如果消費(fèi)失敗，要如何重新消費(fèi)消息？
集群消費(fèi)模式。如果一條消息消費(fèi)失敗，消費(fèi)業(yè)務(wù)邏輯代碼會返回Action.ReconsumerLater、NULL或者拋出一個異常，將會重新嘗試消費(fèi)，嘗試次數(shù)最多可達(dá)16次。在此之后，如果還是消費(fèi)失敗，這條消息將會被丟棄。
廣播消費(fèi)模式。廣播消費(fèi)仍然會確保一條消息至少被消費(fèi)一次，但是不提供重新發(fā)送選項(xiàng)。
如果發(fā)生消費(fèi)失敗，要如何查詢消費(fèi)失敗的消息？
根據(jù)時間使用主題查詢，你可以查詢到在一段時間內(nèi)消費(fèi)失敗的消息。
使用主題和消息ID可以準(zhǔn)確查詢到該消息。
使用主題和消息鍵可以準(zhǔn)確地查詢同一類有相同消息鍵的消息。
消息送達(dá)是否有且僅有一次？
RocketMQ確保所有的消息至少送達(dá)一次。在絕大多數(shù)情況下，消息不會重復(fù)。如何添加一個新boker？
啟動一個新的boker，然后在相應(yīng)的name servers所在的list上注冊。
默認(rèn)情況下，只有內(nèi)部系統(tǒng)主題和消費(fèi)者群組會自動被創(chuàng)建。如果你想在新節(jié)點(diǎn)上使用你自己的業(yè)務(wù)主題和消費(fèi)者群組，請從已有的broker上復(fù)制它們。RocketMQ提供了Admin管理工具和命令行來滿足這些需求。
配置相關(guān)問題
以下回答都是基于默認(rèn)值不變的情況，默認(rèn)值可以通過修改配置文件進(jìn)行更改。
消息會在服務(wù)器上保存多久？
存儲的消息會最多保存3天，如果3天之后還沒有被消費(fèi)則會被刪除。消息體的大小限制是？
通常是256KB。如何設(shè)置消費(fèi)者線程的數(shù)量？
啟動消費(fèi)者服務(wù)時，設(shè)置ConsumeThreadNums屬性，舉例如下：
consumer.setConsumeThreadMin(20);
consumer.setConsumeThreadMax(20);
錯誤
如果你啟動一個生產(chǎn)者服務(wù)或消費(fèi)者服務(wù)時失敗了，錯誤提示是生產(chǎn)者群組重復(fù)或消費(fèi)者群組重復(fù)，要如何處理？
原因：使用相同的生產(chǎn)者、消費(fèi)者群組在同一個JVM初始化多個生產(chǎn)者/消費(fèi)者示例可能會導(dǎo)致客戶端啟動失敗。
解決方法：確保一個JVM對應(yīng)一個生產(chǎn)者/消費(fèi)者群組只啟動一個生產(chǎn)者/消費(fèi)者實(shí)例。如果在廣播模式，消費(fèi)者在開始加載JSON文件時失敗，要如何處理？
原因：Fastjson的版本太低，以至于無法允許廣播消費(fèi)者加載offsets.json文件，導(dǎo)致該消費(fèi)者啟動失敗。損壞的fastjson文件也會導(dǎo)致同樣的問題。
解決方法：Fastjson的版本要升級到rocketmq客戶端依賴版本，以確保本地offsets.json文件可以被正常加載。默認(rèn)條件下offsets.json文件存放位置是/home/{user}/.rocketmq_offsets?；蛘邫z查一下fastjson是否完整。broker崩潰有什么影響？
Master崩潰
如果你有另外一個broker集合可用，那么消息就可以不再發(fā)送到這個已經(jīng)崩潰的boker集合。目前，消息仍然可以被發(fā)送到原來的主題。消息仍然可以通過slaves被消費(fèi)。
部分salve崩潰
只要還有另外一個正在運(yùn)作的slave，就不會對發(fā)送消息有任何影響。消費(fèi)消息也不會受到影響，除非消費(fèi)者群組設(shè)置了優(yōu)先消費(fèi)該slave的消息。默認(rèn)情況下，消費(fèi)者群組優(yōu)先消費(fèi)來自master的消息。
所有slaves崩潰
發(fā)送消息到master不會有任何影響，但是，如果master設(shè)置了SYNC_MASTER，那么生產(chǎn)者將會收到一個SLAVE_NOT_AVAILABLE的提醒，提醒說該消息未能發(fā)送到任意一個slaves。消費(fèi)消息也不會受到影響，除非消費(fèi)者群組設(shè)置了優(yōu)先消費(fèi)該slave的消息。默認(rèn)情況下，消費(fèi)者群組優(yōu)先消費(fèi)來自master的消息。
- 生產(chǎn)者報(bào)告“沒有主題路由信息”，如何判斷哪里出了問題？
這種問題會發(fā)生在當(dāng)你嘗試發(fā)送消息到一個主題而這個主題的路由信息對該生產(chǎn)者不可用的時候。 - 確定生產(chǎn)者可以連接到name server，而且能夠從該處獲取路由元信息。
- 確定name servers的確保存了主題的路由元信息。通過使用admin工具或者web控制臺，你可以根據(jù)topicRoute查詢name server的路由元信息。
- 確定你的brokers正在發(fā)送heartbeats給同一list上的name servers，而且你的生產(chǎn)者正在跟它們連接著。
- 確定該主題的權(quán)限是6(rw-)，或者至少是2(-w-).
如果你找不到這個主題，那就通過admin工具命令updateTopic或者web控制臺在一個boker上創(chuàng)建它。
