springboot + rabbitmq發(fā)送郵件(保證消息100%投遞成功并被消費(fèi))

前言:
RabbitMQ相關(guān)知識(shí)請(qǐng)參考: http://www.itdecent.cn/p/cc3d2017e7b3
Linux安裝RabbitMQ請(qǐng)參考: http://www.itdecent.cn/p/ee9f7594212b
Windows安裝RabbitMQ請(qǐng)參考: http://www.itdecent.cn/p/c7726ba4b046

一、先扔一張圖

image.png

說(shuō)明:
本文涵蓋了關(guān)于RabbitMQ很多方面的知識(shí)點(diǎn), 如:

  1. 消息發(fā)送確認(rèn)機(jī)制
  2. 消費(fèi)確認(rèn)機(jī)制
  3. 消息的重新投遞
  4. 消費(fèi)冪等性, 等等

這些都是圍繞上面那張整體流程圖展開(kāi)的, 所以有必要先貼出來(lái), 見(jiàn)圖知意

二、實(shí)現(xiàn)思路

  1. 簡(jiǎn)略介紹163郵箱授權(quán)碼的獲取
  2. 編寫(xiě)發(fā)送郵件工具類(lèi)
  3. 編寫(xiě)RabbitMQ配置文件
  4. 生產(chǎn)者發(fā)起調(diào)用
  5. 消費(fèi)者發(fā)送郵件
  6. 定時(shí)任務(wù)定時(shí)拉取投遞失敗的消息, 重新投遞
  7. 各種異常情況的測(cè)試驗(yàn)證
  8. 拓展: 使用動(dòng)態(tài)代理實(shí)現(xiàn)消費(fèi)端冪等性驗(yàn)證和消息確認(rèn)(ack)

三、項(xiàng)目介紹

  1. springboot版本2.1.5.RELEASE, 舊版本可能有些配置屬性不能使用, 需要以代碼形式進(jìn)行配置
  2. RabbitMQ版本3.7.15
  3. MailUtil: 發(fā)送郵件工具類(lèi)
  4. RabbitConfig: rabbitmq相關(guān)配置
  5. TestServiceImpl: 生產(chǎn)者, 發(fā)送消息
  6. MailConsumer: 消費(fèi)者, 消費(fèi)消息, 發(fā)送郵件
  7. ResendMsg: 定時(shí)任務(wù), 重新投遞發(fā)送失敗的消息

說(shuō)明: 上面是核心代碼, MsgLogService mapper xml等均未貼出, 完整代碼可以參考我的GitHub, 歡迎fork, https://github.com/wangzaiplus/springboot/tree/wxw

四、代碼實(shí)現(xiàn)

  1. 163郵箱授權(quán)碼的獲取, 如圖:


    image.png

該授權(quán)碼就是配置文件spring.mail.password需要的密碼

  1. pom
        <!--mq-->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-amqp</artifactId>
        </dependency>
        <!--mail-->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-mail</artifactId>
        </dependency>
  1. rabbitmq、郵箱配置
# rabbitmq
spring.rabbitmq.host=localhost
spring.rabbitmq.port=5672
spring.rabbitmq.username=guest
spring.rabbitmq.password=guest
# 開(kāi)啟confirms回調(diào) P -> Exchange
spring.rabbitmq.publisher-confirms=true
# 開(kāi)啟returnedMessage回調(diào) Exchange -> Queue
spring.rabbitmq.publisher-returns=true
# 設(shè)置手動(dòng)確認(rèn)(ack) Queue -> C
spring.rabbitmq.listener.simple.acknowledge-mode=manual
spring.rabbitmq.listener.simple.prefetch=100

# mail
spring.mail.host=smtp.163.com
spring.mail.username=186****2249@163.com
spring.mail.password=***
spring.mail.from=186****2249@163.com
spring.mail.properties.mail.smtp.auth=true
spring.mail.properties.mail.smtp.starttls.enable=true
spring.mail.properties.mail.smtp.starttls.required=true

說(shuō)明: password即授權(quán)碼, username和from要一致

  1. 表結(jié)構(gòu)
CREATE TABLE `msg_log` (
  `msg_id` varchar(255) NOT NULL DEFAULT '' COMMENT '消息唯一標(biāo)識(shí)',
  `msg` text COMMENT '消息體, json格式化',
  `exchange` varchar(255) NOT NULL DEFAULT '' COMMENT '交換機(jī)',
  `routing_key` varchar(255) NOT NULL DEFAULT '' COMMENT '路由鍵',
  `status` int(11) NOT NULL DEFAULT '0' COMMENT '狀態(tài): 0投遞中 1投遞成功 2投遞失敗 3已消費(fèi)',
  `try_count` int(11) NOT NULL DEFAULT '0' COMMENT '重試次數(shù)',
  `next_try_time` datetime DEFAULT NULL COMMENT '下一次重試時(shí)間',
  `create_time` datetime DEFAULT NULL COMMENT '創(chuàng)建時(shí)間',
  `update_time` datetime DEFAULT NULL COMMENT '更新時(shí)間',
  PRIMARY KEY (`msg_id`),
  UNIQUE KEY `unq_msg_id` (`msg_id`) USING BTREE
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='消息投遞日志';

說(shuō)明: exchange routing_key字段是在定時(shí)任務(wù)重新投遞消息時(shí)需要用到的

  1. MailUtil
@Component
@Slf4j
public class MailUtil {

    @Value("${spring.mail.from}")
    private String from;

    @Autowired
    private JavaMailSender mailSender;

    /**
     * 發(fā)送簡(jiǎn)單郵件
     *
     * @param mail
     */
    public boolean send(Mail mail) {
        String to = mail.getTo();// 目標(biāo)郵箱
        String title = mail.getTitle();// 郵件標(biāo)題
        String content = mail.getContent();// 郵件正文

        SimpleMailMessage message = new SimpleMailMessage();
        message.setFrom(from);
        message.setTo(to);
        message.setSubject(title);
        message.setText(content);

        try {
            mailSender.send(message);
            log.info("郵件發(fā)送成功");
            return true;
        } catch (MailException e) {
            log.error("郵件發(fā)送失敗, to: {}, title: {}", to, title, e);
            return false;
        }
    }

}
  1. RabbitConfig
@Configuration
@Slf4j
public class RabbitConfig {

    @Autowired
    private CachingConnectionFactory connectionFactory;

    @Autowired
    private MsgLogService msgLogService;

    @Bean
    public RabbitTemplate rabbitTemplate() {
        RabbitTemplate rabbitTemplate = new RabbitTemplate(connectionFactory);
        rabbitTemplate.setMessageConverter(converter());

        // 消息是否成功發(fā)送到Exchange
        rabbitTemplate.setConfirmCallback((correlationData, ack, cause) -> {
            if (ack) {
                log.info("消息成功發(fā)送到Exchange");
                String msgId = correlationData.getId();
                msgLogService.updateStatus(msgId, Constant.MsgLogStatus.DELIVER_SUCCESS);
            } else {
                log.info("消息發(fā)送到Exchange失敗, {}, cause: {}", correlationData, cause);
            }
        });

        // 觸發(fā)setReturnCallback回調(diào)必須設(shè)置mandatory=true, 否則Exchange沒(méi)有找到Queue就會(huì)丟棄掉消息, 而不會(huì)觸發(fā)回調(diào)
        rabbitTemplate.setMandatory(true);
        // 消息是否從Exchange路由到Queue, 注意: 這是一個(gè)失敗回調(diào), 只有消息從Exchange路由到Queue失敗才會(huì)回調(diào)這個(gè)方法
        rabbitTemplate.setReturnCallback((message, replyCode, replyText, exchange, routingKey) -> {
            log.info("消息從Exchange路由到Queue失敗: exchange: {}, route: {}, replyCode: {}, replyText: {}, message: {}", exchange, routingKey, replyCode, replyText, message);
        });

        return rabbitTemplate;
    }

    @Bean
    public Jackson2JsonMessageConverter converter() {
        return new Jackson2JsonMessageConverter();
    }

    // 發(fā)送郵件
    public static final String MAIL_QUEUE_NAME = "mail.queue";
    public static final String MAIL_EXCHANGE_NAME = "mail.exchange";
    public static final String MAIL_ROUTING_KEY_NAME = "mail.routing.key";

    @Bean
    public Queue mailQueue() {
        return new Queue(MAIL_QUEUE_NAME, true);
    }

    @Bean
    public DirectExchange mailExchange() {
        return new DirectExchange(MAIL_EXCHANGE_NAME, true, false);
    }

    @Bean
    public Binding mailBinding() {
        return BindingBuilder.bind(mailQueue()).to(mailExchange()).with(MAIL_ROUTING_KEY_NAME);
    }

}
  1. TestServiceImpl生產(chǎn)消息
@Service
public class TestServiceImpl implements TestService {

    @Autowired
    private MsgLogMapper msgLogMapper;

    @Autowired
    private RabbitTemplate rabbitTemplate;

    @Override
    public ServerResponse send(Mail mail) {
        String msgId = RandomUtil.UUID32();
        mail.setMsgId(msgId);

        MsgLog msgLog = new MsgLog(msgId, mail, RabbitConfig.MAIL_EXCHANGE_NAME, RabbitConfig.MAIL_ROUTING_KEY_NAME);
        msgLogMapper.insert(msgLog);// 消息入庫(kù)

        CorrelationData correlationData = new CorrelationData(msgId);
        rabbitTemplate.convertAndSend(RabbitConfig.MAIL_EXCHANGE_NAME, RabbitConfig.MAIL_ROUTING_KEY_NAME, MessageHelper.objToMsg(mail), correlationData);// 發(fā)送消息

        return ServerResponse.success(ResponseCode.MAIL_SEND_SUCCESS.getMsg());
    }

}
  1. MailConsumer消費(fèi)消息, 發(fā)送郵件
@Component
@Slf4j
public class MailConsumer {

    @Autowired
    private MsgLogService msgLogService;

    @Autowired
    private MailUtil mailUtil;

    @RabbitListener(queues = RabbitConfig.MAIL_QUEUE_NAME)
    public void consume(Message message, Channel channel) throws IOException {
        Mail mail = MessageHelper.msgToObj(message, Mail.class);
        log.info("收到消息: {}", mail.toString());

        String msgId = mail.getMsgId();

        MsgLog msgLog = msgLogService.selectByMsgId(msgId);
        if (null == msgLog || msgLog.getStatus().equals(Constant.MsgLogStatus.CONSUMED_SUCCESS)) {// 消費(fèi)冪等性
            log.info("重復(fù)消費(fèi), msgId: {}", msgId);
            return;
        }

        MessageProperties properties = message.getMessageProperties();
        long tag = properties.getDeliveryTag();

        boolean success = mailUtil.send(mail);
        if (success) {
            msgLogService.updateStatus(msgId, Constant.MsgLogStatus.CONSUMED_SUCCESS);
            channel.basicAck(tag, false);// 消費(fèi)確認(rèn)
        } else {
            channel.basicNack(tag, false, true);
        }
    }

}

說(shuō)明: 其實(shí)就完成了3件事: 1.保證消費(fèi)冪等性, 2.發(fā)送郵件, 3.更新消息狀態(tài), 手動(dòng)ack

  1. ResendMsg定時(shí)任務(wù)重新投遞發(fā)送失敗的消息
@Component
@Slf4j
public class ResendMsg {

    @Autowired
    private MsgLogService msgLogService;

    @Autowired
    private RabbitTemplate rabbitTemplate;

    // 最大投遞次數(shù)
    private static final int MAX_TRY_COUNT = 3;

    /**
     * 每30s拉取投遞失敗的消息, 重新投遞
     */
    @Scheduled(cron = "0/30 * * * * ?")
    public void resend() {
        log.info("開(kāi)始執(zhí)行定時(shí)任務(wù)(重新投遞消息)");

        List<MsgLog> msgLogs = msgLogService.selectTimeoutMsg();
        msgLogs.forEach(msgLog -> {
            String msgId = msgLog.getMsgId();
            if (msgLog.getTryCount() >= MAX_TRY_COUNT) {
                msgLogService.updateStatus(msgId, Constant.MsgLogStatus.DELIVER_FAIL);
                log.info("超過(guò)最大重試次數(shù), 消息投遞失敗, msgId: {}", msgId);
            } else {
                msgLogService.updateTryCount(msgId, msgLog.getNextTryTime());// 投遞次數(shù)+1

                CorrelationData correlationData = new CorrelationData(msgId);
                rabbitTemplate.convertAndSend(msgLog.getExchange(), msgLog.getRoutingKey(), MessageHelper.objToMsg(msgLog.getMsg()), correlationData);// 重新投遞

                log.info("第 " + (msgLog.getTryCount() + 1) + " 次重新投遞消息");
            }
        });

        log.info("定時(shí)任務(wù)執(zhí)行結(jié)束(重新投遞消息)");
    }

}

說(shuō)明: 每一條消息都和exchange routingKey綁定, 所有消息重投共用這一個(gè)定時(shí)任務(wù)即可

五、基本測(cè)試

OK, 目前為止, 代碼準(zhǔn)備就緒, 現(xiàn)在進(jìn)行正常流程的測(cè)試

  1. 發(fā)送請(qǐng)求:


    image.png

  2. 后臺(tái)日志:


    image.png

  3. 數(shù)據(jù)庫(kù)消息記錄:


    image.png

狀態(tài)為3, 表明已消費(fèi), 消息重試次數(shù)為0, 表明一次投遞就成功了

  1. 查看郵箱


    image.png

發(fā)送成功

六、各種異常情況測(cè)試

步驟一羅列了很多關(guān)于RabbitMQ的知識(shí)點(diǎn), 很重要, 很核心, 而本文也涉及到了這些知識(shí)點(diǎn)的實(shí)現(xiàn), 接下來(lái)就通過(guò)異常測(cè)試進(jìn)行驗(yàn)證(這些驗(yàn)證都是圍繞本文開(kāi)頭扔的那張流程圖展開(kāi)的, 很重要, 所以, 再貼一遍)

image.png
  1. 驗(yàn)證消息發(fā)送到Exchange失敗情況下的回調(diào), 對(duì)應(yīng)上圖P -> X

如何驗(yàn)證? 可以隨便指定一個(gè)不存在的交換機(jī)名稱(chēng), 請(qǐng)求接口, 看是否會(huì)觸發(fā)回調(diào)

image.png

發(fā)送失敗, 原因: reply-code=404, reply-text=NOT_FOUND - no exchange 'mail.exchangeabcd' in vhost '/', 該回調(diào)能夠保證消息正確發(fā)送到Exchange, 測(cè)試完成

  1. 驗(yàn)證消息從Exchange路由到Queue失敗情況下的回調(diào), 對(duì)應(yīng)上圖X -> Q

同理, 修改一下路由鍵為不存在的即可, 路由失敗, 觸發(fā)回調(diào)

image.png

發(fā)送失敗, 原因: route: mail.routing.keyabcd, replyCode: 312, replyText: NO_ROUTE

  1. 驗(yàn)證在手動(dòng)ack模式下, 消費(fèi)端必須進(jìn)行手動(dòng)確認(rèn)(ack), 否則消息會(huì)一直保存在隊(duì)列中, 直到被消費(fèi), 對(duì)應(yīng)上圖Q -> C

將消費(fèi)端代碼channel.basicAck(tag, false);// 消費(fèi)確認(rèn)注釋掉, 查看控制臺(tái)和rabbitmq管控臺(tái)

image.png
image.png

可以看到, 雖然消息確實(shí)被消費(fèi)了, 但是由于是手動(dòng)確認(rèn)模式, 而最后又沒(méi)手動(dòng)確認(rèn), 所以, 消息仍被rabbitmq保存, 所以, 手動(dòng)ack能夠保證消息一定被消費(fèi), 但一定要記得basicAck

  1. 驗(yàn)證消費(fèi)端冪等性

接著上一步, 去掉注釋, 重啟服務(wù)器, 由于有一條未被ack的消息, 所以重啟后監(jiān)聽(tīng)到消息, 進(jìn)行消費(fèi), 但是由于消費(fèi)前會(huì)判斷該消息的狀態(tài)是否未被消費(fèi), 發(fā)現(xiàn)status=3, 即已消費(fèi), 所以, 直接return, 這樣就保證了消費(fèi)端的冪等性, 即使由于網(wǎng)絡(luò)等原因投遞成功而未觸發(fā)回調(diào), 從而多次投遞, 也不會(huì)重復(fù)消費(fèi)進(jìn)而發(fā)生業(yè)務(wù)異常

image.png
  1. 驗(yàn)證消費(fèi)端發(fā)生異常消息也不會(huì)丟失

很顯然, 消費(fèi)端代碼可能發(fā)生異常, 如果不做處理, 業(yè)務(wù)沒(méi)正確執(zhí)行, 消息卻不見(jiàn)了, 給我們感覺(jué)就是消息丟失了, 由于我們消費(fèi)端代碼做了異常捕獲, 業(yè)務(wù)異常時(shí), 會(huì)觸發(fā): channel.basicNack(tag, false, true);, 這樣會(huì)告訴rabbitmq該消息消費(fèi)失敗, 需要重新入隊(duì), 可以重新投遞到其他正常的消費(fèi)端進(jìn)行消費(fèi), 從而保證消息不被丟失

測(cè)試: send方法直接返回false即可(這里跟拋出異常一個(gè)意思)

image.png

可以看到, 由于channel.basicNack(tag, false, true), 未被ack的消息(unacked)會(huì)重新入隊(duì)并被消費(fèi), 這樣就保證了消息不會(huì)走丟

  1. 驗(yàn)證定時(shí)任務(wù)的消息重投

實(shí)際應(yīng)用場(chǎng)景中, 可能由于網(wǎng)絡(luò)原因, 或者消息未被持久化MQ就宕機(jī)了, 使得投遞確認(rèn)的回調(diào)方法ConfirmCallback沒(méi)有被執(zhí)行, 從而導(dǎo)致數(shù)據(jù)庫(kù)該消息狀態(tài)一直是投遞中的狀態(tài), 此時(shí)就需要進(jìn)行消息重投, 即使也許消息已經(jīng)被消費(fèi)了

定時(shí)任務(wù)只是保證消息100%投遞成功, 而多次投遞的消費(fèi)冪等性需要消費(fèi)端自己保證

我們可以將回調(diào)和消費(fèi)成功后更新消息狀態(tài)的代碼注釋掉, 開(kāi)啟定時(shí)任務(wù), 查看是否重投

image.png
image.png

可以看到, 消息會(huì)重投3次, 超過(guò)3次放棄, 將消息狀態(tài)置為投遞失敗狀態(tài), 出現(xiàn)這種非正常情況, 就需要人工介入排查原因

七、拓展: 使用動(dòng)態(tài)代理實(shí)現(xiàn)消費(fèi)端冪等性驗(yàn)證和消費(fèi)確認(rèn)(ack)

不知道大家發(fā)現(xiàn)沒(méi)有, 在MailConsumer中, 真正的業(yè)務(wù)邏輯其實(shí)只是發(fā)送郵件mailUtil.send(mail)而已, 但我們又不得不在調(diào)用send方法之前校驗(yàn)消費(fèi)冪等性, 發(fā)送后, 還要更新消息狀態(tài)為"已消費(fèi)"狀態(tài), 并手動(dòng)ack, 實(shí)際項(xiàng)目中, 可能還有很多生產(chǎn)者-消費(fèi)者的應(yīng)用場(chǎng)景, 如記錄日志, 發(fā)送短信等等, 都需要rabbitmq, 如果每次都寫(xiě)這些重復(fù)的公用代碼, 沒(méi)必要, 也難以維護(hù), 所以, 我們可以將公共代碼抽離出來(lái), 讓核心業(yè)務(wù)邏輯只關(guān)心自己的實(shí)現(xiàn), 而不用做其他操作, 其實(shí)就是AOP

為達(dá)到這個(gè)目的, 有很多方法, 可以用spring aop, 可以用攔截器, 可以用靜態(tài)代理, 也可以用動(dòng)態(tài)代理, 在這里, 我用的是動(dòng)態(tài)代理

目錄結(jié)構(gòu)如下:

image.png

核心代碼就是代理的實(shí)現(xiàn), 這里就不把所有代碼貼出來(lái)了, 只是提供一個(gè)思路, 我們要盡可能地把代碼寫(xiě)的更簡(jiǎn)潔更優(yōu)雅

八、總結(jié)

發(fā)送郵件其實(shí)很簡(jiǎn)單, 但深究起來(lái)其實(shí)有很多需要注意和完善的點(diǎn), 一個(gè)看似很小的知識(shí)點(diǎn), 也可以引申出很多問(wèn)題, 甚至涉及到方方面面, 這些都需要自己踩坑, 當(dāng)然我這代碼肯定還有很多不完善和需要優(yōu)化的點(diǎn), 希望小伙伴多多提意見(jiàn)和建議

我的代碼都是經(jīng)過(guò)自測(cè)驗(yàn)證過(guò)的, 圖也都是一點(diǎn)一點(diǎn)自己畫(huà)的或認(rèn)真截的, 希望小伙伴能學(xué)到一點(diǎn)東西, 路過(guò)的點(diǎn)個(gè)贊或點(diǎn)個(gè)關(guān)注唄, 謝謝

項(xiàng)目Github, 歡迎fork
https://github.com/wangzaiplus/springboot/tree/wxw

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書(shū)系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容