跳到主要内容

三十六、RocketMQ 主题扩分片后遇到的坑


消息组接到某项目组反馈,topic 在扩容后出现部分队列无法被消费者,导致消息积压,影响线上业务?

考虑到该问题是发送在真实的线上环境,为了避免泄密,本文先在笔者的虚拟机中来重现问题。

本节目录

1、 案情回顾;

  • 1.1 集群现状
  • 1.2、RocketMQ 在线扩容队列
  • 1.3 消息发送

2、 问题暴露;

3、 问题分析;

4、 问题复盘;

1、案情回顾

1.1 集群现状

集群信息如下:
 
例如业务主体名 topic_dw_test_by_order_01 的路由信息如图所示:
 
当前的消费者信息:
 
broker 的配置信息如下:

brokerClusterName = DefaultCluster
brokerName = broker-a
brokerId = 0
deleteWhen = 04
fileReservedTime = 48
brokerRole = ASYNC_MASTER
flushDiskType = ASYNC_FLUSH
brokerIP1=192.168.0.220
brokerIP2-192.168.0.220
namesrvAddr=192.168.0.221:9876;192.168.0.220:9876
storePathRootDir=/opt/application/rocketmq-all-4.5.2-bin-release/store
storePathCommitLog=/opt/application/rocketmq-all-4.5.2-bin-release/store/commitlog
autoCreateTopicEnable=false
autoCreateSubscriptionGroup=false