知序
返回
保存草稿
发布
H1
H2
H3
1
2
3
Excalidraw 图
AI 写作
AI 优化
目录
输入内容后显示目录
Markdown
# 14 - 消息队列如何保证消息不丢失 > 导读:把"消息从生产到消费"拆成三个可能丢失的窗口,逐个给出 RocketMQ/Kafka 的可靠配置与本地消息表兜底,并讲清"保证不丢"必然带来"可能重复"的取舍。适合正在做异步化改造或准备 MQ 面试的同学阅读。 ## 一、先建立全局认知 ### Q:消息到底会在哪些环节丢?为什么必须分段来看? A:**结论:消息从生产者到消费者的链路可以拆成三段——发送、Broker 存储、消费确认,每一段都有各自的丢失原因和对应手段;混在一起谈就无法定位问题。** 订单系统发消息给库存系统扣减库存,消息丢了 → 用户付了钱但库存没扣 → 出大问题。 消息从生产到消费,有三个环节可能丢失:  [编辑 Excalidraw 源图](/images/java-interview-copy/business-scenario/14-mq-message-loss-loss-windows-diagram.excalidraw) ### Q:这三个环节分别在"丢"什么?有没有一张总览表? A:有,先建立这条链路的地图,后面再逐个展开: | 环节 | 丢失原因 | 解决方案 | |------|---------|---------| | 生产者→Broker | 网络失败 | 同步发送+重试+本地消息表 | | Broker 存储 | 宕机未刷盘 | 同步刷盘+同步复制(或 Kafka acks=all) | | Broker→消费者 | 消费失败但已确认 | 手动 ACK,处理完再确认 | **注意最后一行和第 10 篇呼应**:要做到消费者不丢,就必须"处理失败不确认、让 Broker 重投",而重投就意味着可能重复消费——所以"不丢"的完整答案里一定包含"消费端幂等"。 ## 二、理解核心机制 ### Q:环节一:生产者怎么保证消息真的发出去了?RocketMQ 和 Kafka 分别怎么做? A:**结论:同步发送并检查发送结果,失败就重试或落库补发。** RocketMQ: ```java // 同步发送 + 重试 SendResult result = producer.send(msg); if (result.getSendStatus() != SendStatus.SEND_OK) { // 发送失败,重试或记录到本地表 retryOrSaveToLocalDB(msg); } ``` Kafka: ```java // acks=all:等所有 ISR 副本确认 props.put("acks", "all"); // 重试次数 props.put("retries", 3); producer.send(record, (metadata, exception) -> { if (exception != null) { // 发送失败,记录到本地表稍后重试 saveToLocalDB(record); } }); ``` **关键点**:Kafka 的 `acks=all` 表示生产者要等所有同步副本(ISR)确认才算发送成功,`retries` 决定自动重试次数。 **注意**:自动重试本身就会带来重复消息,所以这一步同样要求下游幂等。 ### Q:如果发送持续失败,本地消息表是怎么兜底的? A:**结论:发送失败时把消息落库到本地消息表,用定时任务扫描重发,把"网络问题"转化成"可重试的持久化任务"。**  *图:发送失败写入 local_message 表,定时任务扫描重发* ```text 发送失败时写入本地数据库,定时任务扫描重发: ┌──────────────────────────────────────┐ │ local_message 表 │ │ id | topic | body | status | retry │ │ 1 | stock | ... | FAILED | 0 │ │ 2 | stock | ... | SENT | 1 │ └──────────────────────────────────────┘ 定时任务:每 5 秒扫描 status=FAILED 的记录,重新发送 重试超过 N 次 → 告警人工处理 ``` **关键点**:本地消息表和业务数据放在同一个数据库里,可以纳入同一个事务,从而保证"业务成功则消息一定被记录"。 **适用场景**:不允许丢消息的核心链路(支付、库存、账务)。 **代价**:多一次数据库写入,且需要额外的扫描任务和重试治理。 ### Q:环节二:Broker 收到消息后,怎么保证不因宕机丢? A:**结论:打开同步刷盘和同步复制,让"返回成功"的前提变成"消息已经落到磁盘并且有副本"。** RocketMQ: ```properties # 同步刷盘(默认是异步刷盘) flushDiskType = SYNC_FLUSH # 同步复制(默认是异步复制) brokerRole = SYNC_MASTER ``` ```text 异步刷盘:消息写入 PageCache 就返回成功,宕机可能丢 同步刷盘:消息写入磁盘才返回成功,不会丢但性能差 异步复制:主节点写入就返回,从节点异步复制,主宕机可能丢 同步复制:主从都写入才返回,不会丢但延迟高 ``` Kafka: ```properties # 最小 ISR 副本数 min.insync.replicas=2 # 生产者等所有 ISR 确认 acks=all # 禁止不在 ISR 中的副本被选为 Leader unclean.leader.election.enable=false ``` **关键点**:Kafka 侧是一套组合拳——`acks=all` 让生产者等副本确认,`min.insync.replicas=2` 保证至少两个副本才算写入成功,`unclean.leader.election.enable=false` 防止落后的副本被选为 Leader 而丢数据。三者缺一,可靠性都会打折扣。 ### Q:环节三:消费者怎么保证"处理完才确认"? A:**结论:关闭自动确认,改成业务处理成功后再手动 ACK;处理失败则不确认,让 Broker 重新投递。** 核心原则:处理完业务逻辑后再确认(手动 ACK)。 ```java // RocketMQ 消费者 consumer.registerMessageListener((msgs, context) -> { try { for (MessageExt msg : msgs) { // 先处理业务 orderService.deductStock(msg); } // 业务成功后才返回成功 return ConsumeConcurrentlyStatus.CONSUME_SUCCESS; } catch (Exception e) { // 处理失败,稍后重试 return ConsumeConcurrentlyStatus.RECONSUME_LATER; } }); ``` ```java // Kafka 消费者(手动提交 offset) props.put("enable.auto.commit", "false"); // 关闭自动提交 while (true) { ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100)); for (ConsumerRecord<String, String> record : records) { // 先处理业务 orderService.deductStock(record.value()); } // 业务成功后才提交 offset consumer.commitSync(); } ```  *图:自动 ACK 与手动 ACK 的处理流程对比* ```text 错误做法:自动 ACK 收到消息 → 自动确认 → 开始处理业务 → 处理失败 → 消息已经没了! 正确做法:手动 ACK 收到消息 → 处理业务 → 成功后手动确认 如果处理失败 → 不确认 → Broker 会重新投递 ``` **关键点**:确认动作(ACK / offset 提交)必须发生在业务成功之后,这是"至少一次投递"能够成立的唯一前提。 ## 三、放进真实场景 ### Q:把三个环节串起来,一条"可靠投递闭环"长什么样? A:发送端守好重试与本地表,Broker 端守好刷盘与副本,消费端守好手动确认,三段都守住才不会丢:  [编辑 Excalidraw 源图](/images/java-interview-copy/business-scenario/14-mq-message-loss-mq-message-loss-reliability-flow-diagram.excalidraw) **串联顺序**:生产者 `send` 成功(或落本地表待重发)→ Broker 刷盘并同步到副本后返回成功 → 消费者拉取消息、执行业务、手动确认。 ### Q:保证不丢就会导致重复消费,怎么处理? A:消费端做幂等。常见方式:① 数据库唯一索引(如订单号);② Redis SETNX 记录已处理的消息 ID;③ 业务状态机(已处理的状态不会再处理)。参考第 10 篇幂等性设计。 ## 四、总结与自测 ### Q:面试里怎么答这道题? A: 1. 先说三个环节,表明你对消息链路有全局认识。 2. 每个环节给出具体配置(acks=all、SYNC_FLUSH、手动 ACK)。 3. 提到兜底方案:本地消息表。 4. 加分项:提到消息不丢和消息重复是一对矛盾——保证不丢就可能重复投递,所以消费端要做幂等。 ### Q:为什么这套方案在生产上要按业务分级,而不是全部拉满最可靠的配置? A:**因为"不丢"的每一项都是直接用性能和延迟换来的。** 同步刷盘(SYNC_FLUSH)、同步复制(SYNC_MASTER)、`acks=all` 都会让每次发送等待更多确认,吞吐下降、延迟升高。**架构取舍**是: - **核心链路**(支付、扣款、账务)→ 拉满可靠配置,接受性能损失。 - **允许少量丢失的链路**(日志、埋点、统计)→ 保留异步刷盘/异步复制,换吞吐。 - **折中做法** → 用本地消息表把"可靠"从 MQ 内部挪到业务侧,主链路仍然保持较高性能。 判断依据是业务对丢失的容忍度,而不是"越可靠越好"。 --- ## 自测 1. 消息可能在哪三个环节丢失?各写出一条对应的防护配置。 2. 为什么"消费者处理失败但不确认、让 Broker 重投"最终会导致重复消费?如何解决? 3. `acks=all`、`min.insync.replicas=2`、`unclean.leader.election.enable=false` 三个配置分别解决什么问题?少了其中一个会怎样?
预览
发布文章
添加摘要让读者更快了解文章内容
取消
确认发布
AI 写作助手
输入一个主题,AI 将为你生成一篇 Markdown 博客文章
AI 正在写作中...
取消
开始生成
AI 优化助手
描述你的修改需求,AI 将在原文基础上进行补充或微调
AI 正在优化中...
取消
开始优化
画布
从已有图里选
✕
图名
保存后生成 /images/excalidraw/<图名>.svg(只能用字母、数字、短横线、下划线、点)
取消
保存并插入