知序
返回
保存草稿
发布
H1
H2
H3
1
2
3
Excalidraw 图
AI 写作
AI 优化
目录
输入内容后显示目录
Markdown
# 42 - 如何实现消息的 Exactly-Once 语义 > 导读:支付成功后通过 MQ 通知订单服务,结果消息被投递了两次,订单更新了两遍、用户积分多加了一次。读完本文你能说清消息为什么会重复、为什么 MQ 只能做到 At-Least-Once、以及去重表 / Redis / 状态机 / 事务消息四种方案各自怎么用、该在什么场景选哪个。适合正在做支付、订单等强一致业务或有相关面试准备的 Java 后端工程师。 ## 一、先建立全局认知 ### Q:消息重复到底是怎么发生的? A:支付系统通过 MQ 通知订单服务"支付成功",订单服务消费消息后更新订单状态。但消息可能重复投递,生产端和消费端各有一个典型场景: ``` 场景一:生产者重试 支付服务发消息 → MQ 收到了 → 返回 ACK 时网络超时 → 支付服务以为没发成功 → 重发 → 消息重复 场景二:消费者重试 订单服务消费消息 → 更新订单状态成功 → 返回 ACK 时网络超时 → MQ 以为没消费成功 → 重新投递 → 重复消费 结果:订单被更新两次,如果是加积分场景,用户积分多加了 ``` 术语先对齐:**ACK**(Acknowledgment)是"确认收到"的应答消息;**At-Least-Once** 是"至少投递一次",保证不丢但可能重复;**Exactly-Once** 是"恰好一次",既不丢也不重复。两者的差别,其实就差在"重复"这两个字上。 注意这两个场景的共同点:**重复都源于"网络超时导致的不确定状态"**。发送方不知道对面到底收没收到,为了不丢消息只能重试,而重试必然会带来重复。这不是实现缺陷,是分布式系统的固有矛盾。 ### Q:MQ 为什么不能自己保证 Exactly-Once? A:因为"确认"这个动作本身要走网络,而网络是不可靠的——这里没有一个能同时保证"不丢"和"不重"的原子操作。 MQ 本身只能保证 At-Least-Once(至少一次),Exactly-Once 需要业务层配合实现。原因拆开看: - 如果发送方在收到 ACK 前就认为成功,一旦 ACK 丢失,消息就丢了(At-Most-Once,至多一次)。 - 如果发送方没收到 ACK 就重发,重复就不可避免(At-Least-Once,至少一次)。 所以工程上选择"宁可重复、不可丢失",再由业务侧把重复"消化掉"。 ### Q:实现 Exactly-Once 的核心思路是什么? A:一个等式:**At-Least-Once + 幂等消费 = Exactly-Once**。 ``` Exactly-Once = MQ 保证消息至少投递一次 + 消费端保证处理多次效果和一次一样 ```  [编辑 Excalidraw 源图](/images/java-interview-copy/business-scenario/42-mq-exactly-once-mq-exactly-once-semantics-diagram.excalidraw) 理解这个等式,后面所有方案的定位就清楚了:**它们都在解决"消费端幂等"这一半**,只是实现手段和适用条件不同。幂等(Idempotent)在这里的定义是:同一条消息处理一次和处理多次,最终业务状态完全一致。 ## 二、理解核心机制 ### Q:去重表方案怎么做?为什么它是推荐方案? A:核心是"用消息唯一 ID 做主键,靠数据库唯一约束挡掉重复,并且把去重和业务操作放进同一个事务"。 ```java // 1. 建去重表 // CREATE TABLE mq_consume_log ( // msg_id VARCHAR(64) PRIMARY KEY, -- 消息唯一 ID // biz_key VARCHAR(128), -- 业务键(如订单号) // status TINYINT DEFAULT 0, -- 0:处理中 1:成功 2:失败 // create_time DATETIME DEFAULT NOW() // ); @Service public class OrderMessageConsumer { @Transactional public void onPaySuccess(PayMessage msg) { // 1. 插入去重表(利用主键唯一约束) try { consumeLogMapper.insert(new ConsumeLog(msg.getMsgId(), msg.getOrderId())); } catch (DuplicateKeyException e) { // 重复消息,直接跳过 log.info("重复消息,跳过: msgId={}", msg.getMsgId()); return; } // 2. 执行业务逻辑 orderMapper.updateStatus(msg.getOrderId(), OrderStatus.PAID); // 3. 更新去重表状态 consumeLogMapper.updateStatus(msg.getMsgId(), 1); } } ``` 关键:去重表的插入和业务操作在同一个事务中,保证原子性。 关键点与适用场景: - 同事务是这套方案的灵魂。如果"插入去重记录"和"更新订单状态"不在一个事务,就会出现"去重记录写了但业务失败",消息再也补不回来。 - `@Transactional` 让"插入失败(重复)→ 直接 return"和"插入成功 → 执行业务"成为一个整体:要么都成功,要么都回滚。 - 适合对一致性要求高的通用场景(支付、扣库存),代价是多一张表、每次消费多一次写库开销。 ### Q:Redis 去重怎么做?它和去重表的关键差别在哪? A:用 `SETNX` 抢一个带 TTL 的 key,抢不到就说明是重复消息。差别在于它是"先打标记、再执行业务",与业务不在同一事务。 ```java @Service public class OrderMessageConsumer { public void onPaySuccess(PayMessage msg) { String deduplicateKey = "mq:dedup:" + msg.getMsgId(); // SETNX:如果 key 不存在则设置成功(返回 true),已存在则失败(返回 false) Boolean isNew = redis.opsForValue() .setIfAbsent(deduplicateKey, "1", 24, TimeUnit.HOURS); if (Boolean.FALSE.equals(isNew)) { log.info("重复消息,跳过: msgId={}", msg.getMsgId()); return; } try { // 执行业务逻辑 orderMapper.updateStatus(msg.getOrderId(), OrderStatus.PAID); } catch (Exception e) { // 业务失败,删除去重标记,允许重试 redis.delete(deduplicateKey); throw e; } } } ``` 注意:Redis 去重和数据库操作不在同一个事务中,极端情况下可能不一致。适合对一致性要求不那么高的场景。 关键点与适用场景: - `SETNX`(SET if Not eXists)语义是"只有 key 不存在才设置成功",天然适合做"第一次通过、后续拦住"的判断。 - TTL(示例是 24 小时)的作用是自动过期,避免 key 无限堆积;但 TTL 必须覆盖消息的重投窗口,设短了会漏判。 - 失败时 `redis.delete(deduplicateKey)` 这步很关键:业务失败要允许重试,否则这条消息就"永久丢失"了。 - 它用"极端情况下的不一致"换取了远超数据库的吞吐,适合高并发、且业务能容忍极小概率不一致的场景。 ### Q:能不能不加去重表?业务状态机幂等怎么实现? A:可以,前提是业务本身能用状态机表达——用 `WHERE status=原状态` 做条件更新,靠数据库的行更新结果天然幂等。 ```java // 利用业务本身的状态做幂等,不需要额外的去重表 @Service public class OrderMessageConsumer { public void onPaySuccess(PayMessage msg) { // UPDATE orders SET status='PAID' // WHERE order_id=#{orderId} AND status='CREATED' // 如果订单已经是 PAID 状态,WHERE 条件不满足,rows=0,天然幂等 int rows = orderMapper.updateStatus( msg.getOrderId(), OrderStatus.CREATED, OrderStatus.PAID); if (rows == 0) { log.info("订单状态已变更,跳过: orderId={}", msg.getOrderId()); } } } ``` 这是最优雅的方案,但前提是业务操作本身可以用状态机表达。 关键点与适用场景: - 本质是"条件更新 + 判断影响行数":第一次执行 `rows=1`,重复执行 `rows=0`,用影响行数区分是否首次。 - 零额外存储、零额外查询,性能最好;局限也很明确——只能用于"带状态的流转"(订单、支付、工单),无法用于"加积分""发送短信"这类没有前置状态的累加型操作。 - 设计取舍:它把幂等责任下推给了数据模型。业务状态设计得好(状态流转单向、不可逆),幂等就是免费的;设计得差(状态可反复横跳),这招就失效。 ### Q:生产端的重复怎么解决?RocketMQ 事务消息是什么原理? A:用"半消息 + 本地事务 + 回查"保证"本地事务"和"发消息"的原子性,从源头减少生产端的重复与丢失。 ```java // 事务消息:保证"本地事务"和"发消息"的原子性 @Service public class PayService { public void paySuccess(Long orderId) { // 1. 发送半消息(Half Message),消费者暂时看不到 Message msg = new Message("pay-topic", JSON.toJSONBytes(new PayMessage(orderId))); rocketMQTemplate.sendMessageInTransaction("pay-topic", MessageBuilder.withPayload(msg).build(), orderId); } } // 2. 事务监听器 @RocketMQTransactionListener public class PayTransactionListener implements RocketMQLocalTransactionListener { @Override public RocketMQLocalTransactionState executeLocalTransaction(Message msg, Object arg) { try { Long orderId = (Long) arg; // 执行本地事务(更新支付状态) payMapper.updateStatus(orderId, PayStatus.SUCCESS); return RocketMQLocalTransactionState.COMMIT; // 提交消息 } catch (Exception e) { return RocketMQLocalTransactionState.ROLLBACK; // 回滚消息 } } @Override public RocketMQLocalTransactionState checkLocalTransaction(MessageExt msg) { // MQ 回查:本地事务是否成功? Long orderId = parseOrderId(msg); PayOrder pay = payMapper.selectById(orderId); if (pay != null && pay.getStatus() == PayStatus.SUCCESS) { return RocketMQLocalTransactionState.COMMIT; } return RocketMQLocalTransactionState.ROLLBACK; } } ``` ``` 事务消息流程: 1. 生产者发送半消息 → MQ 存储但不投递 2. 生产者执行本地事务 3. 本地事务成功 → COMMIT → MQ 投递消息给消费者 本地事务失败 → ROLLBACK → MQ 丢弃消息 4. 如果生产者没有返回 COMMIT/ROLLBACK → MQ 主动回查 ``` 关键点与适用场景: - **半消息**(Half Message)的意义是"消息先存下来,但消费者看不到",相当于给消息加了一个"待确认"状态,从而把"发消息"变成了可回滚的动作。 - **回查**(`checkLocalTransaction`)解决的是"生产者在提交阶段宕机"的问题:MQ 主动问一句"你的本地事务到底成没成",再决定投递还是丢弃。 - 只有 RocketMQ 提供这套原生事务消息;其他 MQ 要用"本地消息表 + 定时补偿"等方式自行模拟。 - 它解决的是**生产端**的一致性,消费端的重复依然要靠前面的幂等方案兜底——两端的方案是互补关系,不是替代关系。 ### Q:四种方案应该怎么选? A:先看业务有没有状态机,再看一致性要求与并发量。 | 方案 | 优点 | 缺点 | 适用场景 | |------|------|------|---------| | 去重表 | 可靠,和业务同事务 | 多一张表,有 DB 开销 | 通用方案 | | Redis 去重 | 高性能 | 和业务不在同一事务 | 高并发 + 允许极端不一致 | | 状态机幂等 | 最优雅,无额外存储 | 要求业务可用状态机表达 | 状态流转类业务 | | 事务消息 | 解决生产端一致性 | 仅 RocketMQ 支持 | 本地事务 + 发消息 | 选择逻辑可以概括为三条判断: 1. 业务天然有状态流转 → 优先状态机幂等,成本最低。 2. 没有状态、并发又高 → Redis 去重,接受极端不一致。 3. 没有状态、要强一致 → 去重表,用存储换可靠性。 生产端若同时存在"本地事务 + 发消息"的需求,再叠加 RocketMQ 事务消息。 ## 三、放进真实场景 ### Q:去重表数据量越来越大怎么办? A:定期清理过期数据(比如保留 7 天),或者用 Redis 做去重(设置 TTL 自动过期)。也可以按时间分表。 要补充的取舍是:保留窗口不能拍脑袋,它必须 **大于消息可能发生重投的最大时间跨度**,否则清理掉记录后,迟到的重复消息就会被当成新消息处理。分表方案则要额外维护路由规则,带来查询复杂度。 ### Q:Kafka 的 Exactly-Once 是怎么实现的? A:Kafka 0.11+ 支持幂等生产者(`enable.idempotence=true`,通过 PID + SequenceNumber 去重)和事务(`transactional.id`,保证跨分区的原子写入)。但这只是 Kafka 内部的 Exactly-Once,端到端仍需消费端幂等。 展开说这两层的分工: - **幂等生产者**解决"生产者重试导致的同分区重复写入"。它给生产者分配一个 PID(Producer ID),再给每条消息带上自增的 SequenceNumber,Broker 侧据此丢弃重复的消息。 - **事务**通过 `transactional.id` 把"一批跨分区的写入 + offset 提交"打包成一个原子操作,解决消费-转换-再生产的场景。 - 关键边界:这属于"Kafka 到自己"这一段,一旦下游是数据库或另一个系统,就无法被 Kafka 的事务覆盖,端到端 Exactly-Once 仍然要靠消费端幂等来补齐。 ### Q:落地 Exactly-Once 时有哪些生产经验? A:按"症状 → 原因 → 解决方案"整理三类高频问题: 1. **症状**:去重表建了,但业务还是被重复执行。**原因**:去重记录和业务操作不在同一事务,第一次执行到一半失败并提交了去重记录。**解决方案**:用 `@Transactional` 把插入去重记录与业务更新包成一个事务。 2. **症状**:Redis 去重后消息"丢了",再也消费不到。**原因**:打标记成功后业务抛异常,但没删除去重标记,MQ 重投时被判定为重复直接跳过。**解决方案**:业务失败时删除去重标记(或把标记状态改为"失败可重试")。 3. **症状**:消息唯一 ID 冲突,不同业务的消息被误判为重复。**原因**:`msgId` 生成规则不唯一(如只用时间戳),或跨 Topic 复用了同一 ID。**解决方案**:使用 MQ 提供的全局唯一 MessageId,或自建"业务前缀 + 唯一序列"的 ID 规则。 统一规律:**幂等的关键是"唯一标识"和"事务边界"这两件事,多数现场事故都不是方案选错,而是这两点没做对。** ## 四、总结与自测 ### Q:面试里怎么答这道题? A:先亮等式,再分方案,最后划边界: 1. MQ 本身只保证 At-Least-Once,Exactly-Once 需要消费端做幂等。 2. 通用方案:去重表(消息 ID 做主键,利用唯一约束去重,和业务操作放在同一事务)。 3. 优雅方案:业务状态机幂等(`WHERE status=原状态`,天然幂等)。 4. 生产端一致性:RocketMQ 事务消息保证"本地事务 + 发消息"原子性。 结尾补一句边界,体现深度:上述方案都是"消费端幂等",Kafka 的幂等生产者与事务只覆盖"Kafka 内部",端到端仍需业务兜底。 ### Q:为什么说"幂等"是分布式消息系统的必备能力? A:因为重复不是偶然,而是"为保证不丢消息而重试"的必然产物。凡是走网络 + 重试的链路(MQ 投递、RPC 重试、用户重复点击),重复都一定会发生。与其追求"永不重复"这种做不到的目标,不如让"重复无害"——这正是幂等设计的价值:**它把不可控的投递语义,收敛成可控的业务语义。** --- ## 自测 1. 消息重复的两个典型场景分别发生在生产端还是消费端?它们的共同原因是什么? 2. 为什么 MQ 只能保证 At-Least-Once?"At-Least-Once + 幂等消费 = Exactly-Once"这个等式怎么理解? 3. 去重表方案为什么必须把去重记录的插入和业务操作放在同一个事务里? 4. Redis 去重相比去重表有什么优势和风险?业务执行失败时为什么要删除去重标记? 5. RocketMQ 事务消息中的"半消息"和"回查"分别解决什么问题?它能替代消费端幂等吗?
预览
发布文章
添加摘要让读者更快了解文章内容
取消
确认发布
AI 写作助手
输入一个主题,AI 将为你生成一篇 Markdown 博客文章
AI 正在写作中...
取消
开始生成
AI 优化助手
描述你的修改需求,AI 将在原文基础上进行补充或微调
AI 正在优化中...
取消
开始优化
画布
从已有图里选
✕
图名
保存后生成 /images/excalidraw/<图名>.svg(只能用字母、数字、短横线、下划线、点)
取消
保存并插入