知序
返回
保存草稿
发布
H1
H2
H3
1
2
3
Excalidraw 图
AI 写作
AI 优化
目录
输入内容后显示目录
Markdown
# 11 - 一条消息的完整生命周期 > 导读:本章把生产、日志追加、副本同步、消费位移和清理放在一条时间轴上,适合在排查“消息去哪了”“为什么重复了”时快速定位责任边界。 ## 结论先行 一条 Kafka 消息由 `(topic, partition, offset)` 定位:写入成功、对消费者可见和业务处理完成是三个不同事件。消息被消费后仍会保留,直到日志删除或压缩;可靠性要分别检查 acks、ISR/HW、位移和下游幂等。 前面几篇按角色拆开讲了 Producer([03 - 生产者详解](./03-producer.md))、Consumer([04 - 消费者详解](./04-consumer.md))、分区与副本([05 - 主题与分区](./05-topic-partition.md))、存储([06 - 存储机制](./06-storage.md))、可靠性([07 - 高可用与一致性](./07-reliability.md))。这一篇换个视角:**跟随一条消息从"出生"到"删除",把全链路串起来看一遍。** 一句话概括 Kafka 里一条消息的宿命: ``` 消息一旦被生产,就只进不退地落在某个分区的日志里; 它不因为"被消费"而消失,只因为"超期 / 被压缩"而被清理; 它的一生 = 一次确定落点 + 多次按需重放。 ``` ## 全链路总览 一条消息的一生通常经过五个阶段: ``` 阶段一:生产 阶段二:落盘 阶段三:同步 阶段四:消费 阶段五:清理 Producer 客户端 → Leader 追加写日志 → Follower 追平 + HW → Consumer 拉取 → 超过 retention (序列化/分区/批量) (分配 Offset) (消息"转正可见") (提交 Offset) 或被 compact ```  *图:从生产、日志追加和副本同步,到消费提交与日志清理的完整时间轴。* [查看可编辑的 Excalidraw 源图](/images/excalidraw/kafka-message-lifecycle-overview.excalidraw) 按时间轴展开:  *图:T1~T7:一条消息从生产到被清理的七步旅程* ``` 时刻 发生了什么 负责方 在哪儿讲过 ────────────────────────────────────────────────────────────────────────────────── T1 业务调用 send(),消息进入客户端缓冲区等待成批 Producer [03] T2 batch 攒够 / linger.ms 到点,Sender 发出网络请求 Producer [03] T3 Leader 把消息追加到分区日志尾部,分配唯一 Offset, Broker [05][06] 按 acks 配置回包 T4 ISR 内的 Follower 拉取同步,HW 前移, Broker [05][07] 消息对消费者"可见" T5 Consumer poll() 从分区日志拉取这条消息 Consumer [04] T6 处理成功后提交 Offset(记录"读到了这里") Consumer [04] T7 消息依然躺在日志里,直到被其他 Group 重放 / 超期删除 Broker [04][06] ``` > 从 T3 起,这条消息就拿到了"身份证":`(topic, partition, offset)` 三元组唯一确定它。之后一切对它进行的定位、重放、回溯,都靠这个三元组。 ## 阶段一:生产 —— 消息出生(Producer 端) 代码里 new 出来的一个 `ProducerRecord`,在真正离开进程前要过五道关卡: ``` ProducerRecord (key, value, headers, timestamp) 1. 拦截器 → 业务自定义的发送前处理(加时间戳、埋点……) 2. 序列化器 → key/value 变成 byte[](String / Avro / Protobuf……) 3. 分区器 → 决定进哪个分区: 指定 partition → 直接进 有 key → hash(key) % 分区数 无 key → Sticky 粘性分区 4. 累加器 → 按分区缓存,攒成 batch(buffer.memory 默认 32MB) 5. Sender 线程 → 把 batch 打成 ProduceRequest,异步发给分区 Leader ``` ```java producer.send(new ProducerRecord<>("orders", "order-1001", orderJson), (metadata, e) -> { if (e == null) { // 到这一步才知道它的"身份证": // topic=orders, partition=2, offset=1042 } }); ``` 三个值得注意的点: 1. **offset 不是客户端分配的**,而是 Broker 追加后返回的。所以回调里的 `metadata` 才是它户口本上的最终编号。 2. **"出生成功"由 acks 定义**: - `acks=0`:发出即算成功(最快、最不可靠) - `acks=1`:Leader 写入即算成功(默认) - `acks=all`:所有 ISR 副本都写入才算成功(结合 `min.insync.replicas`) 3. **失败重试可能造出"双胞胎"**:客户端收不到 ack 会重发,而 Broker 可能已经写入 → 幂等生产者(`enable.idempotence`,3.x 默认开启)靠 PID + 序列号去重。详见 [07 - 高可用与一致性](./07-reliability.md)。 ## 阶段二:落盘 —— 消息"上户口"(Leader 端) ProduceRequest 到达分区 Leader 后,Broker 做这几件事: ``` Leader 处理 ProduceRequest: 1. 校验(Topic 是否存在、权限、消息大小……) 2. 追加写入当前活跃的日志段(.log),纯顺序写 + Page Cache 3. 分配 Offset = 当前 LEO(Log End Offset) 4. 更新稀疏索引(.index / .timeindex),方便按 offset / 时间定位 5. 按 acks 配置决定何时回包 ```  *图:Partition 2 日志尾部:三条消息与待写入位置 LEO=1043* ``` Partition 2 (Leader) 的日志,此刻 LEO=1043 offset 1040 1041 1042 ← 新消息 order-1001 ┌────────┬────────┬────────┐ .log │ msg │ msg │ msg │ 只追加,永不修改 └────────┴────────┴────────┘ ↑ LEO=1043(下一条的写入位置) ``` 到这里消息完成了三件大事: - **有了位置**:落在分区 2,前后邻居就此固定; - **有了编号**:offset=1042,集群内唯一可寻址; - **进了日志**:数据在 Page Cache / 磁盘上,但**此刻消费者还读不到它**(见阶段三)。 日志段结构、索引、刷盘的细节见 [06 - 存储机制](./06-storage.md)。 ## 阶段三:同步 —— 消息"转正可见"(ISR + HW) 分区有 Leader 和多个 Follower 副本。Leader 写完日志后,ISR 内的 Follower 会持续从 Leader 拉取这批数据,写到自己的本地日志: ``` ISR 同步状态: Leader (LEO=1043) Follower 1 (LEO=1043) ← 已追平,留在 ISR Follower 2 (LEO=1041) ← 落后,被移出 ISR ``` HW(High Watermark,高水位)= ISR 中所有副本 LEO 的最小值:  *图:LEO 与 HW 之差:消费者只能读到 offset 小于 3 的消息* ``` offset 0 1 2 3 4 5 ┌────┬────┬────┬────┬────┬────┐ Leader .log │ m0 │ m1 │ m2 │ m3 │ m4 │ m5 │ LEO=6 └────┴────┴────┴────┴────┴────┘ ┌────┬────┬────┐ Follower.log │ m0 │ m1 │ m2 │ LEO=3(还没追上) └────┴────┴────┘ ↑ HW=3 消费者最多只能读到 offset < 3 的消息(m0、m1、m2) m3、m4、m5 虽然已在 Leader 上,但此刻"不可见" ```  *图:HW 将已复制的稳定记录与暂未对消费者可见的记录分隔开。* [查看可编辑的 Excalidraw 源图](/images/excalidraw/kafka-hw-visibility-boundary.excalidraw) 这一阶段回答了最常被问到的点: > 💬 **Q:为什么 Leader 已经写入并 ack 了,消费者却不一定能立刻读到?** > > 消费者只允许读取 **HW 以下**的消息。`acks=1` 只代表 Leader 自己写入了;如果此刻 Leader 宕机、而 Follower 还没同步到这条消息,新 Leader 上就没有它,消费者会"读到一半断片"。只有消息进入 ISR 副本、HW 前移之后,它才算"转正"——任何副本上位都不会丢。 > > 所以可以这样理解两个时刻: > - `acks=1` 回包 → 消息已写入,但可能"裸奔"(Leader 一挂就丢) > - HW 前移 / `acks=all` 回包 → 消息已冗余,稳了 副本同步、ISR 维护、Leader 选举的完整机制见 [05 - 主题与分区](./05-topic-partition.md) 和 [07 - 高可用与一致性](./07-reliability.md)。 ## 阶段四:消费 —— 消息被"取走阅读"(Consumer 端) 消息"转正可见"后,消费者就能拉到它了。消费端按这个节奏工作: ``` 1. 加入消费组,Coordinator 分配分区(一个分区同一时刻只归组内一个消费者) 2. 周期性 poll():向分区 Leader 发起 FetchRequest 3. Broker 返回 HW 以下、从消费者记录的 offset 开始的一批消息 4. 消费者处理这批消息 5. 提交 offset(自动 / commitSync / commitAsync)→ 记入 __consumer_offsets ```  *图:消费位移决定某个消费组从何处读取,保留策略决定历史记录能否被重放。* [查看可编辑的 Excalidraw 源图](/images/excalidraw/kafka-consume-replay-retention.excalidraw) ```java while (true) { ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(1000)); for (ConsumerRecord<String, String> record : records) { process(record); // 处理业务 System.out.println(record.offset()); // 1042 } consumer.commitSync(); // 告诉 Broker:"分区 2 我读到 1042 了" } ``` 消费阶段的几个关键认知: 1. **是队列还是广播,取决于是否共享消费组** - 同一个 Group 内的多个消费者**分摊**分区(一条消息只被组内一个人处理)→ 类似队列; - 不同的 Group 各自独立消费 → 类似广播。order-service 读完,不影响 audit-service 再读一遍。 2. **Kafka 不"消费即删"**。poll 只是把数据"复制"给消费者,原日志里的消息纹丝不动。消费者能不能追到某条消息,由它的 **offset 提交**决定: - 先处理、后提交 → 崩溃可能**重复消费**(至少一次语义); - 先提交、后处理 → 崩溃可能**丢消息**(至多一次语义)。 - 想重读?`seek()` 把位置拨回去,或换个新 Group 用 `earliest` 从头再来。 Offset 管理、提交方式、再均衡的细节见 [04 - 消费者详解](./04-consumer.md)。 ## 阶段五:清理 —— 消息"退休" 消息被消费 ≠ 消息消失。它只是完成了"被阅读"的使命,仍会躺在日志里,直到**清理机制**找上它。Kafka 的清理只有两种: ``` 1. 按时间 / 大小删除(cleanup.policy=delete,默认) log.retention.hours=168 ← 默认保留 7 天 超过 7 天的日志段被整体删除 2. 按键压缩(cleanup.policy=compact) 每个 key 只保留最新一条 value 适合状态变更日志,旧状态自动被"覆盖" ``` 清理是**段(Segment)粒度**的,不会动单独某条消息: ``` 删除前: .log.00000000000000001000 .log.00000000000000003000 .log.00000000000000005000(活跃) ↑ 已超期 ↑ 未到期 删除后: (已删除) .log.00000000000000003000 .log.00000000000000005000(活跃) ``` > 所以"这条消息处理完了吗"和"这条消息还在不在"是两码事: > - 处理没处理完 → 由 Consumer 的 offset 决定; > - 还在不在 → 由 Broker 的 retention 决定。 日志清理、压缩、日志段的详细规则见 [06 - 存储机制](./06-storage.md)。 ## 一个完整例子:订单 order-1001 的一生 把五个阶段落到一张具体时刻表: ``` 10:00:00.000 Producer:用户下单,构造 ProducerRecord("orders", key="order-1001") 10:00:00.002 分区器:hash("order-1001") % 分区数 → partition 2 10:00:00.004 batch 攒满 / linger.ms 到点,Sender 发出 ProduceRequest 10:00:00.006 Leader(partition 2) 追加写入,分配 offset=1042,LEO=1043 → acks=1 回包,send() 回调触发 10:00:00.012 ISR Follower 拉取并写入,HW 前移到 1043 → 消息"转正",消费者此刻起可读 10:00:00.050 order-service 组 poll() 拉到 order-1001 10:00:00.120 业务处理完成(写订单库),commit offset=1043 10:00:10 audit-service(另一个组)启动,earliest 重放 → 又读了一次 10:01:00 order-service 重启,从 __consumer_offsets 读到 1043,跳过已处理的 ……7 天后 partition 2 的旧日志段超期,order-1001 随段删除,一生结束 ``` ## 如果某个环节出故障 把生命周期每个阶段的"成功标志"和"故障后果"摆在一起,就是一张全链路可靠性地图:  *图:生产到清理各阶段的成功标志、故障表现与补救手段* ``` 阶段 成功标志 出故障会怎样 怎么补救 ───────────────────────────────────────────────────────────────────────────────── 生产 拿到 acks ack 丢失 → 客户端重试 → 可能重复 幂等 + 业务唯一键去重 落盘 追加 + 分配 Offset acks=1 时 Leader 宕机 → 消息丢失 acks=all + min.insync.replicas 同步 ISR 追平、HW 前移 Follower 落后 → 被移出 ISR 追平后自动重新加入 消费 处理成功 + offset 提交 未提交就崩 → 重复消费 幂等消费 offset 先于业务提交 → 丢消息 处理成功后再提交 清理 日志段被删除 无(被动清理) 调整 retention 策略 ``` > 一句话:**可能丢消息的区间在"生产 → HW 前移"之间;可能重复的区间在"生产重试"与"offset 提交和业务处理的先后"上。** 详细对策见 [07 - 高可用与一致性](./07-reliability.md)。 ## 本章小结 - 一条消息的一生:**生产(客户端)→ 落盘(Leader)→ 同步(ISR/HW)→ 消费(offset 提交)→ 清理(retention/compact)** - 它的身份是 `(topic, partition, offset)`;落盘后不可修改,只能追加与删除 - "成功"有三个不同层面的定义:Producer 的 acks、Broker 的 ISR/HW、Consumer 的 offset 提交 - Kafka 的日志模型决定:**消费不等于删除,可重复读、可回溯**;删除只由时间 / 大小 / 压缩策略驱动 - 消息不丢靠 `acks=all` + ISR + HW;消息不重靠幂等 + 正确的提交时机 ## 思考题 1. 一条消息在 Leader 上已写入、但 HW 尚未前移时,它处于什么状态?此刻 Leader 宕机会发生什么? 2. 为什么 Kafka 不像 RabbitMQ 那样"消费即删"?这个设计换来了哪些能力,又带来了哪些成本? 3. 从 `send()` 返回成功到消费者真正 poll 到这条消息,中间可能隔着哪些等待?(提示:acks、ISR 同步、poll 间隔) ## 生产实践:用三元组贯通排障证据 对关键事件,在应用日志、追踪与下游处理记录中保留 Topic、Partition、Offset、事件 ID 和消费组。排查“消息丢失”时,先确认该三元组是否在 Leader/副本日志范围内,再检查目标消费组提交位移、保留边界和下游幂等记录;不要把 Producer 成功回调直接等同于业务已完成。 ## 思考题参考答案 1. **Leader 已写入而 HW 未前移时是什么状态?** 记录已在 Leader 日志尾部,但尚未达到稳定可读边界;若 Leader 故障,最终结果取决于同步副本和选举策略,不能把它当作已被所有副本持有。 2. **为什么不消费即删?** 保留日志让多个消费组独立读取、故障后重放和审计成为可能;代价是必须管理保留期、磁盘、位移和隐私/合规删除要求。 3. **从 send 成功到 poll 可见会等待什么?** 取决于 `acks`、副本同步与 HW、网络、Broker 处理,以及消费者 poll 周期和当前分配状态。 ## 官方参考资料 - [Kafka Design](https://kafka.apache.org/documentation/#design) - [Replication](https://kafka.apache.org/documentation/#replication) - [Consumer Position and Offset](https://kafka.apache.org/documentation/#impl_offsettracking) --- 导航:[目录](./README.md) | 上一篇:[10 - 生产环境实战](./10-production.md) | 下一篇:[Kafka 高频面试题集](./kafka-interview.md)
预览
发布文章
添加摘要让读者更快了解文章内容
取消
确认发布
AI 写作助手
输入一个主题,AI 将为你生成一篇 Markdown 博客文章
AI 正在写作中...
取消
开始生成
AI 优化助手
描述你的修改需求,AI 将在原文基础上进行补充或微调
AI 正在优化中...
取消
开始优化
画布
从已有图里选
✕
图名
保存后生成 /images/excalidraw/<图名>.svg(只能用字母、数字、短横线、下划线、点)
取消
保存并插入