知序
返回
保存草稿
发布
H1
H2
H3
1
2
3
Excalidraw 图
AI 写作
AI 优化
目录
输入内容后显示目录
Markdown
# 07 - 高可用与一致性 > 导读:Kafka 的可靠性不能只看 `acks`;生产、复制、消费和下游副作用必须共同设计。本章给出从至少一次到 Kafka 内部精确一次的边界与取舍。 ## 结论先行 对大多数业务,选择“Producer 幂等 + `acks=all` + 合理的最小 ISR + 消费后提交 + 下游幂等”比盲目上事务更可靠、更易运维。Kafka 事务可原子覆盖 Kafka 内部读写,但不能替代外部数据库的幂等设计。 ## 消息可靠性的三个层面 ``` Producer → Broker → Consumer 每个环节都可能丢消息: 1. Producer → Broker:网络故障、Broker 宕机 2. Broker 存储:磁盘故障、副本同步延迟 3. Broker → Consumer:消费者崩溃、Offset 提交失败 ``` ## Producer 端可靠性 ### ACK 机制  *图:Producer、Broker 副本与 Consumer 各环节的可靠性保障。* ``` acks=0: Producer ──发送──→ Broker 不等待任何确认,发完就忘 最快,但可能丢消息 acks=1: Producer ──发送──→ Broker (Leader 写入) ←──ACK── Leader 写入成功即确认 Leader 挂了且 Follower 未同步 → 丢消息 acks=all (-1): Producer ──发送──→ Broker (Leader 写入) Leader → Follower 1 同步 Leader → Follower 2 同步 ←──ACK── 所有 ISR 副本都写入才确认 最可靠,但延迟最高 ``` ### acks=all 的陷阱 ``` 如果 ISR 中只剩 Leader 一个副本: acks=all 等价于 acks=1 解决:配合 min.insync.replicas min.insync.replicas=2 → 至少 2 个 ISR 副本确认才算成功 → 如果 ISR < 2,Producer 会收到 NotEnoughReplicasException ``` ### 幂等性(Idempotent Producer) 解决 Producer 重试导致的消息重复问题。  *图:幂等性:ACK 丢失后重发是否重复写入* ``` 没有幂等性: Producer ──msg(seq=0)──→ Broker (写入成功) ←──ACK 丢失── Producer ──msg(seq=0)──→ Broker (再次写入 → 重复!) 开启幂等性: Producer ──msg(PID=1, seq=0)──→ Broker (写入成功) ←──ACK 丢失── Producer ──msg(PID=1, seq=0)──→ Broker (检测到重复,忽略) ←──ACK── Broker 通过 (ProducerID, Partition, SequenceNumber) 去重 ``` ```java // 开启幂等性 props.put(ProducerConfig.ENABLE_IDEMPOTENCE_CONFIG, true); // 自动设置:acks=all, retries=MAX, max.in.flight.requests=5 ``` 局限性: - 只能保证单分区内的幂等 - 只能保证单会话(Producer 重启后 PID 变化) ## 事务(Transactional Producer) 跨分区、跨会话的 Exactly-Once 语义。 ``` 事务场景:一条消息需要写入多个 Topic/Partition Producer: beginTransaction() send(topic-A, partition-0, msg1) send(topic-B, partition-1, msg2) send(topic-C, partition-2, msg3) commitTransaction() ← 要么全部成功,要么全部失败 ``` ```java // 事务 Producer props.put(ProducerConfig.TRANSACTIONAL_ID_CONFIG, "my-transactional-id"); // transactional.id 保证跨会话的事务一致性 KafkaProducer<String, String> producer = new KafkaProducer<>(props); producer.initTransactions(); try { producer.beginTransaction(); producer.send(new ProducerRecord<>("topic-a", "key1", "value1")); producer.send(new ProducerRecord<>("topic-b", "key2", "value2")); // 消费-转换-生产 模式(Consume-Transform-Produce) // 将消费者的 Offset 也纳入事务 producer.sendOffsetsToTransaction( Map.of(new TopicPartition("source-topic", 0), new OffsetAndMetadata(currentOffset + 1)), new ConsumerGroupMetadata("my-group") ); producer.commitTransaction(); } catch (Exception e) { producer.abortTransaction(); } ``` ### 事务的实现原理  *图:事务消息经 Coordinator 的 6 个步骤* ``` ┌──────────┐ ┌─────────────────────┐ ┌──────────┐ │ Producer │────→│ Transaction │────→│ Broker │ │ │ │ Coordinator │ │ │ │ │ │ (__transaction_state)│ │ │ └──────────┘ └─────────────────────┘ └──────────┘ 1. Producer 向 Coordinator 注册 transactional.id 2. Coordinator 分配 PID 和 Epoch 3. Producer 发送消息到目标分区 4. Producer 请求 Commit/Abort 5. Coordinator 向所有参与分区写入 COMMIT/ABORT 标记 6. Consumer 根据 isolation.level 决定是否读取未提交的消息 ``` ### 消费者的事务隔离级别 ```java // read_uncommitted(默认):可以读到未提交的事务消息 props.put(ConsumerConfig.ISOLATION_LEVEL_CONFIG, "read_uncommitted"); // read_committed:只读已提交的事务消息 props.put(ConsumerConfig.ISOLATION_LEVEL_CONFIG, "read_committed"); // 非事务消息不受影响,正常消费 ``` ## 三种消息语义 ``` At Most Once(最多一次): 消息可能丢失,但不会重复 实现:acks=0,或先提交 Offset 再处理消息 At Least Once(至少一次): 消息不会丢失,但可能重复 实现:acks=all + 重试,处理完消息再提交 Offset Exactly Once(精确一次): 消息不丢失也不重复 实现:幂等 + 事务,或消费端幂等处理 ``` ### Exactly-Once 的实现方式 ``` 方式 1: Kafka 内部(Consume-Transform-Produce) 幂等 Producer + 事务 + read_committed → Kafka Streams 内置支持 方式 2: 消费端幂等(推荐) At Least Once + 消费端去重 → 利用数据库唯一键、Redis 去重等 // 消费端幂等示例 void processRecord(ConsumerRecord record) { String messageId = record.headers().lastHeader("messageId").value(); // 利用数据库唯一键去重 try { db.execute("INSERT INTO processed_messages (id, data) VALUES (?, ?)", messageId, record.value()); // 插入成功 → 首次处理 } catch (DuplicateKeyException e) { // 重复消息,跳过 log.info("重复消息,跳过: {}", messageId); } } ``` ## Broker 端可靠性配置 ```properties # 副本因子(建议 ≥ 3) default.replication.factor=3 # 最小 ISR 数量(建议 ≥ 2) min.insync.replicas=2 # 禁止不干净的 Leader 选举(数据一致性优先) unclean.leader.election.enable=false # 刷盘策略(通常依赖 OS 的 Page Cache,不建议修改) # log.flush.interval.messages=10000 # log.flush.interval.ms=1000 ``` ## 端到端可靠性配置总结 ``` Producer: acks=all enable.idempotence=true retries=Integer.MAX_VALUE max.in.flight.requests.per.connection=5 Broker: default.replication.factor=3 min.insync.replicas=2 unclean.leader.election.enable=false Consumer: enable.auto.commit=false # 手动提交 Offset isolation.level=read_committed # 如果使用事务 auto.offset.reset=earliest # 宁可重复不可丢失 ``` ## 故障场景分析 ### 场景 1:Leader 宕机 ``` 初始状态:ISR = [Broker0(L), Broker1, Broker2] Broker0 宕机 → Controller 检测到 → 从 ISR 中选择 Broker1 为新 Leader → ISR = [Broker1(L), Broker2] → Producer 和 Consumer 自动切换到新 Leader Broker0 恢复 → 作为 Follower 加入 → 截断到 HW 位置 → 从新 Leader 同步数据 → 追上后重新加入 ISR ``` ### 场景 2:所有副本宕机 ``` ISR = [] ,所有副本都挂了 unclean.leader.election.enable=false: → 分区不可用,等待 ISR 中的副本恢复 → 数据不丢失,但服务中断 unclean.leader.election.enable=true: → 从 OSR 中选择一个副本作为 Leader → 服务恢复,但可能丢失数据 ``` ## 本章小结 - acks=all + min.insync.replicas ≥ 2 是可靠性的基础 - 幂等性解决单分区内的重复问题 - 事务解决跨分区的原子性问题 - Exactly-Once 在实践中通常通过消费端幂等实现 - 可靠性和性能是一对矛盾,需要根据业务需求权衡 ## 思考题 1. min.insync.replicas=2, replication.factor=3 时,最多允许几个 Broker 宕机? 2. 事务消息对消费者的延迟有什么影响? ## 生产实践:把“成功”写成可验收的业务语义 为每类事件明确可接受语义:可丢弃的观测数据可能选择较低成本的投递策略;状态变更事件通常需要至少一次投递与消费端幂等。事务适用于 Kafka 内部的 consume-transform-produce 原子提交,但写数据库、调用 HTTP 等外部副作用仍需 Outbox、唯一键或状态机兜底。排查疑似丢失时,按 Producer 回调/指标、分区副本与 ISR、消费者已提交 Offset、下游幂等记录依次对账。 ## 思考题参考答案 1. **副本 3、最小 ISR 2 时能承受几台故障?** 在剩余 ISR 仍不少于 2 且集群连通的前提下,任意一个副本故障仍可满足 `acks=all` 写入;再失去一个同步副本通常会拒绝写入以保护数据。 2. **事务会怎样影响延迟?** 事务需要协调器、标记记录与提交/中止过程,`read_committed` 消费者还会受未决事务边界影响;是否值得取决于原子性需求和实测 SLO。 ## 官方参考资料 - [Message Delivery Semantics](https://kafka.apache.org/documentation/#semantics) - [Transactions](https://kafka.apache.org/documentation/#transactions) - [Producer Configs](https://kafka.apache.org/documentation/#producerconfigs) --- 导航:[目录](./README.md) | 上一篇:[06 - 存储机制](./06-storage.md) | 下一篇:[08 - 性能优化](./08-performance.md)
预览
发布文章
添加摘要让读者更快了解文章内容
取消
确认发布
AI 写作助手
输入一个主题,AI 将为你生成一篇 Markdown 博客文章
AI 正在写作中...
取消
开始生成
AI 优化助手
描述你的修改需求,AI 将在原文基础上进行补充或微调
AI 正在优化中...
取消
开始优化
画布
从已有图里选
✕
图名
保存后生成 /images/excalidraw/<图名>.svg(只能用字母、数字、短横线、下划线、点)
取消
保存并插入