知序
返回
保存草稿
发布
H1
H2
H3
1
2
3
Excalidraw 图
AI 写作
AI 优化
目录
输入内容后显示目录
Markdown
# 05 - 主题与分区 > 导读:分区既是 Kafka 的并行单元,也是顺序与故障切换的边界。本章说明副本、ISR、HW 与 Leader 选举,并给出扩容时不可忽略的业务影响。 ## 结论先行 分区数量决定并发上限,但会增加元数据、文件句柄和恢复成本;副本与 `min.insync.replicas` 则决定可写性和数据风险。对同一 Key 的顺序敏感业务,应在创建 Topic 前规划路由与扩容策略。 ## 分区的本质 分区是 Kafka 实现高吞吐和水平扩展的核心。每个分区是一个有序的、不可变的消息序列。  *图:3 分区 3 副本的 Leader 与 Follower 分布* ``` Topic: user-events (3 partitions, replication-factor=3) Broker 0 Broker 1 Broker 2 ┌──────────┐ ┌──────────┐ ┌──────────┐ │ P0 (L) │ │ P0 (F) │ │ P0 (F) │ │ P1 (F) │ │ P1 (L) │ │ P1 (F) │ │ P2 (F) │ │ P2 (F) │ │ P2 (L) │ └──────────┘ └──────────┘ └──────────┘ L = Leader F = Follower 所有读写都通过 Leader,Follower 只做数据同步 ``` ## 副本机制 ### AR、ISR、OSR  *图:副本同步、ISR 变化、Leader 选举与 LEO/HW 的关系。* ``` AR (Assigned Replicas) = 所有副本 ISR (In-Sync Replicas) = 与 Leader 保持同步的副本(包含 Leader) OSR (Out-of-Sync Replicas) = 落后于 Leader 的副本 AR = ISR + OSR 示例: Partition 0 的副本分布: AR = [Broker0(L), Broker1(F), Broker2(F)] ISR = [Broker0, Broker1] ← Broker2 落后了 OSR = [Broker2] ``` ### ISR 的维护 ``` Follower 从 Leader 拉取数据,如果落后太多就会被踢出 ISR 判断标准(Kafka 0.9+): replica.lag.time.max.ms = 30000 (默认 30 秒) 如果 Follower 超过 30 秒没有向 Leader 发起同步请求 或者同步请求的 Offset 落后于 Leader 的 LEO → 被移出 ISR Follower 追上 Leader 后会重新加入 ISR ``` ### LEO 和 HW ``` LEO (Log End Offset):每个副本的最后一条消息的下一个 Offset HW (High Watermark):所有 ISR 副本中最小的 LEO Leader: [0] [1] [2] [3] [4] [5] [6] [7] ↑ LEO=8 Follower1: [0] [1] [2] [3] [4] [5] [6] ↑ LEO=7 Follower2: [0] [1] [2] [3] [4] [5] ↑ LEO=6 HW = min(8, 7, 6) = 6 消费者只能消费 HW 之前的消息(Offset 0~5) Offset 6、7 的消息虽然已写入 Leader,但消费者还看不到 ``` ``` 为什么需要 HW? → 保证消费者读到的消息一定在所有 ISR 副本中都存在 → 即使 Leader 挂了,新 Leader 也有这些数据 ``` ### Leader Epoch HW 机制在某些场景下可能导致数据不一致,Leader Epoch 解决了这个问题。 ``` Leader Epoch = (epoch, startOffset) 每次 Leader 切换,epoch +1 Follower 恢复时,先向 Leader 查询 epoch 信息 根据 epoch 截断日志,而不是根据 HW 截断 避免了: 1. 数据丢失:Follower 重启后按 HW 截断,可能丢掉已提交的数据 2. 数据不一致:两个 Follower 截断到不同位置 ``` ## Leader 选举 ### Controller 的角色 ``` Controller 是集群中的一个特殊 Broker,负责: 1. 分区 Leader 选举 2. 副本状态管理 3. Topic 的创建和删除 4. 分区重分配 KRaft 模式下: Controller 由 Raft 协议选举产生 多个 Controller 节点组成 Quorum ``` ### Leader 选举策略 ``` 当 Leader 挂掉时: 1. 从 ISR 中选择第一个存活的副本作为新 Leader(默认) → 保证数据不丢失 2. Unclean Leader Election(不干净的选举) unclean.leader.election.enable=true → 如果 ISR 为空,允许从 OSR 中选举 → 可能丢失数据,但保证了可用性 可用性 vs 一致性 的权衡 ``` ### Preferred Leader ``` 每个分区有一个 Preferred Leader(优先副本),通常是 AR 列表中的第一个 Partition 0: AR=[Broker0, Broker1, Broker2] Preferred Leader = Broker0 如果 Broker0 恢复后不是 Leader,可以触发 Preferred Leader 选举 让 Leader 均匀分布在各 Broker 上 # 自动均衡(默认开启) auto.leader.rebalance.enable=true leader.imbalance.check.interval.seconds=300 leader.imbalance.per.broker.percentage=10 ``` ## 分区数的选择 ### 考虑因素 ``` 1. 吞吐量需求 目标吞吐量 / 单分区吞吐量 = 最少分区数 例:目标 100MB/s,单分区写入 10MB/s → 至少 10 个分区 2. 消费者并行度 分区数 ≥ 消费者组中的消费者数量 3. Broker 数量 分区数最好是 Broker 数量的整数倍(均匀分布) 4. 不要过多 - 每个分区占用 Broker 的文件句柄和内存 - 分区越多,Leader 选举越慢 - 端到端延迟增加 - 建议单个 Broker 的分区数不超过 4000 ``` ### 经验公式 ``` 分区数 = max(生产者吞吐量/单分区生产吞吐量, 消费者吞吐量/单分区消费吞吐量) 一般建议: 小规模:3~6 个分区 中规模:6~12 个分区 大规模:根据吞吐量计算 ``` ## 分区重分配 当 Broker 扩容或缩容时,需要将分区重新分配到新的 Broker。 ```bash # 1. 生成重分配方案 cat > reassign.json << 'EOF' { "topics": [{"topic": "my-topic"}], "version": 1 } EOF bin/kafka-reassign-partitions.sh --bootstrap-server localhost:9092 \ --topics-to-move-json-file reassign.json \ --broker-list "0,1,2,3" \ --generate # 2. 执行重分配 bin/kafka-reassign-partitions.sh --bootstrap-server localhost:9092 \ --reassignment-json-file proposed-reassignment.json \ --execute # 3. 验证进度 bin/kafka-reassign-partitions.sh --bootstrap-server localhost:9092 \ --reassignment-json-file proposed-reassignment.json \ --verify # 限制重分配的带宽(避免影响正常流量) bin/kafka-reassign-partitions.sh --bootstrap-server localhost:9092 \ --reassignment-json-file proposed-reassignment.json \ --execute --throttle 50000000 # 50MB/s ``` ## 本章小结 - 分区是 Kafka 并行和扩展的基础单位 - ISR 机制在可用性和一致性之间取得平衡 - HW 保证消费者只能读到已提交的消息 - Leader Epoch 解决了 HW 截断可能导致的数据不一致 - 分区数的选择需要综合考虑吞吐量、并行度和资源开销 ## 思考题 1. 如果所有 ISR 副本都挂了,会发生什么? 2. 为什么 Kafka 不支持减少分区数? ## 生产实践:重分配是受控的数据迁移 扩容后不要立即满速重分配。先核对目标 Broker 的可用磁盘、网络与副本健康,使用限速执行迁移,并持续观察 ISR、请求延迟和业务 Lag;验证完成后再按运维流程解除限速。对依赖默认 Key 哈希顺序的 Topic,增加分区会改变新记录的路由,需通过版本化 Topic、固定路由或业务迁移方案避免新旧事件交错。 ## 思考题参考答案 1. **所有 ISR 都不可用时怎样?** 禁止 unclean election 时分区会不可用,等待可用的同步副本恢复;允许不干净选举可恢复服务,但可能丢失未同步记录。这是可用性与数据风险的显式取舍。 2. **为什么不能减少分区?** 已有 Offset、日志目录、副本映射和消费者位移均以分区为边界;合并会破坏 Offset 与顺序语义。通常通过新建 Topic 并迁移实现“缩分区”。 ## 官方参考资料 - [Replication](https://kafka.apache.org/documentation/#replication) - [Topic Configs](https://kafka.apache.org/documentation/#topicconfigs) - [Partition Reassignment Tool](https://kafka.apache.org/documentation/#basic_ops_cluster_expansion) --- 导航:[目录](./README.md) | 上一篇:[04 - 消费者详解](./04-consumer.md) | 下一篇:[06 - 存储机制](./06-storage.md)
预览
发布文章
添加摘要让读者更快了解文章内容
取消
确认发布
AI 写作助手
输入一个主题,AI 将为你生成一篇 Markdown 博客文章
AI 正在写作中...
取消
开始生成
AI 优化助手
描述你的修改需求,AI 将在原文基础上进行补充或微调
AI 正在优化中...
取消
开始优化
画布
从已有图里选
✕
图名
保存后生成 /images/excalidraw/<图名>.svg(只能用字母、数字、短横线、下划线、点)
取消
保存并插入