知序
返回
保存草稿
发布
H1
H2
H3
1
2
3
Excalidraw 图
AI 写作
AI 优化
目录
输入内容后显示目录
Markdown
# 01 - Kafka 概述与核心概念 > 导读:本章先建立 Kafka 的统一心智模型:消息以分区追加日志保存,消费进度由消费组独立维护,副本决定故障边界。适合初学者和需要重新校准设计前提的工程师。 ## 结论先行 Kafka 以 **Topic → Partition → Replica** 组织可重放日志;顺序只在分区内成立,消费与删除是两件事。设计时先确定 Key 的顺序范围、消费者并行度和保留策略,而不是先追求“更多分区”。 ## 什么是 Kafka Apache Kafka 是一个分布式流处理平台,最初由 LinkedIn 开发,后捐赠给 Apache 基金会。 核心能力: - **消息队列**:高吞吐量的发布/订阅消息系统 - **流处理**:实时处理数据流 - **存储**:持久化存储消息数据 ## Kafka 的典型应用场景 ``` 1. 消息系统 — 解耦生产者和消费者,异步通信 2. 日志收集 — 统一收集各服务日志(替代 Flume) 3. 流处理 — 实时数据管道和 ETL 4. 事件溯源 — 记录状态变更事件 5. 指标监控 — 收集和聚合运营指标 6. 活动跟踪 — 用户行为追踪和分析 ``` ## 整体架构  *图:Producer、Kafka Broker 集群、分区副本与 Consumer Group 的协作关系。* ## 核心术语 ### Broker(代理) Kafka 集群中的一个服务器节点。每个 Broker 有唯一的 ID。 ``` Broker 的职责: - 接收 Producer 发送的消息 - 存储消息到磁盘 - 响应 Consumer 的拉取请求 - 参与副本同步 ``` ### Topic(主题) 消息的逻辑分类,类似于数据库中的表。  *图:order-events 的 3 个分区与各自消息序列* ``` Topic: order-events ├── Partition 0: [msg0, msg3, msg6, msg9, ...] ├── Partition 1: [msg1, msg4, msg7, msg10, ...] └── Partition 2: [msg2, msg5, msg8, msg11, ...] ``` ### Partition(分区) Topic 的物理分片,是 Kafka 并行处理的基本单位。  *图:Partition 0 按 offset 顺序追加消息* ``` Partition 0: ┌─────┬─────┬─────┬─────┬─────┬─────┬─────┐ │ 0 │ 1 │ 2 │ 3 │ 4 │ 5 │ 6 │ ← Offset(偏移量) │ msg │ msg │ msg │ msg │ msg │ msg │ msg │ └─────┴─────┴─────┴─────┴─────┴─────┴─────┘ ↑ 写入点(只能追加) ``` 特点: - 分区内消息有序,分区间无序 - 每条消息在分区内有唯一的 Offset - 消息只能追加写入(Append-Only),不可修改 - 分区数决定了消费者的最大并行度 > 💬 **Q:Partition 数量要严格小于等于 Broker 数量吧?** > > 不是。Partition 数量可以大于 Broker 数量,Kafka 会把分区均匀分配到各个 Broker 上。 > > ``` > 3 个 Broker,Topic 有 6 个 Partition: > > Broker 0: Partition 0, Partition 3 > Broker 1: Partition 1, Partition 4 > Broker 2: Partition 2, Partition 5 > > 每个 Broker 分到 2 个分区,完全没问题 > ``` > > 真正有数量限制的是这两个: > - 副本数(replication factor)≤ Broker 数:同一分区的多个副本必须在不同 Broker 上(同一台机器放两个副本没有容灾意义),所以 3 个 Broker 最多 3 副本 > - 消费者数 ≤ 分区数:同一消费者组内,消费者数量超过分区数后多出来的会空闲(一个分区只能被组内一个消费者消费) ### Offset(偏移量) 消息在分区中的唯一标识,从 0 开始递增。 ``` Partition 0: [0] [1] [2] [3] [4] [5] [6] [7] ↑ ↑ Consumer A 最新消息 当前位置 (Committed Offset) ``` ### Producer(生产者) 向 Topic 发送消息的客户端。 ```java // 发送消息的基本流程 Producer → 序列化 → 分区器(决定发到哪个分区) → 缓冲区 → Sender线程 → Broker ``` ### Consumer(消费者) 从 Topic 拉取消息的客户端。Kafka 采用 Pull 模式。 ### Consumer Group(消费者组) 一组消费者的集合,共同消费一个 Topic。 ``` Topic: orders (3 个分区) Consumer Group A(3 个消费者,每人消费 1 个分区): Consumer-1 ← Partition 0 Consumer-2 ← Partition 1 Consumer-3 ← Partition 2 Consumer Group B(2 个消费者): Consumer-4 ← Partition 0, Partition 1 Consumer-5 ← Partition 2 Consumer Group C(4 个消费者,1 个空闲): Consumer-6 ← Partition 0 Consumer-7 ← Partition 1 Consumer-8 ← Partition 2 Consumer-9 ← 空闲(消费者数 > 分区数) ``` 核心规则: - 同一个 Group 内,一个分区只能被一个消费者消费 - 不同 Group 之间互不影响,各自独立消费 - 消费者数量超过分区数时,多余的消费者空闲 > 💬 **Q:Consumer-4 是轮询消费 Partition 0 和 Partition 1,还是先消费完 Partition 0?** > > 是交替消费(准确说是每次 poll 同时拉取两个分区的消息),不是先消费完一个再消费另一个。 > > ``` > Consumer-4 每次调用 poll(): > → Broker 同时从 Partition 0 和 Partition 1 拉取消息 > → 返回一个 ConsumerRecords,里面混合了两个分区的消息 > > 例如一次 poll 返回: > Partition 0: offset=100, 101, 102 > Partition 1: offset=200, 201, 202, 203, 204 > 共 8 条消息,一个批次返回 > ``` > > 拉取量由 `max.poll.records`(默认 500)和 `fetch.max.bytes` 控制。两个分区是并行拉取的,不存在串行关系。如果 Partition 0 暂时没有新消息,poll 只返回 Partition 1 的消息,不会阻塞等待。 ### Replica(副本) 分区的备份,分为 Leader 和 Follower。 ``` Topic-A, Partition 0 (replication-factor=3): Broker 0: Partition 0 (Leader) ← Producer 写入 / Consumer 读取 Broker 1: Partition 0 (Follower) ← 从 Leader 同步数据 Broker 2: Partition 0 (Follower) ← 从 Leader 同步数据 ``` - **Leader**:处理所有读写请求 - **Follower**:被动同步 Leader 的数据 - **ISR(In-Sync Replicas)**:与 Leader 保持同步的副本集合 ## Kafka vs 传统消息队列 | 特性 | Kafka | RabbitMQ | RocketMQ | |------|-------|----------|----------| | 吞吐量 | 依赖分区、消息大小、硬件和配置,适合高吞吐日志流 | 依赖路由、持久化策略与硬件 | 依赖分区、存储与硬件 | | 延迟 | 毫秒级 | 微秒级 | 毫秒级 | | 消息持久化 | 磁盘顺序写 | 内存+磁盘 | 磁盘 | | 消费模式 | Pull | Push/Pull | Push/Pull | | 消息回溯 | 支持(按 Offset) | 不支持 | 支持(按时间) | | 事务 | 支持 | 支持 | 支持 | | 协议 | 自定义协议 | AMQP | 自定义协议 | | 适用场景 | 大数据、日志、流处理 | 业务解耦、可靠投递 | 电商、金融 | ## Kafka 为什么快 ``` 1. 顺序写磁盘 — 磁盘顺序写速度接近内存随机写 2. Page Cache — 利用操作系统页缓存,减少磁盘 I/O 3. 零拷贝 — sendfile 系统调用,减少数据拷贝次数 4. 批量处理 — 批量发送、批量压缩、批量写入 5. 分区并行 — 多分区并行读写 6. 稀疏索引 — 快速定位消息位置 ``` ## ZooKeeper vs KRaft ``` Kafka 2.8 之前:依赖 ZooKeeper - Broker 注册与发现 - Controller 选举 - Topic/Partition 元数据管理 - Consumer Offset 存储(早期) Kafka 3.3+:KRaft 模式(推荐) - 移除 ZooKeeper 依赖 - 内置 Raft 共识协议 - 更快的元数据操作 - 更简单的部署和运维 - Kafka 4.0 将完全移除 ZooKeeper 支持 ``` ## 本章小结 - Kafka 是高吞吐、可持久化、可水平扩展的分布式流处理平台 - 核心概念:Broker、Topic、Partition、Offset、Consumer Group、Replica - 分区是并行处理和水平扩展的基础 - KRaft 模式是未来方向,新项目建议直接使用 ## 思考题 1. 为什么 Kafka 选择 Pull 模式而不是 Push 模式? 2. 分区数越多越好吗?有什么限制? ## 生产实践:先定义事件契约,再创建 Topic 生产中不要依赖自动建 Topic,也不要把分区数当作纯性能开关。为每个事件明确 Key(例如 `orderId`)、保留期限、预期消费者、允许的重放范围和副本策略;然后在基础设施代码或变更单中显式创建。排查“同一实体乱序”时,优先核对 Producer 是否始终携带同一 Key、分区数是否曾扩容,以及消费端是否并发打乱了处理顺序。 ## 思考题参考答案 1. **为什么 Pull 而不是 Push?** Pull 让消费者按自身处理能力批量拉取,并通过长轮询避免高频空请求;Push 更容易在慢消费者处形成背压和缓冲压力。 2. **分区越多越好吗?** 不是。更多分区提升并行上限,却增加文件、内存、元数据、选举与恢复开销。用压测得到单分区能力和消费者处理能力,再为未来扩展预留余量。 ## 官方参考资料 - [Apache Kafka Introduction](https://kafka.apache.org/intro) - [Apache Kafka Design](https://kafka.apache.org/documentation/#design) - [Topic Configs](https://kafka.apache.org/documentation/#topicconfigs) --- 导航:[目录](./README.md) | 上一篇:无 | 下一篇:[02 - KRaft 安装部署与基本操作](./02-setup.md)
预览
发布文章
添加摘要让读者更快了解文章内容
取消
确认发布
AI 写作助手
输入一个主题,AI 将为你生成一篇 Markdown 博客文章
AI 正在写作中...
取消
开始生成
AI 优化助手
描述你的修改需求,AI 将在原文基础上进行补充或微调
AI 正在优化中...
取消
开始优化
画布
从已有图里选
✕
图名
保存后生成 /images/excalidraw/<图名>.svg(只能用字母、数字、短横线、下划线、点)
取消
保存并插入