知序
返回
保存草稿
发布
H1
H2
H3
1
2
3
Excalidraw 图
AI 写作
AI 优化
目录
输入内容后显示目录
Markdown
# 06 - 存储机制 > 导读:Kafka 的高吞吐来自追加日志、批处理和操作系统缓存,而不是“内存队列”。本章拆解日志段、索引与清理策略,帮助正确估算回放窗口和磁盘容量。 ## 结论先行 Kafka 以分区日志段追加存储,并以稀疏索引定位;消费不会删除消息,删除或压缩由 Topic 保留策略控制。容量规划必须把副本、压缩比、峰值与重平衡余量一起计算。 ## 日志存储结构  *图:Kafka 分区目录中日志段、Offset 索引和时间戳索引的组织方式。* ``` Kafka 数据目录结构: /kafka-logs/ ├── my-topic-0/ ← Partition 0 │ ├── 00000000000000000000.log ← 日志段(消息数据) │ ├── 00000000000000000000.index ← 偏移量索引 │ ├── 00000000000000000000.timeindex ← 时间戳索引 │ ├── 00000000000005242880.log ← 第二个日志段 │ ├── 00000000000005242880.index │ ├── 00000000000005242880.timeindex │ ├── leader-epoch-checkpoint │ └── partition.metadata ├── my-topic-1/ ← Partition 1 │ └── ... └── my-topic-2/ ← Partition 2 └── ... 文件名 = 该段中第一条消息的 Offset(20 位数字,左补零) ``` ### 日志段(Log Segment)  *图:Partition 0 的日志段划分与活跃写入段* ``` 每个分区由多个日志段组成,只有最后一个段是活跃段(可写入) Partition 0: ┌──────────────┐ ┌──────────────┐ ┌──────────────┐ │ Segment 0 │ │ Segment 1 │ │ Segment 2 │ │ offset 0~ │ │ offset 5242 │ │ offset 10485│ │ 999 │ │ 880~... │ │ 760~... │ │ (sealed) │ │ (sealed) │ │ (active) │ └──────────────┘ └──────────────┘ └──────────────┘ ↑ 当前写入段 ``` 日志段滚动条件(满足任一即滚动): ```properties # 段大小达到上限(默认 1GB) log.segment.bytes=1073741824 # 段时间达到上限(默认 7 天) log.roll.ms=604800000 # 索引文件满(默认 10MB) log.index.size.max.bytes=10485760 ``` ## 消息格式(Record Batch)  *图:V2 格式 RecordBatch 的头部字段与记录区* ``` Kafka 2.0+ 使用 V2 消息格式: RecordBatch(批次) ┌─────────────────────────────────────────┐ │ baseOffset (8B) 首条消息的 Offset │ │ batchLength (4B) 批次总长度 │ │ partitionLeaderEpoch Leader Epoch │ │ magic (1B) 版本号 = 2 │ │ crc (4B) CRC 校验 │ │ attributes (2B) 压缩/时间戳类型 │ │ lastOffsetDelta (4B) 最后一条的偏移增量 │ │ baseTimestamp (8B) 首条消息的时间戳 │ │ maxTimestamp (8B) 最大时间戳 │ │ producerId (8B) 生产者 ID(幂等) │ │ producerEpoch (2B) 生产者 Epoch │ │ baseSequence (4B) 序列号(幂等) │ │ records count (4B) 消息数量 │ │ ┌─────────────────────────────────────┐ │ │ │ Record 1 │ │ │ │ length, attributes, timestampDelta │ │ │ │ offsetDelta, key, value, headers │ │ │ ├─────────────────────────────────────┤ │ │ │ Record 2 │ │ │ ├─────────────────────────────────────┤ │ │ │ Record N │ │ │ └─────────────────────────────────────┘ │ └─────────────────────────────────────────┘ ``` V2 格式的优势: - 使用 varints 编码,节省空间 - 批次级别的压缩和 CRC - 支持 Headers - 支持幂等和事务 ## 索引机制 ### 偏移量索引(.index) 稀疏索引,不是每条消息都有索引项。 ``` .index 文件内容(逻辑视图): Offset → Position(文件中的物理位置) 0 0 3 320 6 640 9 960 12 1280 ... 默认每写入 4KB 消息数据,添加一个索引项 log.index.interval.bytes=4096 ``` ### 时间戳索引(.timeindex) ``` .timeindex 文件内容: Timestamp → Offset 1704067200000 0 1704067201000 3 1704067202000 6 ... ``` ### 消息查找过程 ``` 查找 Offset=7 的消息: 步骤 1: 二分查找确定日志段 Segment 0: baseOffset=0 Segment 1: baseOffset=5242880 → Offset=7 在 Segment 0 中 步骤 2: 在 .index 中二分查找 找到 ≤ 7 的最大索引项: (6, 640) 步骤 3: 从 .log 文件的 position=640 开始顺序扫描 读取 Offset=6 的消息 → 不是 读取 Offset=7 的消息 → 找到了 ``` ``` 按时间戳查找: 步骤 1: 在 .timeindex 中二分查找,找到对应的 Offset 步骤 2: 用 Offset 在 .index 中查找物理位置 步骤 3: 顺序扫描找到目标消息 ``` ## 日志清理 ### 日志删除(Log Deletion) ```properties # 基于时间删除(默认 7 天) log.retention.hours=168 log.retention.minutes= log.retention.ms= # 基于大小删除(默认不限制) log.retention.bytes=-1 # -1 表示不限制 # 这是每个分区的大小限制,不是 Topic 级别 # 检查间隔(默认 5 分钟) log.retention.check.interval.ms=300000 ``` 删除过程: ``` 1. 定时检查每个日志段 2. 如果段的最大时间戳 < 当前时间 - retention.ms → 标记删除 3. 或者分区总大小 > retention.bytes → 从最老的段开始删除 4. 被标记的段添加 .deleted 后缀 5. 后台线程异步删除文件 ``` ### 日志压缩(Log Compaction) 保留每个 Key 的最新值,删除旧值。适用于 changelog、状态存储等场景。 ``` 压缩前: Offset Key Value 0 k1 v1 1 k2 v2 2 k1 v3 ← k1 的新值 3 k3 v4 4 k2 v5 ← k2 的新值 5 k1 null ← 墓碑消息(删除 k1) 压缩后: Offset Key Value 3 k3 v4 4 k2 v5 5 k1 null ← 墓碑消息保留一段时间后删除 ``` ```properties # 开启日志压缩 log.cleanup.policy=compact # delete(默认), compact, delete+compact # 压缩相关参数 log.cleaner.enable=true # 开启清理线程 log.cleaner.min.compaction.lag.ms=0 # 消息最少保留时间 log.cleaner.threads=1 # 清理线程数 min.cleanable.dirty.ratio=0.5 # 脏数据比例达到 50% 时触发压缩 ``` ## 磁盘写入:为什么 Kafka 这么快 ### 顺序写 ``` 随机写:磁头需要寻道 → 慢(~100 次/秒) 顺序写:磁头连续移动 → 快(~600MB/秒,接近内存速度) Kafka 的消息只追加到日志末尾(Append-Only) 永远是顺序写,充分利用磁盘的顺序 I/O 性能 ``` ### Page Cache ``` Producer → Kafka Broker → Page Cache → 磁盘 写入流程: 1. 消息写入 Page Cache(内存)→ 立即返回 2. OS 异步将 Page Cache 刷到磁盘 读取流程: 1. Consumer 请求数据 2. 如果数据在 Page Cache 中 → 直接返回(零磁盘 I/O) 3. 如果不在 → 从磁盘读取并缓存到 Page Cache Kafka 不自己管理缓存,完全依赖 OS 的 Page Cache → 避免 JVM GC 的影响 → 重启后 Page Cache 仍然有效 ``` ### 零拷贝(Zero Copy) ``` 传统数据传输(4 次拷贝,4 次上下文切换): 磁盘 → 内核缓冲区 → 用户缓冲区 → Socket 缓冲区 → 网卡 零拷贝 sendfile(2 次拷贝,2 次上下文切换): 磁盘 → 内核缓冲区 → 网卡 ↑ DMA 直接传输,不经过用户空间 Kafka 使用 Java 的 FileChannel.transferTo() 底层调用 sendfile 系统调用 ``` ### mmap(内存映射) ``` 索引文件(.index, .timeindex)使用 mmap 将文件映射到内存地址空间,读写索引就像读写内存 避免了系统调用的开销 ``` ## 查看日志内容 ```bash # 查看日志段中的消息 bin/kafka-dump-log.sh --files /kafka-logs/my-topic-0/00000000000000000000.log \ --print-data-log # 查看索引文件 bin/kafka-dump-log.sh --files /kafka-logs/my-topic-0/00000000000000000000.index # 查看时间戳索引 bin/kafka-dump-log.sh --files /kafka-logs/my-topic-0/00000000000000000000.timeindex # 验证日志完整性 bin/kafka-dump-log.sh --files /kafka-logs/my-topic-0/00000000000000000000.log \ --verify-index-only ``` ## 本章小结 - Kafka 的存储以分区为单位,每个分区由多个日志段组成 - 稀疏索引 + 二分查找实现高效的消息定位 - 日志清理支持删除和压缩两种策略 - 顺序写、Page Cache、零拷贝是 Kafka 高性能的三大法宝 ## 思考题 1. 为什么 Kafka 使用稀疏索引而不是稠密索引? 2. 日志压缩适用于什么业务场景? ## 生产实践:保留期是可恢复性的边界 `retention` 不是普通的磁盘清理参数,而是消费者故障、数据回放和审计的最大恢复窗口。为 Topic 单独设置保留和压缩策略,并基于实际消息大小、压缩比、副本数和故障余量做容量预算。排查“无法回放”时,比较消费组所需 Offset 与分区 `log start offset`;前者小于后者意味着记录已经被保留策略删除,不能靠重置位移找回。 ## 思考题参考答案 1. **为什么稀疏索引而非稠密索引?** 稀疏索引显著降低索引空间与维护成本;利用顺序日志和页缓存,从相邻索引项顺扫少量记录通常足够高效。 2. **压缩适合什么场景?** 适合按 Key 表示当前状态的 changelog、配置或实体快照;不适合必须完整保留每次事件变化的审计流。 ## 官方参考资料 - [Kafka Log Compaction](https://kafka.apache.org/documentation/#compaction) - [Topic-Level Configs](https://kafka.apache.org/documentation/#topicconfigs) - [Kafka Design: Persistence](https://kafka.apache.org/documentation/#design_persistence) --- 导航:[目录](./README.md) | 上一篇:[05 - 主题与分区](./05-topic-partition.md) | 下一篇:[07 - 高可用与一致性](./07-reliability.md)
预览
发布文章
添加摘要让读者更快了解文章内容
取消
确认发布
AI 写作助手
输入一个主题,AI 将为你生成一篇 Markdown 博客文章
AI 正在写作中...
取消
开始生成
AI 优化助手
描述你的修改需求,AI 将在原文基础上进行补充或微调
AI 正在优化中...
取消
开始优化
画布
从已有图里选
✕
图名
保存后生成 /images/excalidraw/<图名>.svg(只能用字母、数字、短横线、下划线、点)
取消
保存并插入