知序
返回
保存草稿
发布
H1
H2
H3
1
2
3
Excalidraw 图
AI 写作
AI 优化
目录
输入内容后显示目录
Markdown
# 10 - 生产环境实战 > 导读:生产 Kafka 的关键不是“把 Broker 跑起来”,而是把容量、故障边界、监控、安全和变更流程做成可演练的系统。本章提供规划与排障框架。 ## 结论先行 生产集群先定义 SLO、数据保留与故障域,再以测量结果规划 Broker、磁盘、网络和副本。所有扩缩容、重分配、版本升级与权限变更都应在预发验证并设置限速、监控和回滚路径。 ## 集群规划 ### 硬件选型 ``` CPU: Kafka 主要瓶颈不在 CPU 8~16 核足够,压缩场景需要更多核 内存: 32GB ~ 64GB JVM 堆:6GB 剩余给 Page Cache(越大越好) 磁盘: 推荐 SSD(IOPS 高) HDD 也可以(顺序写性能足够) 多块磁盘 JBOD 配置 容量规划:日消息量 × 副本数 × 保留天数 × 1.2(冗余) 网络: 万兆网卡(10Gbps) Kafka 是网络密集型应用 跨机房部署需要考虑带宽 ``` ### 容量规划示例 ``` 业务需求: 日消息量:10 亿条 平均消息大小:1KB 副本因子:3 保留时间:7 天 峰值流量:平均的 3 倍 存储计算: 日数据量 = 10亿 × 1KB = ~1TB 含副本 = 1TB × 3 = 3TB 7 天保留 = 3TB × 7 = 21TB 加冗余 = 21TB × 1.2 = ~25TB Broker 数量: 峰值写入 = 1TB/天 × 3倍 / 86400秒 ≈ 35MB/s 含副本同步 = 35MB/s × 3 = 105MB/s 单 Broker 写入能力 ~100MB/s 建议 Broker 数 ≥ 3(副本因子) 考虑冗余:5~6 个 Broker ``` ### 集群配置模板 ```properties # ===== Broker 基础配置 ===== broker.id=1 listeners=PLAINTEXT://:9092 advertised.listeners=PLAINTEXT://broker1.example.com:9092 log.dirs=/data1/kafka,/data2/kafka,/data3/kafka # ===== Topic 默认配置 ===== num.partitions=6 default.replication.factor=3 min.insync.replicas=2 # ===== 日志配置 ===== log.retention.hours=168 log.segment.bytes=1073741824 log.retention.check.interval.ms=300000 # ===== 网络配置 ===== num.network.threads=8 num.io.threads=16 socket.send.buffer.bytes=102400 socket.receive.buffer.bytes=102400 socket.request.max.bytes=104857600 # ===== 副本配置 ===== num.replica.fetchers=4 replica.lag.time.max.ms=30000 unclean.leader.election.enable=false # ===== 其他 ===== auto.create.topics.enable=false delete.topic.enable=true message.max.bytes=10485760 ``` ## 监控 ### 关键监控指标  *图:Broker 到 Producer 各层监控指标清单* ``` Broker 级别: - UnderReplicatedPartitions → > 0 表示有副本落后 - ActiveControllerCount → 集群中应该只有 1 个 - OfflinePartitionsCount → > 0 表示有分区不可用 - RequestHandlerAvgIdlePercent → < 0.3 表示请求处理繁忙 - NetworkProcessorAvgIdlePercent → < 0.3 表示网络线程繁忙 Topic/Partition 级别: - MessagesInPerSec → 消息写入速率 - BytesInPerSec / BytesOutPerSec → 流量 - LogEndOffset / LogStartOffset → 日志范围 Consumer 级别: - ConsumerLag → 消费延迟(最重要) - RecordsConsumedRate → 消费速率 - FetchRate → 拉取频率 Producer 级别: - RecordSendRate → 发送速率 - RecordErrorRate → 发送错误率 - RequestLatencyAvg → 请求延迟 ``` ### JMX 监控 ```bash # 开启 JMX export KAFKA_JMX_OPTS="-Dcom.sun.management.jmxremote \ -Dcom.sun.management.jmxremote.port=9999 \ -Dcom.sun.management.jmxremote.authenticate=false \ -Dcom.sun.management.jmxremote.ssl=false" # 关键 JMX MBean kafka.server:type=ReplicaManager,name=UnderReplicatedPartitions kafka.controller:type=KafkaController,name=ActiveControllerCount kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec kafka.server:type=BrokerTopicMetrics,name=BytesInPerSec kafka.network:type=RequestMetrics,name=RequestsPerSec,request=Produce kafka.network:type=RequestMetrics,name=TotalTimeMs,request=Produce ``` ### 监控工具 ``` 1. Kafka Manager / CMAK(Yahoo 开源) 集群管理和监控 UI 2. Kafka Eagle / EFAK 国产 Kafka 监控工具,功能丰富 3. Burrow(LinkedIn 开源) 专注于 Consumer Lag 监控 4. Prometheus + Grafana 通过 JMX Exporter 采集指标 社区有现成的 Grafana Dashboard 5. Confluent Control Center Confluent 商业版监控工具 ``` ### Prometheus + Grafana 配置 ```yaml # jmx_exporter 配置(kafka-jmx-config.yml) lowercaseOutputName: true rules: - pattern: kafka.server<type=(.+), name=(.+)><>Value name: kafka_server_$1_$2 - pattern: kafka.server<type=(.+), name=(.+), topic=(.+)><>Value name: kafka_server_$1_$2 labels: topic: $3 - pattern: kafka.controller<type=(.+), name=(.+)><>Value name: kafka_controller_$1_$2 ``` ```bash # 启动 Kafka 时加载 JMX Exporter export KAFKA_OPTS="-javaagent:/path/to/jmx_prometheus_javaagent.jar=7071:/path/to/kafka-jmx-config.yml" ``` ## 安全配置 ### 认证(Authentication) ```properties # SASL/PLAIN 认证 listeners=SASL_PLAINTEXT://:9092 security.inter.broker.protocol=SASL_PLAINTEXT sasl.mechanism.inter.broker.protocol=PLAIN sasl.enabled.mechanisms=PLAIN # JAAS 配置 listener.name.sasl_plaintext.plain.sasl.jaas.config=\ org.apache.kafka.common.security.plain.PlainLoginModule required \ username="admin" \ password="admin-secret" \ user_admin="admin-secret" \ user_producer="producer-secret" \ user_consumer="consumer-secret"; ``` ### 授权(Authorization) ```properties # 开启 ACL authorizer.class.name=kafka.security.authorizer.AclAuthorizer super.users=User:admin ``` ```bash # 添加 ACL bin/kafka-acls.sh --bootstrap-server localhost:9092 \ --add --allow-principal User:producer \ --operation Write --topic my-topic bin/kafka-acls.sh --bootstrap-server localhost:9092 \ --add --allow-principal User:consumer \ --operation Read --topic my-topic \ --group my-group ``` ### 加密(Encryption) ```properties # SSL/TLS 加密 listeners=SSL://:9093 ssl.keystore.location=/path/to/kafka.server.keystore.jks ssl.keystore.password=keystore-password ssl.key.password=key-password ssl.truststore.location=/path/to/kafka.server.truststore.jks ssl.truststore.password=truststore-password ``` ## 故障排查 ### 常见问题及解决方案 ``` 问题 1: Leader 不均衡 现象:某些 Broker 的 Leader 分区过多 排查:kafka-topics.sh --describe 查看 Leader 分布 解决: bin/kafka-leader-election.sh --bootstrap-server localhost:9092 \ --election-type preferred --all-topic-partitions 问题 2: 消费积压 现象:Consumer Lag 持续增大 排查:kafka-consumer-groups.sh --describe 解决: - 增加消费者实例 - 增加分区数 - 优化消费逻辑 - 检查是否频繁 Rebalance 问题 3: Broker 频繁 Full GC 现象:Broker 响应变慢,日志中有 GC 暂停 排查:GC 日志分析 解决: - 减小 JVM 堆(≤ 6GB) - 使用 G1 GC - 检查是否有大量小 Topic 或分区 问题 4: 磁盘空间不足 现象:Broker 无法写入新消息 排查:df -h 查看磁盘使用 解决: - 减小 log.retention.hours - 增加磁盘 - 删除不需要的 Topic - 开启日志压缩 问题 5: ISR 频繁变化 现象:UnderReplicatedPartitions 指标波动 排查:Broker 日志中搜索 "ISR" 解决: - 增大 replica.lag.time.max.ms - 检查网络是否有问题 - 检查磁盘 I/O 是否成为瓶颈 - 增加 num.replica.fetchers ``` ## 最佳实践 ### Topic 命名规范 ``` 推荐格式:<环境>.<团队>.<项目>.<事件类型> 示例: prod.order.payment.created prod.user.profile.updated staging.analytics.click.events 避免: - 使用 . 和 _ 混用(Kafka 内部会互相替换) - 名称过长 - 使用特殊字符 ``` ### 消息设计 ```java // 推荐的消息结构 { "eventId": "uuid", // 全局唯一 ID(幂等用) "eventType": "ORDER_CREATED", // 事件类型 "eventTime": "2024-01-15T10:30:00Z", // 事件时间 "source": "order-service", // 来源服务 "data": { // 业务数据 "orderId": "12345", "userId": "user-001", "amount": 99.99 } } // Key 的选择: // - 需要保证有序的字段(如 userId、orderId) // - 相同 Key 的消息发到同一分区 ``` ### 运维检查清单 ``` 日常检查: □ Consumer Lag 是否正常 □ UnderReplicatedPartitions = 0 □ ActiveControllerCount = 1 □ 磁盘使用率 < 80% □ 网络流量是否正常 定期维护: □ 检查 Leader 分布是否均衡 □ 清理不再使用的 Topic 和 Consumer Group □ 检查证书过期时间(如果使用 SSL) □ 更新 Kafka 版本(关注安全补丁) □ 备份 Kafka 配置文件 扩容/缩容: □ 新增 Broker 后执行分区重分配 □ 限制重分配带宽(--throttle) □ 验证重分配完成后取消限速 □ 缩容前确保所有分区已迁移 ``` ## 本章小结 - 集群规划需要综合考虑存储、网络、计算资源 - 监控是生产环境的生命线,Consumer Lag 是最重要的指标 - 安全配置包括认证、授权和加密三个层面 - 建立规范的命名和消息设计标准 ## 推荐阅读 - 《Kafka 权威指南》(第二版)— Gwen Shapira 等 - 《深入理解 Kafka:核心设计与实践原理》— 朱忠华 - Apache Kafka 官方文档:https://kafka.apache.org/documentation/ - Confluent 博客:https://www.confluent.io/blog/ ## 生产实践:变更必须可观测、可限速、可回滚 Broker 扩缩容、分区重分配、证书轮换、ACL 变更和版本升级都可能影响可用性。每次变更前确认备份、容量与告警,设置复制或重分配限速,在低风险窗口执行并观察 ISR、离线分区、延迟和 Lag;发现异常时停止扩大影响并按已演练的回滚步骤处置。安全配置中的口令、密钥库密码必须使用受控密钥管理,不应明文写入仓库或示例配置。 ## 思考题 1. 容量规划为什么不能只按平均消息大小和保留天数计算? 2. Consumer Lag 持续增长时,为什么不能直接先扩容消费者? ## 思考题参考答案 1. **容量如何估算才可靠?** 以实际压缩后的入口流量、保留时间、副本数、峰值、重平衡窗口和磁盘安全余量共同估算,并用生产近似压测验证网络、CPU、磁盘和恢复时间;不能只按平均消息大小套固定 Broker 数。 2. **Lag 一直增长先看什么?** 先对比生产速率与消费完成速率,再确认消费者是否活跃、是否频繁再均衡、下游是否慢、Broker 是否副本落后或限流;盲目扩消费者只有在分区与下游容量都有余量时才有效。 ## 官方参考资料 - [Kafka Operations](https://kafka.apache.org/documentation/#operations) - [Security Overview](https://kafka.apache.org/documentation/#security) - [Monitoring](https://kafka.apache.org/documentation/#monitoring) --- 导航:[目录](./README.md) | 上一篇:[09 - Kafka Streams 与生态](./09-streams-ecosystem.md) | 下一篇:[11 - 一条消息的完整生命周期](./11-message-lifecycle.md)
预览
发布文章
添加摘要让读者更快了解文章内容
取消
确认发布
AI 写作助手
输入一个主题,AI 将为你生成一篇 Markdown 博客文章
AI 正在写作中...
取消
开始生成
AI 优化助手
描述你的修改需求,AI 将在原文基础上进行补充或微调
AI 正在优化中...
取消
开始优化
画布
从已有图里选
✕
图名
保存后生成 /images/excalidraw/<图名>.svg(只能用字母、数字、短横线、下划线、点)
取消
保存并插入