知序
返回
保存草稿
发布
H1
H2
H3
1
2
3
Excalidraw 图
AI 写作
AI 优化
目录
输入内容后显示目录
Markdown
# 02 - KRaft 安装部署与基本操作 > 导读:本章用 Apache Kafka 的 KRaft 模式完成一个本地单节点验证:初始化存储、启动 Broker、创建 Topic、生产并消费消息。它适合学习和开发验证;生产集群需单独规划 Controller Quorum、安全、监控与多副本。 ## 结论先行 新建 Kafka 集群应优先采用 KRaft,不再依赖 ZooKeeper。最小验证链路是:**格式化 KRaft 存储 → 启动 Broker → 显式创建 Topic → CLI 生产 → CLI 消费**。以下以 Apache Kafka 二进制发行包的 `bin/` 目录为例;脚本名、配置文件路径和参数须随实际 Kafka 版本与发行版调整。 ## 1. 前置条件与配置选择 准备受支持版本的 JDK 与 Apache Kafka 发行包,解压后进入其安装目录。单机学习可采用发行包内的 KRaft 示例配置;不同版本文件名可能是 `config/kraft/server.properties`、`config/kraft/broker.properties` 或组合模式配置,先打开目标版本文件确认。 示例中使用 `config/kraft/server.properties`,并假设客户端可通过 `localhost:9092` 连接。请不要把示例监听地址、节点 ID 或临时数据目录直接复制到生产环境。 ## 2. 初始化 KRaft 存储 KRaft 在首次启动前需要为日志目录写入集群 ID 和元数据: ```bash # 生成集群 ID;具体脚本路径随版本/发行版调整 bin/kafka-storage.sh random-uuid # 将上一步生成的 ID 替换为 <cluster-id>,再格式化配置中 log.dirs 指向的目录 bin/kafka-storage.sh format \ --config config/kraft/server.properties \ --cluster-id <cluster-id> ``` 仅对新建、可清空的数据目录执行 `format`。对已有集群或已有日志目录重复格式化会破坏本地元数据,必须先确认数据状态并按运维流程处理。 ## 3. 启动与停止 Broker ```bash # 前台启动,便于学习时观察日志;参数路径依版本/发行版调整 bin/kafka-server-start.sh config/kraft/server.properties # 如发行版提供该脚本,可使用后台启动 bin/kafka-server-start.sh -daemon config/kraft/server.properties # 停止;按目标发行版提供的脚本或服务管理方式执行 bin/kafka-server-stop.sh ``` 不要根据命令行“看似启动”判断服务健康。应使用下面的 `kafka-topics.sh --list` 或应用客户端连通性检查确认 bootstrap server 可用;生产中还要监测 Controller Quorum、磁盘和副本状态。 ## 4. 创建并检查 Topic ```bash # 显式创建 Topic;分区和副本数应按目标集群规模与可靠性目标调整 bin/kafka-topics.sh --bootstrap-server localhost:9092 \ --create --topic demo.events --partitions 3 --replication-factor 1 # 查看 Topic 元数据 bin/kafka-topics.sh --bootstrap-server localhost:9092 \ --describe --topic demo.events # 列出 Topic bin/kafka-topics.sh --bootstrap-server localhost:9092 --list ``` 单节点只能使用副本因子 1,不能代表生产可靠性。生产至少应让副本数不超过 Broker 数,并按业务写入可用性设置 `min.insync.replicas` 与 Producer `acks=all`。 ## 5. CLI 生产与消费验证 先启动消费者,再启动生产者,便于观察完整链路: ```bash # 终端 A:从头消费并打印 key、value;新 group.id 用于本次验证 bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 \ --topic demo.events --group demo-verify --from-beginning \ --property print.key=true --property key.separator=: # 终端 B:输入 key:value 形式的数据;按 Ctrl+C 结束 bin/kafka-console-producer.sh --bootstrap-server localhost:9092 \ --topic demo.events \ --property parse.key=true --property key.separator=: ``` 例如在生产者终端输入 `order-1001:created`。消费者应读取到对应记录,但本文不编造任何特定输出:实际展示取决于客户端版本、终端输入与已有消息。验证后可检查消费位移: ```bash bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 \ --describe --group demo-verify ``` ## 6. 常用 CLI 速查 ```bash # 查看集群或 Broker API 能力;命令可用性依 Kafka 版本而定 bin/kafka-broker-api-versions.sh --bootstrap-server localhost:9092 # 修改分区数(只能增加;会影响默认 Key 哈希路由) bin/kafka-topics.sh --bootstrap-server localhost:9092 \ --alter --topic demo.events --partitions 6 # 查看和重置消费组位移;重置操作先使用 --dry-run 审核 bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 \ --reset-offsets --group demo-verify --topic demo.events \ --to-earliest --dry-run # 删除 Topic(是否允许由集群配置决定) bin/kafka-topics.sh --bootstrap-server localhost:9092 \ --delete --topic demo.events ``` ## 生产实践:把本地单节点与生产拓扑分开 本章单节点配置没有副本容错能力。生产 KRaft 部署应选择合适的 Controller 与 Broker 角色拓扑,跨故障域放置副本,启用认证、授权和 TLS,并对 Controller Quorum 和元数据日志制定备份、监控与升级流程。排查连接失败时,按“进程存活 → `listeners`/`advertised.listeners` 可达 → DNS/网络 → 认证与 ACL”顺序检查,避免只在客户端反复重试。 ## 思考题 1. 为什么对已有数据目录重复执行 KRaft 格式化是高风险操作? 2. 为什么本地验证也应显式创建 Topic,而不是依赖自动创建? ## 思考题参考答案 1. **为什么格式化只执行一次?** 它建立节点要加入的 KRaft 集群身份和本地元数据;对已有数据目录重新格式化会让本地状态与集群不一致。 2. **为什么验证时显式创建 Topic?** 显式创建能审查分区、副本和保留策略,避免环境差异或自动创建掩盖设计问题。 ## 官方参考资料 - [KRaft Overview](https://kafka.apache.org/documentation/#kraft) - [Quickstart](https://kafka.apache.org/quickstart) - [Kafka Operations](https://kafka.apache.org/documentation/#operations) --- 导航:[目录](./README.md) | 上一篇:[01 - 概述与核心概念](./01-overview.md) | 下一篇:[03 - 生产者详解](./03-producer.md)
预览
发布文章
添加摘要让读者更快了解文章内容
取消
确认发布
AI 写作助手
输入一个主题,AI 将为你生成一篇 Markdown 博客文章
AI 正在写作中...
取消
开始生成
AI 优化助手
描述你的修改需求,AI 将在原文基础上进行补充或微调
AI 正在优化中...
取消
开始优化
画布
从已有图里选
✕
图名
保存后生成 /images/excalidraw/<图名>.svg(只能用字母、数字、短横线、下划线、点)
取消
保存并插入