知序
返回
保存草稿
发布
H1
H2
H3
1
2
3
Excalidraw 图
AI 写作
AI 优化
目录
输入内容后显示目录
Markdown
# 09 - Kafka Streams 与生态 > 导读:Kafka Streams、Connect 与 Schema 管理分别解决流内计算、外部系统集成和数据契约问题。本章帮助按复杂度选择工具,而不是把所有需求都塞进消费者代码。 ## 结论先行 简单的 Kafka 内流式转换可优先考虑嵌入式 Kafka Streams;跨系统数据搬运适合 Connect;跨团队事件演进必须管理 Schema 兼容性。复杂事件时间、多个数据源或大状态任务,应评估专用流计算引擎。 ## Kafka 生态全景  *图:Kafka 生态的接入、核心、输出与流处理组件* ``` ┌─────────────────────────────────────────────────────┐ │ Kafka 生态系统 │ │ │ │ 数据接入 核心 数据输出 │ │ ┌──────────┐ ┌──────────┐ ┌──────────┐ │ │ │ Kafka │──→│ Kafka │──→│ Kafka │ │ │ │ Connect │ │ Broker │ │ Connect │ │ │ │ (Source) │ │ Cluster │ │ (Sink) │ │ │ └──────────┘ └────┬─────┘ └──────────┘ │ │ │ │ │ ┌───────┼───────┐ │ │ ▼ ▼ ▼ │ │ ┌────────┐┌──────┐┌────────┐ │ │ │Kafka ││ksqlDB││Consumer│ │ │ │Streams ││ ││ API │ │ │ └────────┘└──────┘└────────┘ │ │ │ │ ┌──────────────────────────────────────────┐ │ │ │ Schema Registry │ │ │ │ (Avro / Protobuf / JSON Schema) │ │ │ └──────────────────────────────────────────┘ │ └─────────────────────────────────────────────────────┘ ``` ## Kafka Streams Kafka Streams 是一个轻量级的流处理库(不是框架),直接嵌入 Java 应用中。 ### 核心概念 ``` Stream(流):无界的、持续更新的数据集 Table(表):流的快照,每个 Key 只保留最新值 Stream ←→ Table 的对偶性: Stream → Table:聚合流中的事件得到当前状态 Table → Stream:记录表的每次变更得到事件流 ``` ### 基本 API ```xml <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-streams</artifactId> <version>3.7.0</version> </dependency> ``` ```java // 词频统计示例 Properties props = new Properties(); props.put(StreamsConfig.APPLICATION_ID_CONFIG, "wordcount-app"); props.put(StreamsConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092"); props.put(StreamsConfig.DEFAULT_KEY_SERDE_CLASS_CONFIG, Serdes.String().getClass()); props.put(StreamsConfig.DEFAULT_VALUE_SERDE_CLASS_CONFIG, Serdes.String().getClass()); StreamsBuilder builder = new StreamsBuilder(); // 从 input-topic 读取 KStream<String, String> textLines = builder.stream("input-topic"); // 处理:拆分单词 → 分组 → 计数 KTable<String, Long> wordCounts = textLines .flatMapValues(line -> Arrays.asList(line.toLowerCase().split("\\W+"))) .groupBy((key, word) -> word) .count(Materialized.as("word-counts-store")); // 输出到 output-topic wordCounts.toStream().to("output-topic", Produced.with(Serdes.String(), Serdes.Long())); // 启动 KafkaStreams streams = new KafkaStreams(builder.build(), props); streams.start(); // 优雅关闭 Runtime.getRuntime().addShutdownHook(new Thread(streams::close)); ``` ### 常用操作 ```java KStream<String, String> stream = builder.stream("input"); // ===== 无状态操作 ===== // filter:过滤 stream.filter((key, value) -> value.contains("important")); // map:转换 Key 和 Value stream.map((key, value) -> KeyValue.pair(key.toUpperCase(), value.length())); // mapValues:只转换 Value(不触发 repartition) stream.mapValues(value -> value.toUpperCase()); // flatMap:一对多转换 stream.flatMapValues(value -> Arrays.asList(value.split(","))); // branch:分流 Map<String, KStream<String, String>> branches = stream.split() .branch((key, value) -> value.startsWith("A"), Branched.as("a-stream")) .branch((key, value) -> value.startsWith("B"), Branched.as("b-stream")) .defaultBranch(Branched.as("other")); // merge:合流 KStream<String, String> merged = stream1.merge(stream2); // ===== 有状态操作 ===== // groupByKey + count stream.groupByKey().count(); // groupBy + reduce stream.groupBy((key, value) -> value) .reduce((v1, v2) -> v1 + "," + v2); // windowed aggregation(窗口聚合) stream.groupByKey() .windowedBy(TimeWindows.ofSizeWithNoGrace(Duration.ofMinutes(5))) .count(); // join(流-流连接) KStream<String, String> joined = stream1.join( stream2, (v1, v2) -> v1 + " + " + v2, JoinWindows.ofTimeDifferenceWithNoGrace(Duration.ofMinutes(5)) ); // join(流-表连接) KTable<String, String> table = builder.table("lookup-topic"); stream.join(table, (streamValue, tableValue) -> streamValue + " | " + tableValue); ``` ### 窗口类型  *图:Kafka Streams 的四类时间窗口* ``` 1. 滚动窗口(Tumbling Window) ┌─────┐┌─────┐┌─────┐┌─────┐ │ 0-5 ││5-10 ││10-15││15-20│ 固定大小,不重叠 └─────┘└─────┘└─────┘└─────┘ TimeWindows.ofSizeWithNoGrace(Duration.ofMinutes(5)) 2. 跳跃窗口(Hopping Window) ┌─────────┐ │ 0-10 │ └───┬─────┘ ┌─────────┐ │ 5-15 │ 固定大小,有重叠 └───┬─────┘ ┌─────────┐ │ 10-20 │ └─────────┘ TimeWindows.ofSizeWithNoGrace(Duration.ofMinutes(10)) .advanceBy(Duration.ofMinutes(5)) 3. 会话窗口(Session Window) ┌───┐ ┌──────┐ ┌─┐ │ │ │ │ │ │ 基于活动间隔,大小不固定 └───┘ └──────┘ └─┘ SessionWindows.ofInactivityGapWithNoGrace(Duration.ofMinutes(5)) 4. 滑动窗口(Sliding Window) 用于 join 操作 JoinWindows.ofTimeDifferenceWithNoGrace(Duration.ofMinutes(5)) ``` ### 状态存储(State Store) ``` Kafka Streams 的有状态操作需要本地状态存储 默认使用 RocksDB: 应用实例 1: RocksDB (Partition 0, 1 的状态) 应用实例 2: RocksDB (Partition 2, 3 的状态) 状态备份: 本地状态会备份到 Kafka 的 changelog Topic 应用重启时从 changelog 恢复状态 交互式查询(Interactive Queries): 可以直接查询本地状态存储 ``` ```java // 交互式查询 ReadOnlyKeyValueStore<String, Long> store = streams.store( StoreQueryParameters.fromNameAndType( "word-counts-store", QueryableStoreTypes.keyValueStore() ) ); Long count = store.get("hello"); ``` ## Kafka Connect Kafka Connect 是一个数据集成框架,用于在 Kafka 和外部系统之间搬运数据。 ``` Source Connector(数据源 → Kafka): MySQL → Kafka PostgreSQL → Kafka MongoDB → Kafka 文件 → Kafka Sink Connector(Kafka → 数据目标): Kafka → Elasticsearch Kafka → HDFS Kafka → S3 Kafka → JDBC 数据库 ``` ### 使用示例 ```bash # 启动 Connect(分布式模式) bin/connect-distributed.sh config/connect-distributed.properties # 创建 Source Connector(文件 → Kafka) curl -X POST http://localhost:8083/connectors \ -H "Content-Type: application/json" \ -d '{ "name": "file-source", "config": { "connector.class": "org.apache.kafka.connect.file.FileStreamSourceConnector", "tasks.max": "1", "file": "/tmp/input.txt", "topic": "file-topic" } }' # 创建 Sink Connector(Kafka → 文件) curl -X POST http://localhost:8083/connectors \ -H "Content-Type: application/json" \ -d '{ "name": "file-sink", "config": { "connector.class": "org.apache.kafka.connect.file.FileStreamSinkConnector", "tasks.max": "1", "file": "/tmp/output.txt", "topics": "file-topic" } }' # 查看 Connector 状态 curl http://localhost:8083/connectors/file-source/status # 常用 REST API # GET /connectors — 列出所有 Connector # GET /connectors/{name} — 查看配置 # GET /connectors/{name}/status — 查看状态 # PUT /connectors/{name}/pause — 暂停 # PUT /connectors/{name}/resume — 恢复 # DELETE /connectors/{name} — 删除 ``` ### 常用 Connector ``` Source: Debezium (CDC) — MySQL, PostgreSQL, MongoDB 变更捕获 JDBC Source — 通用 JDBC 数据源 S3 Source — 从 S3 读取 Sink: Elasticsearch Sink — 写入 ES JDBC Sink — 写入关系数据库 S3 Sink — 写入 S3 HDFS Sink — 写入 HDFS ``` ## Schema Registry 管理消息的 Schema(模式),确保 Producer 和 Consumer 使用兼容的数据格式。 ``` Producer → Schema Registry(注册/获取 Schema) ↓ Schema 存储在 _schemas Topic 中 ↓ Consumer → Schema Registry(获取 Schema 进行反序列化) ``` 支持的格式: - Avro(最常用) - Protobuf - JSON Schema ```java // Avro + Schema Registry 示例 props.put("schema.registry.url", "http://localhost:8081"); props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, "io.confluent.kafka.serializers.KafkaAvroSerializer"); // Schema 兼容性级别: // BACKWARD — 新 Schema 可以读旧数据(可删字段、加可选字段) // FORWARD — 旧 Schema 可以读新数据(可加字段、删可选字段) // FULL — 双向兼容 // NONE — 不检查兼容性 ``` ## Kafka vs 其他流处理框架 | 特性 | Kafka Streams | Flink | Spark Streaming | |------|--------------|-------|-----------------| | 部署 | 嵌入应用(库) | 独立集群 | 独立集群 | | 延迟 | 毫秒级 | 毫秒级 | 秒级(微批) | | 状态管理 | RocksDB | RocksDB | 内存/磁盘 | | Exactly-Once | 原生支持 | 原生支持 | 支持 | | 学习成本 | 低 | 高 | 中 | | 适用场景 | 轻量级流处理 | 复杂流处理 | 批流一体 | ## 本章小结 - Kafka Streams 是轻量级流处理库,无需额外集群 - Kafka Connect 简化了数据集成,丰富的 Connector 生态 - Schema Registry 保证了数据格式的兼容性 - 根据场景选择合适的流处理方案 ## 思考题 1. Kafka Streams 的 KTable 和数据库的表有什么区别? 2. 什么场景下应该选择 Flink 而不是 Kafka Streams? ## 生产实践:先治理数据契约,再接入生态组件 Connect Connector 与 Schema Registry 都会把运行时依赖扩展到集群边界:应为 Connector 设置专属权限、错误容忍与死信策略,并监控任务状态和积压。Schema 演进先约定兼容模式、字段弃用期与消费者升级顺序;不要把“删除字段”当成天然兼容。排查 Streams 状态异常时,检查应用 ID、内部 Topic、changelog 副本、状态目录和重平衡,而不是直接删除本地状态。 ## 思考题参考答案 1. **KTable 与数据库表有什么区别?** KTable 是由按 Key 更新的变更日志物化出的流处理视图,受输入 Topic、保留和重建过程约束;它不是通用查询数据库。 2. **何时选 Flink 而非 Streams?** 当任务需要复杂事件时间、水位线、跨多数据源、复杂窗口/CEP、集中资源调度或极大状态时,独立流计算引擎通常更合适;简单 Kafka 内转换则 Streams 运维成本更低。 ## 官方参考资料 - [Kafka Streams Documentation](https://kafka.apache.org/documentation/streams/) - [Kafka Connect Documentation](https://kafka.apache.org/documentation/#connect) - [Apache Kafka APIs](https://kafka.apache.org/documentation/#api) --- 导航:[目录](./README.md) | 上一篇:[08 - 性能优化](./08-performance.md) | 下一篇:[10 - 生产环境实战](./10-production.md)
预览
发布文章
添加摘要让读者更快了解文章内容
取消
确认发布
AI 写作助手
输入一个主题,AI 将为你生成一篇 Markdown 博客文章
AI 正在写作中...
取消
开始生成
AI 优化助手
描述你的修改需求,AI 将在原文基础上进行补充或微调
AI 正在优化中...
取消
开始优化
画布
从已有图里选
✕
图名
保存后生成 /images/excalidraw/<图名>.svg(只能用字母、数字、短横线、下划线、点)
取消
保存并插入