知序
返回
保存草稿
发布
H1
H2
H3
1
2
3
Excalidraw 图
AI 写作
AI 优化
目录
输入内容后显示目录
Markdown
# 03 - 生产者详解 > 导读:生产者的每个参数都在延迟、吞吐与交付保障之间取舍。本章从发送管线出发,说明如何让消息落到正确分区,并在失败时可观测、可恢复。 ## 结论先行 生产端的基本可靠性组合是:为顺序范围选择稳定 Key、用回调感知失败、按业务需要启用幂等与 `acks=all`,再通过批处理和压缩提高效率。参数默认值会随客户端版本变化,应以目标版本文档与实际 `ProducerConfig` 为准。 ## 生产者发送流程  *图:消息从序列化、分区到批量缓存和 Sender 异步发送的流程。* 流程说明: 1. 拦截器(可选):对消息进行预处理 2. 序列化器:将 Key 和 Value 序列化为字节数组 3. 分区器:决定消息发送到哪个分区 4. 缓冲区:消息按分区分组,批量积攒 5. Sender 线程:从缓冲区取出批次,发送到 Broker ## 三种发送方式 [查看生产者三种发送方式示意图(SVG 补充资源)](/images/excalidraw/03-producer-send-modes-diagram.svg) [打开可编辑的 Excalidraw 源图](/images/excalidraw/03-producer-send-modes-diagram.excalidraw) ## 分区策略 ### 为什么分区策略重要 Kafka 的主题在物理上被切分为多个分区(Partition),它们是并行读写的基本单位。消息被发送到哪个分区,直接决定了三个关键行为: 1. **负载均衡**:不同分区分布在不同 Broker 上,合理分区能充分利用所有 Broker 的吞吐 2. **消息有序性**:Kafka 只保证单个分区内的消息有序,如果相同标识的消息(如同一个用户的操作)落入不同分区,顺序就无法保证 3. **消费扩展性**:一个分区只能被 Consumer Group 中的一个 Consumer 消费,分区数决定了消费者的最大并行度 ```java // Kafka 3.x 默认使用 Sticky Partitioner // 1. 指定了 Partition → 直接使用 new ProducerRecord<>("topic", 2, "key", "value"); // 发到 partition 2 // 2. 有 Key → 对 Key 做 hash 取模 new ProducerRecord<>("topic", "user-123", "value"); // partition = hash(key) % numPartitions // 相同 Key 的消息总是发到同一个分区(保证 Key 级别有序) // 3. 无 Key → Sticky Partitioner new ProducerRecord<>("topic", "value"); // 粘性分区:一个 batch 填满后再切换分区 // 比轮询更高效(减少请求数) ``` ### 自定义分区器 ```java public class OrderPartitioner implements Partitioner { @Override public int partition(String topic, Object key, byte[] keyBytes, Object value, byte[] valueBytes, Cluster cluster) { List<PartitionInfo> partitions = cluster.partitionsForTopic(topic); int numPartitions = partitions.size(); if (key == null) { // 无 Key 时轮询 return ThreadLocalRandom.current().nextInt(numPartitions); } String keyStr = (String) key; // VIP 订单发到 partition 0 if (keyStr.startsWith("VIP")) { return 0; } // 其他按 Key hash return Math.abs(keyStr.hashCode()) % numPartitions; } @Override public void close() {} @Override public void configure(Map<String, ?> configs) {} } // 使用 props.put(ProducerConfig.PARTITIONER_CLASS_CONFIG, OrderPartitioner.class.getName()); ``` ## 序列化 ### 内置序列化器 ```java // 常用的内置序列化器 StringSerializer // String IntegerSerializer // Integer LongSerializer // Long ByteArraySerializer // byte[] ByteBufferSerializer // ByteBuffer ``` ### 自定义序列化器(JSON 示例) ```java public class JsonSerializer<T> implements Serializer<T> { private final ObjectMapper objectMapper = new ObjectMapper(); @Override public byte[] serialize(String topic, T data) { if (data == null) return null; try { return objectMapper.writeValueAsBytes(data); } catch (JsonProcessingException e) { throw new SerializationException("JSON 序列化失败", e); } } } // 对应的反序列化器 public class JsonDeserializer<T> implements Deserializer<T> { private final ObjectMapper objectMapper = new ObjectMapper(); private Class<T> targetType; @Override public void configure(Map<String, ?> configs, boolean isKey) { targetType = (Class<T>) configs.get("json.deserializer.type"); } @Override public T deserialize(String topic, byte[] data) { if (data == null) return null; try { return objectMapper.readValue(data, targetType); } catch (Exception e) { throw new SerializationException("JSON 反序列化失败", e); } } } ``` > 生产环境推荐使用 Avro + Schema Registry 或 Protobuf,而非 JSON。 ## 拦截器 ```java public class TimestampInterceptor implements ProducerInterceptor<String, String> { @Override public ProducerRecord<String, String> onSend(ProducerRecord<String, String> record) { // 发送前:给消息添加时间戳前缀 String newValue = System.currentTimeMillis() + "," + record.value(); return new ProducerRecord<>(record.topic(), record.partition(), record.key(), newValue, record.headers()); } @Override public void onAcknowledgement(RecordMetadata metadata, Exception exception) { // 收到 ACK 后的回调 if (exception != null) { System.err.println("发送失败: " + exception.getMessage()); } } @Override public void close() {} @Override public void configure(Map<String, ?> configs) {} } // 配置(支持多个拦截器,逗号分隔) props.put(ProducerConfig.INTERCEPTOR_CLASSES_CONFIG, "com.example.TimestampInterceptor,com.example.MetricsInterceptor"); ``` ## 核心参数详解 Kafka Producer 的配置参数是性能和可靠性之间的精细平衡。理解每个参数背后的原理,才能根据业务场景做出合理取舍。 ### 缓冲区与批量 Kafka 客户端不是"发一条消息就打一次网络请求"——那样在高 QPS 下网络开销会非常夸张。Producer 的设计思路是**攒夠一批再发**:消息先进入内存缓冲区(buffer.memory,默认 32MB),按目标分区分组成批次(batch),当批次大小满足 `batch.size` 或等待时间超过 `linger.ms` 时,Sender 线程将这些批次打包成网络请求发出。 - **batch.size(默认 16KB)**:增大 → 更少请求、更高吞吐、但每条消息在缓冲区的排队时间更长 - **linger.ms(默认 0,即立刻发送)**:设为 5-10ms → 给更多消息"搭个顺风车",用微小的延迟代价换更高的批处理效率 - **buffer.memory**:如果缓冲区满了,`send()` 会阻塞等待,最多等 `max.block.ms`(默认 60s),超时抛异常 ### 可靠性 Kafka 的可靠性由三层防线构成:**acks + retries + 幂等性**。 - **acks=0**:不等待任何确认,最高性能但可能丢消息(适合日志、埋点等可容忍丢失的场景) - **acks=1**:Leader 写入 Page Cache 即返回确认,如果 Leader 在刷盘前宕机且未选举新 Leader,数据可能丢失 - **acks=all/-1**:所有 ISR(In-Sync Replica)副本都确认后才返回。结合 `min.insync.replicas` 最小同步副本数(通常 ≥ 2),是最可靠但延迟最高的配置 **为什么有些场景 ack=1 也会丢数据?**因为 Leader 确认的是"写入 Page Cache"而非"写入磁盘"——如果 Leader 在刷盘前宕机且新 Leader 恰好没有这份数据,消息就丢失了。acks=all 消除了这个风险。 **幂等性(enable.idempotence=true)**:Kafka 3.x 默认开启。Producer 会给每个消息分配 PID + 序列号,Broker 在内存中维护最近 5 个序列号,重复的消息会被自动去重。开启后,即使 `acks=all + retries=MAX`,同一消息也不会被写入两次。开启幂等性后,配合 `max.in.flight.requests=5` 仍能保证有序(Kafka 通过序列号重排机制实现)。 ```java // 缓冲区总大小(默认 32MB) props.put(ProducerConfig.BUFFER_MEMORY_CONFIG, 33554432); // 缓冲区满时 send() 会阻塞,超过 max.block.ms 抛异常 // 单个批次大小(默认 16KB) props.put(ProducerConfig.BATCH_SIZE_CONFIG, 16384); // 增大可提高吞吐量,但增加延迟 // 发送延迟(默认 0ms) props.put(ProducerConfig.LINGER_MS_CONFIG, 5); // 等待更多消息凑成更大的 batch // 0 = 立即发送,> 0 = 等待指定毫秒 ``` ### 可靠性 ```java // ACK 确认机制 props.put(ProducerConfig.ACKS_CONFIG, "all"); // "0" = 不等待确认(最快,可能丢消息) // "1" = Leader 写入即确认(默认,Leader 挂了可能丢) // "all"/"-1" = 所有 ISR 副本确认(最可靠) // 重试次数(默认 Integer.MAX_VALUE) props.put(ProducerConfig.RETRIES_CONFIG, 3); // 重试间隔(默认 100ms) props.put(ProducerConfig.RETRY_BACKOFF_MS_CONFIG, 100); // 请求超时(默认 30s) props.put(ProducerConfig.REQUEST_TIMEOUT_MS_CONFIG, 30000); // 幂等性(防止重试导致重复消息) props.put(ProducerConfig.ENABLE_IDEMPOTENCE_CONFIG, true); // 开启后自动设置 acks=all, retries=MAX, max.in.flight=5 ``` ### 性能 ```java // 压缩算法 props.put(ProducerConfig.COMPRESSION_TYPE_CONFIG, "lz4"); // none, gzip, snappy, lz4, zstd // lz4 和 zstd 是较好的选择(压缩比和速度的平衡) // 最大请求大小(默认 1MB) props.put(ProducerConfig.MAX_REQUEST_SIZE_CONFIG, 1048576); // 未确认请求的最大数量(默认 5) props.put(ProducerConfig.MAX_IN_FLIGHT_REQUESTS_PER_CONNECTION, 5); // 设为 1 可保证分区内严格有序(但降低吞吐量) // 开启幂等性后,设为 5 也能保证有序 ``` ## 生产者参数速查表 | 参数 | 默认值 | 说明 | |------|--------|------| | acks | 1 | 确认机制:0/1/all | | retries | MAX | 重试次数 | | batch.size | 16384 | 批次大小(字节) | | linger.ms | 0 | 发送延迟(毫秒) | | buffer.memory | 33554432 | 缓冲区大小(字节) | | compression.type | none | 压缩算法 | | max.request.size | 1048576 | 最大请求大小 | | enable.idempotence | true (3.x) | 幂等性 | | max.in.flight.requests | 5 | 未确认请求数 | | request.timeout.ms | 30000 | 请求超时 | ## 异常处理 ```java // 可重试异常(网络抖动、Leader 切换等) // NetworkException, LeaderNotAvailableException // NotEnoughReplicasException // → Kafka 客户端会自动重试 // 不可重试异常 // SerializationException — 序列化失败 // RecordTooLargeException — 消息超过 max.request.size // → 需要在代码中处理 producer.send(record, (metadata, exception) -> { if (exception instanceof RetriableException) { // 可重试异常,客户端已自动重试过了 log.error("重试后仍然失败", exception); } else if (exception != null) { // 不可重试异常 log.error("发送失败,需要人工处理", exception); // 写入死信队列或本地文件 } }); ``` ## 本章小结 - 生产者采用异步批量发送模型,Sender 线程独立工作 - 分区策略决定消息的分布,Key 相同的消息保证有序 - acks、retries、幂等性是可靠性的三道防线 - batch.size 和 linger.ms 是吞吐量和延迟的权衡点 ## 思考题 1. 为什么 Sticky Partitioner 比 Round-Robin 性能更好? 2. 开启幂等性后,max.in.flight.requests 设为 5 为什么还能保证有序? ## 生产实践:失败必须进入可恢复路径 回调只能告诉应用本次发送是否成功,不能替代业务补偿。对不可重试错误(序列化、超限、非法 Topic)应记录足以重建事件的上下文并告警;对关键业务可采用本地消息表或 Outbox,将数据库状态变更与待发布事件放在同一事务边界,再由独立发布器投递 Kafka。不要在回调中无限同步重试,否则会放大故障并耗尽应用线程。 ## 思考题参考答案 1. **Sticky Partitioner 为什么通常更高效?** 无 Key 的记录会在一个分区累积成更完整的批次,减少小请求;代价是短时间内分区流量不如轮询均匀。 2. **幂等下为什么允许多个 in-flight 请求?** Broker 用 Producer ID 与每分区序列号识别重复和乱序重试;可用上限受客户端与版本约束,不能脱离目标版本随意调大。 ## 官方参考资料 - [Producer Configs](https://kafka.apache.org/documentation/#producerconfigs) - [Producer API](https://kafka.apache.org/documentation/#producerapi) - [Message Delivery Semantics](https://kafka.apache.org/documentation/#semantics) --- 导航:[目录](./README.md) | 上一篇:[02 - KRaft 安装部署与基本操作](./02-setup.md) | 下一篇:[04 - 消费者详解](./04-consumer.md)
预览
发布文章
添加摘要让读者更快了解文章内容
取消
确认发布
AI 写作助手
输入一个主题,AI 将为你生成一篇 Markdown 博客文章
AI 正在写作中...
取消
开始生成
AI 优化助手
描述你的修改需求,AI 将在原文基础上进行补充或微调
AI 正在优化中...
取消
开始优化
画布
从已有图里选
✕
图名
保存后生成 /images/excalidraw/<图名>.svg(只能用字母、数字、短横线、下划线、点)
取消
保存并插入