知序
返回
保存草稿
发布
H1
H2
H3
1
2
3
Excalidraw 图
AI 写作
AI 优化
目录
输入内容后显示目录
Markdown
# Agent 服务化部署与扩缩容 > 导读:本文从"Agent 在本地 demo 里跑得好好的,一上线就超时、断线、状态错乱,扩容之后同一个任务还被执行了两遍"这个实际开发中的疑问出发,把"Agent 服务与普通微服务的差异、四种部署形态怎么选、有状态问题(会话粘性 vs 状态外置)、多实例下如何保证同一个 Run 只被一个实例推进、扩缩容与冷启动、队列与背压、超时与长连接治理、灰度与多版本共存、部署架构与容器化要点"逐项讲透,最后给出工程实践与踩坑清单。适合正在把 Agent(智能体)从单体 Demo 改造成可对外服务、需要扛住流量与故障的后端 / 平台 / SRE 工程师。  *图:Agent 服务化——负载均衡、多副本、队列与共享状态* ## 一、先建立全局认知 ### Q:Agent 服务到底和普通微服务差在哪? A:结论先行——**四个本质差异:单次请求长耗时(秒级到分钟级)、Run 有状态、外部依赖多且不可控、按量计费。这四条决定了不能照搬"无状态 + 短超时 + 均摊负载 + 秒级重试"的微服务套路。** 先把差异摆出来: | 维度 | 普通微服务 | Agent 服务 | | --- | --- | --- | | 单次耗时 | 毫秒到百毫秒 | 秒级到分钟级(多轮模型 + 多次工具) | | 状态 | 无状态,请求间独立 | 一个 Run(一次完整任务执行)跨多步、多轮、多个工具,有状态 | | 外部依赖 | 少量下游服务 | 模型供应商、工具服务、向量库、缓存、第三方 API,任一抖动都影响结果 | | 计费 | 主要按实例资源 | **按 Token(词元)/ 调用量计费**,成本与流量和步数强相关 | | 负载均衡 | 随机 / 轮询即可 | 受"Run 归属"约束,不能随便挑实例 | | 超时语义 | 秒级超时,快速失败重试 | 天然超过网关默认超时;重试意味着可能重复执行副作用 | | 扩容收益 | CPU / QPS 近线性 | 受模型配额、工具限流、连接数约束,非线性 | | 失败重试 | 幂等重试很安全 | 重试可能重复调工具、重复扣费、重复写数据 | 这四条差异会连锁出后面所有的设计压力:**长耗时**逼着你重新设计超时与连接治理;**有状态**逼着你把状态外置并解决"谁在推进这个 Run";**外部依赖多**逼着你做限流、背压与降级;**按量计费**逼着你把成本当成一等指标来治理。 ### Q:为什么"长耗时 + 有状态"是万恶之源? A:结论先行——**长耗时放大了所有超时、断线、重试与资源占用问题;有状态让"随便挑一个实例处理"变得不可能;两者叠加就会引出"重试即重复执行""扩容即抢占同一个 Run"这类现实风险。** 看一下一个典型 Agent Run 的时间轴:  *图:一次 Run 的调用链路与超时点* ```text 客户端 ──▶ 网关 ──▶ 接入层 ──▶ Agent Worker ──▶ 模型网关 ──▶ 供应商模型 │ ├─▶ 工具A(搜索/DB/HTTP) ├─▶ 模型(第2轮) ├─▶ 工具B └─▶ 模型(第3轮)──▶ 最终答案 |——————————————— 单次 Run 可能几十秒到几分钟 ———————————————| 网关默认空闲/响应超时往往远小于此(具体默认值需结合所用网关版本确认) ↑ 超时点 ``` 问题清单: 1. **网关超时。** 大多数反向代理的默认响应超时是几十秒量级,Agent 一跑就断。客户端看到 504,但后端其实还在跑——于是用户重试,后端又起了一个 Run。 2. **连接占用。** 同步 HTTP 下,一个 Run 就占住一个连接和一份内存;并发一高,连接池和线程池先于 CPU 被打满。 3. **状态漂移。** 客户端重试打到另一个实例,而那个实例没有这次 Run 的上下文,要么从头再来(重复执行),要么报"会话不存在"。 4. **重试放大副作用。** 工具层如果用"超时重试"的朴素策略,可能出现"模型已经下单成功但响应超时 → 重试 → 下了两次单"。 所以 Agent 服务化的第一原则是:**把"执行"和"接入"拆开,把"状态"从实例内存里搬出去。** 下面几节都是这条原则的展开。 ## 二、部署形态:四种范式与选型 ### Q:Agent 服务有哪几种部署形态? A:结论先行——**四种:①同步 HTTP、②异步任务(提交返回任务号 + 轮询 / 回调)、③流式(SSE / WebSocket)、④事件驱动(消息队列触发)。它们不是互斥的,生产上通常是"同步 / 流式入口 + 异步执行 + 事件驱动回传"的组合。** | 形态 | 交互方式 | 适用场景 | 主要代价 | | --- | --- | --- | --- | | 同步 HTTP | 一次请求等完整答案返回 | 短任务(单轮问答、轻量工具调用) | 超时、连接占用、无法回传进度 | | 异步任务 | `202 + run_id`,轮询或回调取结果 | 长任务、批处理、无需实时 | 需状态存储、轮询成本、结果有效期 | | 流式 SSE | 服务端单向推送增量片段 | 需要实时看到生成过程(对话、长文) | 网关需支持流式、断线需续传 | | 流式 WebSocket | 双向长连接 | 需要用户中途干预(HITL,人在回路) | 连接管理复杂、有状态连接 | | 事件驱动 | MQ 触发 Worker,结果再发事件 | 由外部事件触发(订单创建、定时任务) | 需保证消息幂等与顺序 | 补充说明: - **SSE(Server-Sent Events,服务器发送事件)** 是基于 HTTP 的单向流,实现简单、天然走 HTTP 语义,是"流式输出"最常见的选型。 - **WebSocket** 是全双工长连接,适合"用户要在 Agent 跑的过程中插话 / 审批"的场景;代价是连接更"有状态",扩缩容与重连更麻烦。 - **异步任务** 的关键是"提交与执行解耦":入口只负责校验、去重、落库、入队、返回 `run_id`,真正的执行在 Worker。 - **事件驱动** 的关键是"幂等消费":同一条消息可能被投递多次(at-least-once 语义),Worker 必须以 `run_id` / 幂等键去重。 ### Q:四种形态怎么选? A:结论先行——**按"预计时长"和"是否需要实时交互"两个维度选:短且要即时答案 → 同步;长且用户要看进度或连续交互 → 流式;长且用户不必等 → 异步任务;由外部事件触发 → 事件驱动。**  *图:按是否实时与预计时长选择交互方式* ```text 是否需要实时看到过程 / 中途交互? │ 否 ◀─────────────┴─────────────▶ 是 │ │ 预计时长短 ────┼──▶ 同步 HTTP 流式 SSE / WebSocket (< 超时预算) │ │ 预计时长长 ────┼──▶ 异步任务(202+run_id) 流式 + 断线重连续传 (> 超时预算) │ │ 由外部触发 ────┴──▶ 事件驱动(MQ 触发 Worker,结果另发事件) ``` 几条实战经验: 1. **判断"短 / 长"要用"网关超时预算"而不是主观感觉。** 网关允许 30 秒,那"可能跑 40 秒"的任务就必须走异步或流式。 2. **"流式"不只是"能不能",还是"断线后要不要能续传"。** 用户在地铁里断网重连,如果流从头发一遍,用户会看到内容跳变。要么支持续传,要么前端做去重。 3. **组合是常态。** 典型链路:客户端用 SSE 连接入层 → 接入层把任务投入队列 → Worker 执行 → 逐段把事件推回接入层 → 接入层转发给客户端。**入口形态与执行形态解耦,才能独立扩缩容。** 4. **异步任务必须定"结果保留期"。** `run_id` 的结果存多久(几小时还是几天)、过期后能否重算,是产品与成本的共同决策。 ## 三、有状态问题:会话粘性 vs 状态外置 ### Q:会话状态到底放在哪? A:结论先行——**状态必须外置;会话粘性只是性能优化,不是正确性方案。** 三种做法的能力对比: | 做法 | 重启是否丢状态 | 扩容 / 发布是否掉 | 能否跨实例恢复 | 结论 | | --- | --- | --- | --- | --- | | 实例内存 | 丢 | 掉 | 不能 | 仅 Demo 可用 | | 会话粘性路由 | 仍丢 | 必掉 | 不能 | 缓解,非方案 | | 状态外置(Redis / DB / Checkpoint) | 不丢 | 不掉 | 能 | 唯一可扩容可恢复的方案 | **为什么粘性不能当方案?** 粘性(session affinity,把同一会话的请求固定路由到同一实例)依赖"实例一直在那",但: - 实例会重启、会被滚动发布替换、会因 OOM 被驱逐; - 扩容缩容会改变哈希环 / 负载分布,原本粘住的会话可能被重新映射; - 粘性在网关层通常按连接或按 cookie 维持,客户端换网络、换协议(HTTP→WebSocket)就可能失效。 所以正确姿势是:**状态(对话消息、子任务进度、工具调用记录、步数)外置到 Redis / 数据库,实例本身无状态化。** 状态该存哪些字段、怎么保证工具调用幂等,属于 Checkpoint(检查点,Agent 执行状态的快照)设计范畴,这里不重复其状态机细节,只强调部署视角的三个结论: 1. **实例是"无状态计算单元",随时可被杀掉重建**,恢复时从最新稳定快照继续。 2. **状态存储要能扛住"一个 Run 写多次"**(每步都可能落盘),选型与写入频率要匹配。 3. **外部工具的中间结果不能只留在实例内存里**,否则实例一挂就得重算甚至重复调用。 ### Q:状态外置之后,谁来推进这个 Run? A:结论先行——**同一个 Run 在同一时刻只能有一个实例推进,靠"租约(lease,带过期时间的独占凭证)/ 分布式锁"来保证。这与 Checkpoint 篇讲的"Run 单实例语义"是同一件事;此处只讲部署视角的落地要点,不再展开其状态机与一致性推导。** 部署时必须落实的几条: 1. **租约 TTL 要匹配"单步最大耗时"。** TTL 太短,正常的一步还没走完租约就过期,别的实例会来抢,造成双活;TTL 太长,实例崩溃后要等很久才能被接管。经验做法是让 TTL 覆盖"单步 P99 耗时 + 余量",**具体倍数按自身管线实测确定**。 2. **续租必须是独立后台协程,且续租失败要立刻终止主循环。** 不能把续租和业务循环写在同一个线程里——业务一旦卡住(比如等一个慢工具),续租也停了。 3. **拿不到租约的实例必须直接退出,而不是"等一会儿再抢"。** 否则大量实例在锁上自旋,把 CPU 和锁服务一起打爆。 4. **终态的 Run(已完成 / 已取消)永远不可再抢租约。** 否则重放历史消息时会"复活"已完成任务。 5. **没有有效租约的实例,禁止写业务状态。** 只能写"现场快照"用于排查,不能作为恢复起点。 一段与部署强相关的租约骨架(Redis `SET NX EX`,示意): ```java // RunLease.java —— 部署视角的租约:谁持有谁才能推进该 Run public class RunLease { private final Jedis jedis; private final String instanceId; // 每个 Pod 启动时生成,全局唯一 private final int ttlSeconds; // 覆盖"单步 P99 + 余量",按实测确定 public RunLease(Jedis jedis, String instanceId, int ttlSeconds) { this.jedis = jedis; this.instanceId = instanceId; this.ttlSeconds = ttlSeconds; } /** 抢占租约:成功返回 true;失败说明别的实例在跑,调用方应直接退出 */ public boolean acquire(String runId) { String r = jedis.set("lease:run:" + runId, instanceId, SetParams.setParams().nx().ex(ttlSeconds)); return "OK".equals(r); } /** 续租:只有当前持有者能续;返回 false 说明已失去租约,必须终止主循环 */ public boolean renew(String runId) { // 用 Lua 保证"校验持有者 + 续期"的原子性 Object r = jedis.eval( "if redis.call('get', KEYS[1]) == ARGV[1] then " + " return redis.call('expire', KEYS[1], ARGV[2]) else return 0 end", List.of("lease:run:" + runId), List.of(instanceId, String.valueOf(ttlSeconds))); return Long.valueOf(1L).equals(r); } public void release(String runId) { jedis.eval( "if redis.call('get', KEYS[1]) == ARGV[1] then return redis.call('del', KEYS[1]) end", List.of("lease:run:" + runId), List.of(instanceId)); } } ``` 关键点:**续租的返回值必须被主循环检查**——一旦 `renew` 返回 `false`,实例必须立即停止推进并释放资源,因为此时已有其他实例接管;继续写就会造成状态撕裂。适用边界:这套基于单实例 Redis 的租约在 Redis 主从切换、网络分区时可能短暂出现"双持租约",所以**业务状态写入仍要带版本号做条件更新,工具调用仍要幂等**——租约是"大幅降低概率",不是"数学证明互斥"。 ### Q:粘性和状态外置怎么配合? A:结论先行——**粘性只做"性能优化":提高本地缓存命中率、减少跨节点状态读取;绝不能作为正确性依赖。任何"业务必须粘住"的设计,都要有"粘不住也能正确工作"的兜底。** 具体做法: - **粘性 + 外置并存**:优先路由到上次处理该会话的实例(减少拉取状态的次数),但实例上没有状态时能无缝回源到 Redis / DB。 - **不做"实例本地缓存即真相"**:本地缓存只读加速,写必须落到共享存储。 - **连接粘性 ≠ 状态粘性**:WebSocket 的连接天然粘在某实例上,但"连接断了"不该等于"会话丢了";重连后应能通过 `run_id` 恢复,而不是重新开始。 ## 四、扩缩容、背压与超时治理 ### Q:Agent 服务怎么扩容?冷启动为什么麻烦? A:结论先行——**Agent 实例的扩容收益是非线性的:接入层可近乎线性扩容,执行层受"模型配额 / 工具限流 / 租约 / 队列"约束;冷启动还要建连接、预热客户端、加载配置,扩容不是"副本数 +1 就立刻多一份吞吐"。** 分层看: | 层 | 能否直接水平扩容 | 约束 | | --- | --- | --- | | 接入层(鉴权、路由、连接) | 是 | 长连接数、网关带宽 | | 调度 / 队列层 | 是 | 队列本身的高可用 | | Worker 执行层 | 受限 | 模型配额、工具限流、租约归属、单实例并发上限 | | 外部依赖 | 否(别人的系统) | 供应商 QPS / 配额、下游限流 | **扩容指标不要只看 CPU。** Agent 是典型的"等待型"负载——大部分时间在等模型和工具返回,CPU 往往很低,但并发已经在堆积。更合适的扩缩容信号是**队列深度、在途 Run 数、单实例并发数、P95 端到端延迟、活跃长连接数**。**用什么指标、怎么接自定义指标,需结合 K8s 版本与对应指标适配器确认。** ```yaml # hpa.yaml —— 以队列深度为主信号的水平扩容(示意) apiVersion: autoscaling/v2 kind: HorizontalPodAutoscaler metadata: name: agent-worker spec: scaleTargetRef: apiVersion: apps/v1 kind: Deployment name: agent-worker minReplicas: 2 maxReplicas: 50 metrics: - type: Pods pods: metric: name: agent_queue_depth_per_pod # 自定义指标:本实例待处理 Run 数 target: type: AverageValue averageValue: "5" - type: Pods pods: metric: name: agent_inflight_runs target: type: AverageValue averageValue: "10" behavior: # 防抖动:扩快缩慢 scaleUp: stabilizationWindowSeconds: 30 policies: [{type: Percent, value: 100, periodSeconds: 30}] scaleDown: stabilizationWindowSeconds: 600 # 缩容窗口给足,避免刚缩就又扩 policies: [{type: Percent, value: 25, periodSeconds: 60}] ``` **冷启动的麻烦来自哪里:** 1. **连接与客户端预热。** 模型客户端、HTTP 连接池、数据库连接池都需要预热;一个"刚起来"的实例直接接单,首批请求延迟会明显偏高。 2. **就绪探针要反映"能真正接单",而不是"进程活着"。** 探针通过的标准应该是"队列消费者已注册、连接池已就绪、必要配置已加载",而不是端口能连。 3. **镜像与依赖体积。** 镜像越大、启动脚本越多,Pod 起得越慢;用分层镜像、精简依赖、把重初始化放到启动前一次性完成。 4. **限并发冲刺**:新实例刚上线时可以先降并发("慢启动"),避免把外部依赖打出一波尖峰。 ### Q:队列与背压怎么做? A:结论先行——**必须有队列和并发上限,否则模型配额或下游一被超限,整个系统就雪崩;背压(backpressure,把过载信号如实向上游传递)要求系统在"接不动"时明确拒绝或排队,而不是无限接收然后一起超时。** 三个层级的闸门: | 闸门 | 位置 | 作用 | | --- | --- | --- | | 准入限流 | 接入层 | 超阈值直接 429 / 排队,保护后端 | | 并发上限 | Worker | 限制单实例在途 Run 数,保护模型配额与下游 | | 队列背压 | 队列层 | 有界队列,满则拒绝或降级,不无限堆积 | 要点: - **队列必须有界。** 无界队列的"好处"是永不拒绝,坏处是它把过载藏起来——直到延迟高到所有请求都超时。有界队列 + 明确的拒绝策略 + 队列水位告警,才是成年人的做法。 - **多级并发上限。** 至少区分"全局 / 租户 / 单用户"三级,防止单个大租户或单个脚本用户把配额吃光。 - **限流要预留余量给"正在跑的 Run"。** 一个 Run 可能调用模型多次,限流如果按"请求数"算而不按"Run 数 × 预估调用数"算,实际打给模型的请求会超限。 - **重试要有界且带退避。** 无界重试在过载时是"火上浇油":越限流越重试,越重试越限流。 - **降级要有明确终点。** 过载时可以降级到小模型、走缓存、返回"请稍后重试",但**降级终点不能是给一个看起来像答案的胡编答案**。 ### Q:超时与长连接怎么治理? A:结论先行——**Agent 的长耗时几乎必然超过网关默认超时,必须逐层对齐超时预算(客户端 > 网关 > 应用 > 单次模型调用),并用心跳保活;流式场景要支持"断线重连续传",续传靠事件序列号 + 服务端可回放。** 超时预算要"从外到内逐层收窄",而不是每层随便设:  *图:超时逐层收紧:客户端 300s、网关 290s、应用 280s* ```text 客户端超时(如 300s) └─▶ 网关超时(如 290s) ← 必须 ≤ 客户端,留出网络与重试余量 └─▶ 应用总超时(如 280s) ← 覆盖整个 Run ├─▶ 单次模型调用超时(如 60s) └─▶ 单次工具调用超时(如 10s) └─▶ 下游依赖超时(如 8s) ``` 四条纪律: 1. **内层超时必须小于外层。** 如果工具超时 30s 而应用总超时 20s,工具的超时永远来不及触发,应用先挂了,你也就丢掉了"优雅降级"的机会。 2. **网关超时要显式调大,并防"慢连接占满连接池"。** 调大超时不能只改数字,要同时限制并发连接数与单 IP 连接数,否则慢速客户端会拖垮网关。**各网关的默认值与调参项需结合版本确认。** 3. **心跳间隔必须小于中间层的空闲超时。** SSE 可以周期性发送注释行(`:` 开头的行)保活;WebSocket 用 ping / pong。心跳间隔要小于网关、负载均衡、NAT 中最小的空闲超时,否则连接会被静默切断而两端都不知道。 4. **断线重连续传 = 事件编号 + 服务端可回放。** 每个输出片段带一个单调递增的序号(如 SSE 的 `id:`);客户端重连时带上"我收到的最后一个序号",服务端从该序号之后回放。**关键前提是:流式输出的是"片段",而 Run 的状态在外部存储里——重连只是补发片段,不会重新执行任务、不会重复扣费。** ```bash # 用 curl 观察流式事件:确认是否带序号、能否续传(示意) curl -N -H "Authorization: Bearer $TOKEN" \ -H "Last-Event-ID: 42" \ "https://your-gateway/v1/runs/$RUN_ID/stream" # -N 关闭 curl 缓冲;Last-Event-ID 是 SSE 标准的重连续传头 ``` 边界:SSE 的 `Last-Event-ID` 是标准能力,但"服务端真的按它回放"需要你自己实现事件缓冲;缓冲是"内存里存最近 N 条"还是"持久化全量",取决于续传窗口与成本。**重放窗口越长,存储成本越高。** ## 五、部署架构、容器化与灰度 ### Q:整体部署架构长什么样? A:结论先行——**核心是把"接入(无状态、可线性扩容)"与"执行(有状态约束、受配额限制)"拆成两层,中间用队列解耦,状态统一外置,模型与工具各自收敛到网关。**  *图:Agent 服务部署——接入层、任务队列、Worker 执行层与三类依赖* ```text ┌──────────────────────────────────────────┐ 客户端 │ 接入层(无状态) │ (Web/App) ──HTTP/SSE──▶│ 鉴权 · 限流 · 超时 · 长连接管理 · 路由 │ └───────┬───────────────────────┬──────────┘ │ 同步短任务 │ 提交长任务(202+run_id) │ ▼ │ ┌──────────────┐ │ │ 任务队列 │(有界) │ └──────┬───────┘ │ │ 消费 ▼ ▼ ┌──────────────────────────────────────────┐ │ Worker 执行层(Agent 编排) │ │ 抢租约 → 加载状态 → 循环(模型+工具) → 落盘 │ └───┬───────────────┬──────────────┬────────┘ │ │ │ ┌───────▼──────┐ ┌──────▼───────┐ ┌────▼─────────┐ │ 状态存储 │ │ 模型网关 │ │ 工具服务 │ │ Redis / DB │ │(路由/配额/降级)│ │(搜索/DB/HTTP)│ │ Checkpoint │ └──────────────┘ └──────────────┘ └──────────────┘ ▲ └── 流式事件回传(SSE/WS 经接入层或事件通道) ``` 要点: - **接入层与执行层独立扩缩容**:流量洪峰先冲击接入层(可快速扩容),执行层按队列深度扩容。 - **模型统一收口到模型网关**:配额、降级链、成本归因、供应商切换都在网关做,Worker 不直接对接多家供应商。 - **状态存储是唯一的"真相源"**:任何实例都能通过 `run_id` 恢复。 - **流式回传通道要能跨实例**:如果 Worker 与客户端不在同一实例,事件需要通过事件总线 / Redis 发布订阅回到持有连接的接入实例。 ### Q:容器化与 K8s 部署要点有哪些? A:结论先行——**清单式落地:探针、资源、优雅退出、并发、配置与密钥、日志与追踪、检查点落盘、连接复用、租约归属、时区,一个都不能少。** | 要点 | 要求 | | --- | --- | | 就绪探针 | 以"能真正接单"为标准(消费者已注册、连接池就绪),而非端口可连 | | 存活探针 | 只判断"进程是否僵死",避免把"临时慢"误杀成重启 | | 资源 requests/limits | 按实测设;等待型负载别只按 CPU 设,留足内存给消息与状态 | | 优雅退出 | 收到 SIGTERM 后:停止接单 → 把当前 Run 推到稳定快照 → 释放租约 → 等在途 | | terminationGracePeriodSeconds | **必须大于"单步最大耗时 + 落盘时间"**,否则强杀会留下半写状态 | | 单实例并发 | 显式限制在途 Run 数,与模型配额、连接池一起算 | | 配置与密钥 | 密钥走 Secret / 外部密钥管理,禁止写死在镜像与代码里 | | 日志与追踪 | 每条日志带 `trace_id` / `run_id` / `tenant_id`;模型与工具调用埋点 | | 状态落盘 | 每步闭环后写稳定快照;进程将退时写现场快照(不用于恢复) | | 连接复用 | 模型 / 工具的 HTTP 连接池跨请求复用,避免每步重建连接 | | 租约归属 | 实例 ID 在 Pod 启动时生成,与 Pod 生命周期绑定;重启即视为新实例 | | 时区与时钟 | 统一 UTC 存储与计算,展示层再转本地时区;禁用裸 `now()` | | 镜像 | 分层构建、精简依赖,缩短冷启动与拉取时间 | 优雅退出的关键顺序:  *图:SIGTERM 后六步优雅停机,超时则被强杀* ```text SIGTERM │ ├─ 1. 从服务发现摘除(不再接新请求) ├─ 2. 停止从队列拉新任务 ├─ 3. 把在途 Run 推进到"稳定快照"并落盘(不中断半途的副作用操作) ├─ 4. 释放租约,让其他实例可以接管 ├─ 5. 关闭连接池、刷新日志 └─ 6. 进程退出 若超时(超过 terminationGracePeriodSeconds)→ 被强杀,可能留下现场快照 ``` **第 3 步是重点**:不能"收到 SIGTERM 就立刻退出",那等于把正在执行的 Run 直接扔掉。也不能无限期地等——要设一个自有的退出截止时间,超时后宁可留下"现场快照"让其他实例接管。 ### Q:灰度与多版本实例怎么共存? A:结论先行——**多版本共存的关键是"按 Run 的归属版本路由,而不是按请求随机分流":同一个 Run 必须由同一版本实例全程执行,否则状态 schema 与行为会前后不一致。** 几条原则: 1. **灰度维度优先选"按 Run / 按租户",而不是"按请求比例"。** 新版本更适合承接"全新的 Run";已经在老版本上跑了一半的 Run,应留在老版本直到结束。**按请求随机分流会让同一个 Run 前后跨版本,这是事故高发点。** 2. **状态 schema 要向前兼容。** 新版本写入的状态,要能保证老版本在回滚时读得懂(或明确拒绝并走迁移)。给快照带 `schema_version` 是基本要求。 3. **Prompt 与模型版本也是"代码"。** 换 Prompt、换模型版本的行为变化,和换代码一样需要灰度与回归,不能只灰度镜像。 4. **在途 Run 与回滚。** 回滚时要评估"有多少 Run 已经用新版本写入了状态";必要时采用"兼容读 / 双写"的过渡期,而不是硬回滚。 5. **发布与租约协同时机。** 滚动发布期间,老实例退出会释放租约,新实例可能接管老 Run——这要求状态可被新版本正确解析(见第 2 点),否则会在发布瞬间触发一批恢复失败。 ## 六、工程实践与踩坑清单 1. **实例重启丢状态。** 状态只在内存里,重启 / 驱逐后 Run 全丢。**对策**:状态外置,实例无状态化,重启后按 `run_id` 恢复。 2. **粘性失效。** 依赖粘性维持会话,网关一变、实例一换就报"会话不存在"。**对策**:粘性只做优化,正确性由外置状态保证。 3. **队列堆积。** 无界队列把过载藏起来,延迟一路涨到全部超时。**对策**:有界队列 + 拒绝策略 + 水位告警 + 按队列深度扩容。 4. **扩缩容抖动(flapping)。** 指标在阈值附近来回跳,实例反复扩缩,加剧不稳定。**对策**:给缩容设置较长的稳定窗口(如 10 分钟),扩容快、缩容慢。 5. **长连接被网关切断。** 空闲超时把 SSE / WebSocket 静默断开,两端都不知情。**对策**:心跳间隔小于最小空闲超时;断线走重连续传。 6. **超时预算不一致。** 外层超时短于内层,内层降级永远触发不了。**对策**:逐层收窄,内层 < 外层,写成配置并加测试。 7. **SIGTERM 强杀导致半写状态。** 优雅退出时间不够,进程被强杀,留下不一致状态。**对策**:`terminationGracePeriodSeconds > 单步最大耗时`,并实现完整的优雅退出流程。 8. **扩容后任务重复执行。** 新实例抢到了同一 Run,或旧实例"失联但仍认为持有租约"还在跑。**对策**:租约 + 续租失败即停 + 状态版本乐观锁 + 工具幂等(呼应 Checkpoint 设计)。 9. **冷启动未就绪就接单。** 探针只看端口,Pod 一起来就接到请求,首批延迟飙升或直接失败。**对策**:就绪探针以"能真正接单"为准,必要时慢启动限流。 10. **按 CPU 扩容但瓶颈在模型配额。** 副本越扩越多,模型侧反而被限流,成本还涨了。**对策**:用队列深度 / 在途数 / 延迟等更贴近瓶颈的指标扩缩容。 11. **灰度按请求分流导致同一 Run 跨版本。** 状态 schema 与行为前后不一致。**对策**:按 Run / 租户路由,在途 Run 留在原版本。 12. **无限重试放大。** 超时 / 限流后无退避重试,把过载变成雪崩。**对策**:有界重试 + 指数退避 + 抖动,重试前判断"这个 Run 是否已被别的实例接管"。 13. **流式重连从头发一遍。** 用户看到内容跳变或重复。**对策**:事件带序号,服务端按 `Last-Event-ID` 回放,客户端按序号去重。 14. **密钥写死在镜像 / 代码里。** 泄露风险。**对策**:密钥走 Secret / 外部密钥管理,示例与文档一律用占位符。 ## 小结 - Agent 服务与普通微服务的四点差异——**长耗时、有状态、外部依赖多、按量计费**——决定了不能照搬无状态短超时的微服务套路。 - 四种部署形态(**同步 / 异步 / 流式 / 事件驱动**)按"时长 + 是否实时交互"选型,生产上通常是组合:**接入与执行解耦、中间用队列衔接**。 - 状态必须**外置**,粘性只是优化;**同一 Run 同一时刻只能被一个实例推进,靠租约 + 续租失败即停 + 工具幂等兜底**(细节见 Checkpoint 设计)。 - 扩缩容要看**队列深度 / 在途 Run / 延迟**等贴近瓶颈的指标,而非只看 CPU;**冷启动要预热,就绪探针要反映"能真正接单"**。 - 必须有**有界队列 + 多级并发上限 + 背压**;超时要**逐层收窄、内层小于外层**,长连接要**心跳保活 + 断线按序号续传**。 - 部署架构的核心是**接入层无状态可线性扩容、执行层受配额与租约约束、状态外置为唯一真相源、模型与工具收口到网关**。 - 灰度的关键铁律:**按 Run 归属版本路由,不让同一个 Run 跨版本执行**;Prompt 与模型版本同样要灰度。 ## 思考题 1. 你的 Agent 单次 Run 的 P95 耗时是多少?据此你会把网关超时、应用超时、单次模型超时分别设成多少,为什么必须逐层收窄? 2. 如果租约 TTL 设得过短或过长,分别会出现什么故障?你如何用实测数据来确定 TTL? 3. 为什么"无界队列"在 Agent 场景里格外危险?请设计一套"有界队列 + 背压 + 降级"的方案,并说明降级终点是什么。 4. 流式断线重连时,如何保证"既不重复执行任务,也不丢失已生成内容"?请说明事件序号、服务端缓冲与客户端去重的分工。 5. 灰度发布时,为什么"按请求比例随机分流"会出事?你会如何设计"按 Run 归属版本路由"? 6. 当扩缩容指标在阈值附近来回跳导致实例抖动时,你会从哪几个方向抑制(窗口、冷却、指标平滑)?各自的代价是什么? 7. 优雅退出流程中,"把在途 Run 推到稳定快照"这一步如果超时了,你会怎么权衡"多等一会儿"与"尽快退出"?
预览
发布文章
添加摘要让读者更快了解文章内容
取消
确认发布
AI 写作助手
输入一个主题,AI 将为你生成一篇 Markdown 博客文章
AI 正在写作中...
取消
开始生成
AI 优化助手
描述你的修改需求,AI 将在原文基础上进行补充或微调
AI 正在优化中...
取消
开始优化
画布
从已有图里选
✕
图名
保存后生成 /images/excalidraw/<图名>.svg(只能用字母、数字、短横线、下划线、点)
取消
保存并插入