知序
返回
保存草稿
发布
H1
H2
H3
1
2
3
Excalidraw 图
AI 写作
AI 优化
目录
输入内容后显示目录
Markdown
# 限流、熔断、超时、重试 > 导读:本文从"一个慢请求把整个服务的线程池拖死,最后全站不可用"这个具体痛点出发,把 LLM 调用的特殊性、超时、重试、限流、熔断、降级这五件套的原理、参数取舍与组合顺序讲透,最后给出完整防护链路与工程踩坑。适合正在做 LLM 接入层稳定性建设、被"雪崩"和"账单爆炸"折腾过的后端同学。 ## 一、先建立全局认知 ### Q:为什么 LLM 调用比普通 RPC 更需要这些保护? A:结论先行——因为 LLM API 同时具备"慢、贵、不稳定、有配额"四个特性,这四个特性叠加起来,使它对传统 RPC 的稳定性问题更加敏感。 逐一说明: - **慢**:单次调用几秒到几十秒。普通接口 50ms 就超时了,LLM 得等几十秒。慢意味着线程/连接占用时间长,资源更容易被耗尽。 - **贵**:按 token 计费。重试会翻倍成本,超长上下文会拉高单次费用,"被刷"会直接变成真金白银。 - **不稳定**:偶尔超时、限流、服务端错误。上游模型的抖动比传统服务更常见。 - **有配额**:TPM(tokens per minute,每分钟 token 数)/ RPM(requests per minute,每分钟请求数)限制。超了就被上游限流甚至临时封禁。 结论:不做保护 → 一个慢请求拖垮整个服务 / 被刷爆账单 / 雪崩。 ### Q:不做保护会发生什么?请描述具体链路 A:结论先行——会形成"慢请求堆积 → 线程池耗尽 → 全链路不可用"的雪崩,同时账单会随重试和超长上下文迅速膨胀。 一条典型的雪崩链路:  *图:模型变慢引发的全站雪崩链* ```text 模型开始变慢 → 每个请求占用线程从 3 秒变成 30 秒 → 线程池并发数不变,但吞吐下降 10 倍 → 请求开始排队,队列变长 → 用户重试 / 前端轮询加剧请求量 → 队列打满,新请求被拒绝 → 依赖这个服务的其它业务也超时 → 全站不可用 ``` 关键点:LLM 服务的雪崩不是"模型坏了",而是"你的服务被慢请求拖死了"。模型可能只是慢了一点,但你的线程池、连接池、队列容量是固定的,一旦占用时间变长,吞吐立刻崩塌。 ### Q:五件套各自解决什么问题? A:结论先行——超时防卡死、重试防抖动、限流防刷爆、熔断防雪崩、降级保体验,五者职责不同、缺一不可。 | 手段 | 解决的核心问题 | 不做的后果 | |------|--------------|-----------| | 超时 | 请求无限期占用资源 | 线程池被慢请求占满 | | 重试 | 偶发抖动导致单次失败 | 用户随机遇到失败 | | 限流 | 流量突增打爆自己或上游 | 被刷爆、被上游封禁 | | 熔断 | 故障持续时不断重试放大伤害 | 雪崩、故障扩散 | | 降级 | 熔断后用户看到裸错误 | 体验崩坏、投诉 | 一句话记忆:**超时是底线,重试是补丁,限流是闸门,熔断是保险丝,降级是安全气囊。** ## 二、超时(Timeout) ### Q:为什么超时是"必须有"而不是"最好有"? A:结论先行——因为不设超时等于把资源占用时长交给对端决定,一旦对端变慢,你的线程池会被无限期占用,直到彻底耗尽。 ```java // 连接超时 + 读超时 HttpClient client = HttpClient.newBuilder() .connectTimeout(Duration.ofSeconds(5)) .build(); // 业务层总超时 CompletableFuture<String> future = callLLM(messages); String result = future.get(30, TimeUnit.SECONDS); // 最多等 30 秒 ``` 关键点解读: - **连接超时**解决"连不上"的问题,防止 TCP 握手阶段卡住(比如目标不可达)。 - **读超时**解决"连上了但不回数据"的问题,这是 LLM 场景最常见的情况——上游在处理,但迟迟不返回。 - **业务层总超时**是最后一道闸门,防止多层封装导致的实际无界等待。注意 `future.get(timeout)` 超时后**必须取消底层任务**,否则任务还在后台跑着继续烧钱。 ### Q:超时参数应该怎么设? A:结论先行——分层设置,且读超时必须给足(因为 LLM 天生慢),同时要区分同步与流式的口径。 经验值(供起点参考,**具体值需结合业务观测与上游 SLA 确认**): | 场景 | 建议量级 | 说明 | |------|---------|------| | 连接超时 | 3-5 秒 | 网络可达性问题,应快速失败 | | 同步调用读超时 | 30-60 秒 | LLM 生成慢,给足时间 | | 流式首字超时 | 10 秒 | 首字不该等太久 | | 总超时 | 60 秒 | 兜底闸门 | 取舍分析: - 超时设太短 → 本来能成功的慢请求被误杀,用户随机遇到失败。 - 超时设太长 → 故障时资源被长时间占用,雪崩风险上升。 - 正确做法是"观测驱动的调参":先统计 P99 延迟,把超时设在 P99 之上留一定余量,再根据线上失败率微调。 ### Q:超时后为什么必须"取消"底层任务? A:结论先行——因为超时只是"你不再等",不等于"任务停止了";不取消的话,任务会继续消耗上游配额和你的费用,形成"隐形泄漏"。 这在同步模式和异步模式里都要注意: - 同步:`CompletableFuture` 超时后要 `cancel`,并确保底层 HTTP 请求被中断。 - 流式:客户端断开连接时,要监听断开事件并取消上游调用(否则你在为没人看的输出付费)。 - 异步:任务级超时后,要能通知上游"我不需要结果了",或至少在回调到达时丢弃(并记录浪费)。 ## 三、重试(Retry) ### Q:哪些错误该重试,哪些不该重试? A:结论先行——**临时性、可自愈的错误才重试**;**参数/凭证/内容类错误重试也是白重试,还会放大成本**。 | 类型 | 示例 | 是否重试 | 理由 | |------|------|---------|------| | 网络抖动 | ConnectionTimeout | ✅ | 重试可能成功 | | 服务端错误 | 5xx | ✅ | 上游临时故障 | | 限流 | 429 | ✅(带退避) | 等一会再试能成功 | | 参数错误 | 400 | ❌ | 输入不对,重试无用 | | 认证失败 | 401 | ❌ | 凭证问题,重试无用 | | 内容违规 | 内容策略拦截 | ❌ | 语义性拒绝,重试无用 | 关键判断标准:**错误是否与"这次请求的内容/参数"有关**。与内容无关的(网络、上游负载)可重试;与内容有关的(参数、凭证、合规)不可重试。 ### Q:重试的实现要点是什么? A:结论先行——指数退避 + 次数上限 + 尊重上游的 `Retry-After`,三者缺一不可。 ```java @Retryable( value = {TimeoutException.class, ServerException.class}, maxAttempts = 3, backoff = @Backoff(delay = 1000, multiplier = 2) // 1s, 2s, 4s ) public String callLLM(List<Message> messages) { ... } ``` 关键点解读: - **指数退避(Exponential Backoff)**:1s → 2s → 4s。不能用"立即重试",因为上游如果正忙,立即重试只会加剧拥塞。 - **次数上限**:3 次通常够了。次数太多会让单次请求的总耗时失控,也会放大成本。 - **`Retry-After`**:429 限流响应常带这个头,告诉你要等多久。尊重它比自己拍脑袋退避更有效。 - **重试要有预算**:如果一次请求总超时是 30 秒,而重试 3 次、每次退避 4 秒,理论总耗时会远超 30 秒,必须让"重试总耗时"受总超时约束。 ### Q:为什么说"LLM 调用天然幂等"? A:结论先行——因为模型调用没有副作用:它不会扣钱失败半途(业务侧计费另算)、不会改数据库,同样输入可能得到不同输出,但不产生不可逆后果。 这个特性带来的结论: - **重试是安全的**:不会像"支付接口重试导致重复扣款"那样出事。 - **但要区分"调用幂等"和"业务幂等"**:如果重试成功后你又把结果写库、发通知,那这层就要自己做幂等,不能依赖 LLM 的幂等性。 - **重试成本要算**:每次重试都是真金白银的 token 费用,所以"可重试"不等于"随便重试"。 ## 四、限流(Rate Limiting) ### Q:限流为什么要分"用户级"和"全局"两个维度? A:结论先行——因为两者目标不同:用户级是"保护自己不被刷",全局级是"遵守上游配额不被封",只做其中一个都会出问题。 | 维度 | 保护对象 | 触发后果 | 典型阈值来源 | |------|---------|---------|-------------| | 用户级限流 | 你的服务 / 其他用户 | 拒绝该用户请求 | 业务定价、公平性 | | 全局限流 | 上游 API 配额 | 请求排队等待 | 上游 TPM/RPM | 只做用户级限流:单个用户很规矩,但用户总量一涨,你的总 QPS 就会突破上游配额,被限流甚至封禁。 只做全局限流:总配额守住了,但某个用户用脚本刷走全部配额,其他用户全部被排队饿死。 ### Q:限流的实现方式有哪些? A:结论先行——常用令牌桶/漏桶做速率控制,配合"拒绝"或"排队"两种处置策略。 ```java // 用户级限流:每用户每分钟最多 10 次 RateLimiter userLimiter = RateLimiter.create(10.0 / 60); // Guava // 全局限流:不超过模型 API 的 RPM RateLimiter globalLimiter = RateLimiter.create(500.0 / 60); // 500 RPM public String chat(String userId, String query) { if (!userLimiter.tryAcquire()) { throw new RateLimitException("请求太频繁,请稍后再试"); } globalLimiter.acquire(); // 阻塞等待全局令牌 return callLLM(query); } ``` 关键点解读: - **令牌桶允许突发**:桶里攒了令牌时,短时间内可以快速通过一批请求,这对"用户偶尔连发几条消息"的交互场景更友好。 - **用户级用 `tryAcquire`(非阻塞)**:超限立即拒绝并告知用户,不要让用户线程被挂住。 - **全局用 `acquire`(阻塞等待)**:这里是"遵守上游配额"的语义,宁可稍微等一下也不要撞配额。 - **两个都设**:用户级在前、全局级在后,先挡住恶意刷量,再削峰对齐上游配额。 注意:上面的 `userLimiter` 是按"全局单实例"写的。多实例部署时,限流器必须放在共享存储上(如 Redis),否则每个实例各限一份,实际总额度是 N 倍。**具体实现方式需结合部署形态确认。** ### Q:限流和"排队"的区别是什么,该怎么选? A:结论先行——拒绝是"快速失败保系统",排队是"延后服务保成功率";关键看业务能否接受延迟。 - **拒绝(Fail Fast)**:超限立刻返回错误/提示。优点是系统压力立刻释放,不会堆积;缺点是用户体验是"被拒"。 - **排队(Queue / Wait)**:请求等待令牌。优点是成功率更高;缺点是排队会拉长延迟,且队列本身也是内存资源,队列无上限时等于把雪崩推后。 实践建议: - 面向人的交互接口:用户级用拒绝(告诉用户"太快了"),全局用有限排队(削峰)。 - 批处理任务:可以容忍较长排队,但要设队列上限和最大等待时长。 - **任何队列都必须有界**,无界队列是最危险的配置。 ## 五、熔断(Circuit Breaker)与降级(Fallback) ### Q:熔断器的工作原理是什么? A:结论先行——连续失败达到阈值后"跳闸"(直接快速失败,不再发起真实调用),等待一段时间后放少量试探请求,成功则恢复、失败则继续熔断。  *图:熔断器 CLOSED / OPEN / HALF_OPEN 三态* ```text CLOSED(正常)→ 失败率 > 50% → OPEN(熔断,直接返回错误) ↓ 等 30 秒 HALF_OPEN(试探) ↓ 成功 → CLOSED ↓ 失败 → OPEN ``` 三态解读: - **CLOSED**:正常放行,同时统计失败率。 - **OPEN**:直接快速失败,不发起真实调用。这是熔断的核心价值——**避免对已经故障的上游持续施压**,给上游恢复的时间。 - **HALF_OPEN**:等待期过后,放少量请求试探。成功则回到 CLOSED,失败则回到 OPEN 并重新计时。 参数取舍(**具体阈值需结合业务观测确认**): - **失败率阈值**(如 50%):太低会频繁误熔断,太高则发现太晚。 - **统计窗口**:要有滑动窗口统计,避免"很久以前的一次失败"影响当前判断。 - **最小请求数**:样本太少时不应判定失败率,否则一次失败就是 100%,会误熔断。 - **等待时长**(如 30 秒):太短会频繁试探骚扰上游,太长则恢复慢。 ### Q:熔断和限流有什么区别? A:结论先行——限流是"控制流入速率"(主动防御,针对流量),熔断是"切断故障依赖"(被动反应,针对错误)。 | 维度 | 限流 | 熔断 | |------|------|------| | 触发依据 | 请求速率超过阈值 | 失败率达到阈值 | | 目的 | 保护自己不被压垮 | 避免持续冲击故障上游 | | 行为 | 拒绝或排队 | 快速失败,不发起真实调用 | | 恢复方式 | 流量下降自动恢复 | 等待期 + 半开试探 | 实践中两者配合使用:限流在前挡住过量流量,熔断在后切断坏依赖。 ### Q:降级(Fallback)该怎么做? A:结论先行——熔断后不能让用户看到裸的错误,必须给出兜底结果或明确话术。 ```java public String chat(String query) { try { return callLLM(query); // 正常路径 } catch (CircuitBreakerException e) { return fallback(query); // 降级路径 } } ``` 常见降级策略: 1. **返回缓存的答案**:如果同样/相似问题之前答过,直接返回缓存结果(质量最好,但命中率有限)。 2. **用本地小模型**:用一个更小、更可控的模型兜底(质量下降但可控,成本低)。 3. **返回固定话术**:如"系统繁忙,请稍后再试"(体验最差但最稳)。 4. **转人工**:客服场景的终极兜底。 取舍:降级策略的选择本质是"质量 vs 可用性"的权衡。建议对降级分级: - 一级降级:换备用模型(质量略降,用户无感)。 - 二级降级:返回缓存(可能过时,但可用)。 - 三级降级:固定话术 / 转人工(明确告知用户)。 ### Q:降级最容易踩的坑是什么? A:结论先行——两个坑:降级逻辑本身又把系统拖垮,以及"静默降级"导致质量问题无法归因。 - **降级链路要有界**:如果降级是"调用另一个模型",那这个调用本身也可能超时/失败,必须有独立超时且不能无限重试。否则降级就是"从一个坑跳进另一个坑"。 - **降级必须被记录**:要埋点统计降级次数、降级原因、降级后的用户行为。否则你会以为系统一切正常,直到用户反馈"最近回答变笨了"。 - **降级要能提示**:对质量敏感的降级(如缓存返回),应明确告知用户或在 UI 上做区分。 ## 六、完整防护链路与工程实践 ### Q:这些手段的执行顺序应该是什么? A:结论先行——限流在前(挡流量)、熔断其次(切依赖)、超时贯穿(控时长)、重试在调用内(补抖动)、降级在最后(保体验)。  *图:限流、熔断、超时与重试的完整链路* ```text 用户请求 → 用户级限流(防刷) → 全局限流(遵守 API 配额) → 熔断器检查(是否已熔断) → 超时控制(不等太久) → 调用 LLM → 失败?→ 重试(指数退避) → 还是失败?→ 熔断器记录失败 → 降级返回 ``` 关键点解读: - **限流在最前面**:被限流的请求根本不该占用后续资源。 - **熔断在调用前**:熔断打开时应立刻返回,连超时等待都不该付出。 - **超时包裹整个调用过程**(包括所有重试),而不是只包一次 HTTP 请求。 - **重试在调用内部**:重试发生在"熔断器记录成功/失败"之前,即多次重试整体算一次"调用结果"。 - **降级在最后**:所有防线失效后才走降级。 ### Q:为什么"重试"要放在"熔断统计"内部? A:结论先行——因为熔断应该基于"这个请求最终是成功还是失败"来判断,而不是基于"某一次尝试失败"。 如果用单次尝试失败去喂熔断器,会出现"重试第二次成功了,但熔断器已经记了一次失败"的误判,加速不必要的熔断。正确语义是: - 一次业务请求 = N 次尝试(重试)。 - 只要最终成功,就算成功。 - 只有"重试全部耗尽仍失败"才计入熔断失败。 这样熔断器统计的是"真实用户体验到的失败率",才有意义。 ### Q:五件套的参数应该怎么调优? A:结论先行——靠观测数据驱动,而不是凭感觉设,且要保证各参数之间的自洽。 自洽性检查清单: - 单次读超时 × 最大重试次数 ≈ 不能远超业务总超时(否则外层超时还没到、内层已经放弃了)。 - 熔断恢复等待时间 > 上游典型故障恢复时间(否则半开试探会持续失败)。 - 限流阈值 < 上游配额(给突发留余量)。 - 降级链路的超时 < 主链路超时(否则降级比主链路还慢,毫无意义)。 观测指标:成功率、P50/P99 延迟、超时率、重试率、限流拒绝率、熔断打开次数、降级触发次数、token 消耗。这组指标是调参的唯一依据。 ### Q:多实例部署下有哪些坑? A:结论先行——限流、熔断、重试的状态如果不共享,实际效果会成倍偏离预期。 - **限流**:本地令牌桶在 N 个实例上各限一份,总阈值变成 N 倍。要用 Redis 等共享存储做集中式限流,或按"N 分之一"分配额度(但会在实例不均衡时失真)。 - **熔断**:本地熔断器只能感知"本实例看到的失败"。如果上游故障是"部分错误",不同实例可能一个熔断一个没熔断,表现不一致。可以接受(各自保护自己),但要清楚这不是全局视图。 - **重试**:如果调用链路是多级的(A→B→C→模型),每级都重试会导致"重试放大"(3×3×3=27 次)。必须在链路上明确"只在一层重试"或限制总重试次数。 ### Q:怎么避免"重试风暴"? A:结论先行——限制重试层级、加入随机抖动、并给重试设置全局预算。 - **单层重试原则**:明确约定只有接入层重试,下游不允许再重试。 - **抖动(Jitter)**:在指数退避基础上加随机量(如 1s ± 500ms),避免所有失败请求在同一时刻同时重试,形成脉冲。 - **重试预算**:为一次业务请求设定总重试次数上限,跨层共享。 - **熔断兜底**:当失败率飙升时,熔断器会直接切断重试机会,这是防止重试风暴的最后一道闸门。 ### Q:熔断都已经打开了,还需要限流吗? A:结论先行——需要,因为两者防的是不同的事:熔断切断故障依赖,限流保护自己不被流量压垮。 - 熔断打开后虽然不再调上游,但你的服务仍在接收请求、仍在做鉴权、日志、降级处理,这些都要消耗资源。流量无限涌入时,即使"快速失败"也会被压垮。 - 熔断恢复的瞬间,如果积压的流量全部涌入,会立刻把上游再次打挂。限流能把这个"恢复冲击"控制在可承受范围。 - 所以顺序是:**限流在前削峰,熔断在后切依赖**,两者互补而非替代。 ### Q:怎么验证这套防护真的有效? A:结论先行——靠故障演练:主动注入延迟、错误、限流,观察系统是否按预期降级,而不是雪崩。 演练清单: - **注入高延迟**:验证超时是否生效、线程池是否被保护。 - **注入 5xx**:验证重试是否在有限次数内停止、熔断是否打开。 - **注入 429**:验证是否正确退避、是否尊重 `Retry-After`。 - **注入大量请求**:验证限流阈值生效、队列是否有界。 - **模拟全端点不可用**:验证降级链路是否真的能兜住。 关键点:演练必须在预发或隔离环境做,并且要观测"用户侧感知",而不只是系统指标。防护的价值在于"用户感知不到故障",而不在于"系统指标好看"。 ### Q:这些配置应该放在哪一层? A:结论先行——放在"离被保护资源最近、且能被统一管理"的那一层,通常是模型接入层或网关,而不是散落在业务代码里。 理由: - 放在业务代码里会导致每个业务各配一套,参数不一致、无法统一观测、也无法统一演进。 - 放在接入层可以统一限流(尤其是全局限流,必须集中才能准确)、统一熔断状态、统一降级策略。 - 但"用户级限流"的阈值可能因业务而异,可以采用"接入层提供能力、业务层提供配置"的分工。 ### Q:降级怎么避免"降级成灾"? A:结论先行——降级必须分级、有界、可观测、可关闭,否则降级逻辑本身会成为新的故障源。 - **分级**:优先换备用模型(质量损失最小),其次返回缓存,最后固定话术 / 转人工。 - **有界**:降级链路必须有独立超时和次数限制,不能无限重试。 - **可观测**:降级触发次数、原因、影响面必须监控,并且要有告警。 - **可关闭**:要能一键关闭降级(比如降级逻辑本身有 bug 时),回到"直接报错"。 - **避免连锁**:如果降级是调用另一个模型,要防止"主模型挂了 → 全部涌向备用 → 备用也挂了"的级联。备用端点必须有独立的容量与限流保护。 ### Q:超时、限流这些参数应该由谁定? A:结论先行——由"最了解资源边界的人"定:超时和重试由接入层根据上游 SLA 定,限流阈值由容量规划定,降级策略由业务方定。 - **超时 / 重试**:接入层最清楚上游的延迟分布,应由其基于观测数据设定。 - **限流阈值**:需要结合上下游容量(自己的并发能力 + 上游的配额),通常由架构或运维稳定性角色主导。 - **熔断阈值**:同样基于可观测数据,但要注意与业务容忍度对齐(有些业务宁可慢也不能错)。 - **降级策略**:必须由业务方参与——"降级后返回缓存"还是"降级后直接报错",这是业务决策而非技术决策。 关键原则:**技术参数靠数据定,业务参数靠业务定**,不要让任何一方单独拍板所有参数。 ### Q:为什么要给队列设上限? A:结论先行——因为无界队列只是把"立即失败"变成"延迟失败",并且会消耗大量内存,最终以更糟的方式崩溃。 链路分析: - 无界队列下,请求持续涌入 → 队列无限增长 → 内存被吃满 → 进程 OOM。 - 即使不 OOM,队尾请求的等待时间会长到远超业务超时,等它真正被处理时用户早就走了——等于做了无用功还占了资源。 - 有了上限后,超限请求会被快速拒绝,让调用方尽早知道"现在不行",从而走降级或(在重试预算内的)重试。 结论:**有界队列 + 明确的拒绝策略,比无界队列更"友好"**,因为它把不确定性变成了明确的快速失败。 ## 小结 - LLM API 的"慢、贵、不稳定、有配额"决定了它比普通 RPC 更需要保护。 - 超时是底线:必须分层设置并给足读超时;超时后必须取消底层任务,否则是隐形浪费。 - 重试只针对临时的、可自愈的错误;必须指数退避 + 次数上限 + 尊重 `Retry-After`;LLM 调用本身幂等,但业务侧幂等要自己做。 - 限流要分用户级(防刷)和全局级(守上游配额);多实例部署必须用共享存储做集中式限流。 - 熔断三态(CLOSED / OPEN / HALF_OPEN)的核心价值是"不再冲击已故障的上游";参数需结合观测确认,并注意最小请求数以免误熔断。 - 降级分级设计(换备用模型 → 缓存 → 固定话术/转人工),降级链路本身必须独立超时且有界,且必须被记录。 - 执行顺序:限流 → 熔断 → 超时 → 重试 → 降级;参数之间要自洽,多级链路要防重试放大。 ## 思考题 1. 为什么"限流"和"熔断"不能互相替代?请举一个只做限流会出问题的场景。 2. 一次业务请求重试 3 次,第二次成功了,熔断器应该记录成功还是失败?为什么? 3. 多实例部署时,本地令牌桶限流会导致什么后果?有哪两种修正思路,各自的缺陷是什么? 4. 超时之后不取消底层任务,会带来哪些具体损失?请从成本和配额两个角度说明。 5. 降级逻辑为什么必须有自己的超时?如果没有,会出现什么连锁问题? 6. 如果 A→B→C 三级调用每级都重试 3 次,最坏情况下模型会被调用多少次?怎么从架构上避免? 7. 为什么要在指数退避里加随机抖动?不加会出现什么现象?
预览
发布文章
添加摘要让读者更快了解文章内容
取消
确认发布
AI 写作助手
输入一个主题,AI 将为你生成一篇 Markdown 博客文章
AI 正在写作中...
取消
开始生成
AI 优化助手
描述你的修改需求,AI 将在原文基础上进行补充或微调
AI 正在优化中...
取消
开始优化
画布
从已有图里选
✕
图名
保存后生成 /images/excalidraw/<图名>.svg(只能用字母、数字、短横线、下划线、点)
取消
保存并插入