知序
返回
保存草稿
发布
H1
H2
H3
1
2
3
Excalidraw 图
AI 写作
AI 优化
目录
输入内容后显示目录
Markdown
# AI 应用线上排障与稳定性 > 导读:本文从"监控面板全绿,用户却在群里反馈'机器人变傻了'"这个具体痛点出发,把 AI 应用与普通 Web 服务的本质差异、七类高频线上问题的"症状 → 定位 → 处置"、供应商故障切换与降级预案、质量回归与灰度、可观测性三件套的字段设计、一次"成本飙升 + 质量下降"的实战复盘逐项讲透,最后给出踩坑清单。适合负责 LLM 应用线上稳定性的后端、SRE 与平台同学。 ## 一、先建立全局认知 ### Q:AI 应用和普通 Web 服务到底差在哪? A:结论先行——**四个本质差异:输出不确定、强依赖外部供应商、按量计费、超时形态是"流式的部分成功"。这四个差异让大量传统排障套路直接失效。** | 维度 | 普通 Web 服务 | AI 应用 | | --- | --- | --- | | 成功定义 | 状态码 + 数据结构校验通过 | 还要看"答案对不对",而"对"没有客观真值 | | 可复现性 | 同输入同输出(幂等) | 同输入可能不同输出(采样随机性) | | 依赖 | 自己的数据库、缓存、下游服务 | 强依赖外部模型供应商,状态不可控 | | 延迟 | 一个 P99 基本够用 | 要拆成"首字延迟"和"生成速度"两个指标 | | 计费 | 基本固定(机器成本) | 按量计费,一次故障可能直接变成一次巨额账单 | | 超时 | 超时就是失败,重试即可 | 流式场景下"部分成功"很常见,重试可能得到不同答案 | | 错误 | 异常栈、错误码明确 | 大量"HTTP 200 但内容错误"的静默失败 | **输出不确定**带来的最大问题不是"答案偶尔不一样",而是**"没法用重放来复现故障"**。同一个 Prompt、同一个模型,两次调用结果可能不同,导致传统"抓请求 → 本地重放 → 断点调试"的路径走不通,必须靠"全量记录每次请求的输入输出与关键上下文"来事后分析。 **按量计费**让"故障"有了新的形态:一个死循环的重试、一段意外膨胀的上下文,可能在几分钟内烧掉平时的月度预算。**成本必须和错误率一样,被当作一等 SLI(Service Level Indicator,服务级别指标)来监控。** **流式的部分成功**是最容易被忽略的一点:用户已经看到了半句答案,此时上游断开。这在传统服务里没有对应形态——它既不算完全成功,也不算完全失败,需要专门的产品与工程策略(续传、降级为一次性返回、明确告知)。 ### Q:为什么传统排障套路不够用? A:结论先行——**传统套路默认"失败会报错、错误可复现、指标能覆盖问题",而 LLM 场景里最常见的三类问题恰好都落在这些假设之外:静默错误、不可复现、指标盲区。** 三类"套路失效"的具体表现: **失效一:错误不报错。** 模型返回了 200、JSON 也合法,但内容是幻觉、答非所问、甚至串了别的用户的数据。**错误率指标毫无波动,只有用户在提问。** **失效二:问题不可复现。** "偶发答错"在本地怎么试都正常。原因是线上 Prompt 组装、检索结果、历史上下文、模型版本、采样参数中任意一项与本地不同。 **失效三:指标定义本身就不同。** | 传统指标 | LLM 场景需要的对应指标 | | --- | --- | | QPS / 错误率 | QPS / 错误率 / **静默错误抽检通过率** | | P99 响应时间 | **首字延迟 P95/P99** + 整体时长 + 生成速度 | | 无 | **每请求 Token 成本、每租户成本占比、缓存命中率** | | 无 | **模型版本、Prompt 版本、索引版本**(三个"版本维度") | | 无 | **追问率、转人工率、差评率**(质量代理指标) | 一句话总结:**AI 应用的可观测性,必须把"成本"和"质量"这两个传统服务里不存在的维度补进指标体系,否则你会看到"一切正常"。** ## 二、高频线上问题:症状 → 定位 → 处置 ### Q:回答变慢、甚至超时,怎么排? A:结论先行——**先把延迟拆成四段(网关/排队 → 检索/预处理 → 首字等待 → 逐字生成),再分别定位;AI 场景最忌讳只盯一个总时长。**  *图:一次 LLM 请求耗时的五个可埋点分段* ```text 一次 LLM 请求的耗时构成(建议按此分段埋点) 用户请求 │ ├─ ① 网关与鉴权 (自研,通常毫秒级) ├─ ② 检索与上下文组装 (RAG/向量库/DB,可能到百毫秒级) ├─ ③ 排队与连接 (供应商侧排队 + 建连,波动最大) ├─ ④ 首字延迟 TTFT (Time To First Token,模型开始吐字) └─ ⑤ 生成阶段 (输出长度 ÷ 生成速度,与输出长度强相关) ``` | 症状 | 定位手段 | 处置 | | --- | --- | --- | | 首字延迟整体抬高 | 看 ③④ 段;查供应商状态与自身并发;看输入 Token 是否变大 | 降输入长度、切更快的档位、增大连接池、多供应商分流 | | 总时长变长但首字正常 | 看 ⑤ 段;输出长度是否变长、生成速度是否下降 | 限制最大输出、让模型更简洁、直接返回完整结果替代长文 | | 偶发超时 | 看超时阈值与耗时分布的相对关系;统计超时集中在哪一段 | 超时分三层设置(见下)| | 局部用户慢 | 按租户/账号归因;是否触发了大模型路由 | 检查路由规则是否被改 | **超时必须分三层设置,只设一个总超时是最常见的错误:** - **连接超时**:只覆盖建连,设短,快速暴露网络问题。 - **首字超时(TTFT 超时)**:从发出请求到收到第一个 Token,这是 LLM 特有的关键超时。 - **总超时**:覆盖整段生成,按业务可接受时长设置。 ```java // 三层超时配置示意(具体 API 名与默认值需结合所依赖的 HTTP 客户端版本确认) RequestConfig cfg = RequestConfig.custom() .setConnectTimeout(2_000) // 建连:短,快速失败 .setResponseTimeout(30_000) // 首字/响应:按 P99 设定并留余量 .setConnectionRequestTimeout(1_000) // 从连接池取连接的等待上限 .build(); // 生成阶段用流式读取 + 应用层空闲超时控制(多久没有新 Token 则判定卡死) ``` 关键点:**不要用"总超时"去兜首字问题**。首字慢而生成快,和首字快而生成慢,是两种完全不同的故障,处置方式也不同。边界:首字超时设得过短会把"慢但正确"的请求误杀,导致无谓重试与成本翻倍,**阈值必须基于自身耗时分布确定**。 ### Q:遇到 429 限流怎么办? A:结论先行——**429 是供应商给出的背压信号,正确处置是"客户端令牌桶 + 排队 + 带抖动的指数退避 + 多渠道分流",错误处置是"立即重试"——后者会把限流变成雪崩。** 第一步是分清限流维度,不同维度对应不同解法: | 限流维度 | 含义 | 应对 | | --- | --- | --- | | RPM | 每分钟请求数 | 降请求数:合并请求、缓存命中、非核心流量延后 | | TPM | 每分钟 Token 数 | 降单次长度:裁剪上下文、限制输出 | | 并发连接数 | 同时在途请求数 | 客户端限并发、加队列 | | 日/月配额 | 累计用量上限 | 预算告警 + 提前分流到备用供应商 | 第二步是改造客户端: ```python # 带抖动的指数退避重试(示意) # 解决的问题:把"立即重试"的同步风暴,改成"错峰重试"的平滑流量 import random, time from typing import Callable, TypeVar T = TypeVar("T") def call_with_backoff(fn: Callable[[], T], max_attempts: int = 3, base_delay: float = 0.5, max_delay: float = 8.0) -> T: last = None for attempt in range(max_attempts): try: return fn() except RateLimited as e: # 429 last = e # 优先尊重服务端给出的 Retry-After delay = getattr(e, "retry_after", None) if delay is None: delay = min(max_delay, base_delay * (2 ** attempt)) delay = delay * (0.5 + random.random()) # 抖动,避免同时重试 time.sleep(delay) except (Timeout, ServerError) as e: # 超时/5xx:次数更少 last = e time.sleep(min(max_delay, base_delay * (2 ** attempt))) raise last ``` 关键点与边界: - **必须限制总重试次数与总重试时间预算**,否则重试会把限流放大成持续限流。 - **必须加抖动**,否则所有客户端会在同一时刻一起重试,形成"重试风暴"。 - **不要重试所有错误**:参数错误、内容审核拒绝这类"重试也不会好"的错误要直接失败。 - **重试预算要全局共享**:单机重试上限 × 实例数 = 真实重试量,后者才是供应商看到的。 ### Q:供应商故障导致大面积超时/雪崩,怎么止住? A:结论先行——**先止雪崩(熔断 + 舱壁 + 快速失败),再谈降级;因为雪崩的成因从来不是"供应商慢",而是"我们把自己耗死了"——线程、连接、队列全被卡住的请求占满。** 雪崩链路:  *图:供应商变慢引发的故障扩散链* ```text 供应商变慢 └─▶ 请求平均耗时上升,占用线程/连接时间变长 └─▶ 连接池/线程池耗尽 └─▶ 不依赖该供应商的请求也开始排队 └─▶ 全站不可用(故障扩散) ``` 三件套的作用: | 手段 | 解决什么 | 关键参数 | | --- | --- | --- | | 熔断(Circuit Breaker) | 供应商持续失败时"快速失败",不再消耗资源 | 失败率阈值、最小请求数、打开时长、半开探测 | | 舱壁(Bulkhead) | 不同功能/不同供应商用独立线程池,互不牵连 | 每舱池大小、队列长度、拒绝策略 | | 降级(Fallback) | 拿不到模型结果时,给用户一个"可接受的结果" | 降级分级、兜底话术 | ```yaml # 熔断与舱壁配置示意(参数需结合所用容错库版本与压测结果确认) resilience: instances: llm-primary: circuitBreaker: slidingWindowSize: 50 minimumNumberOfCalls: 20 failureRateThreshold: 50 # 百分比,需按自身容忍度调 waitDurationInOpenState: 30s permittedCallsInHalfOpenState: 5 bulkhead: maxConcurrentCalls: 40 # 舱壁:限制对主供应商的在途请求 maxWaitDuration: 100ms # 取不到舱位就快速失败,不排队 timeout: timeoutDuration: 30s ``` **关键原则:熔断的判定要用"业务失败"而不是只看 HTTP 状态码**——供应商返回 200 但内容为空/被截断,也应计入失败率。另外,**半开状态只放少量探测流量**,不要让恢复瞬间的流量再一次把它打挂。 ### Q:Token 成本突然飙升,怎么定位? A:结论先行——**先把成本拆成"量、胖、价"三个因子的乘积,逐个证伪,而不是一上来就怀疑单价或模型涨价。**  *图:成本 = 请求次数 × 单次平均 Token 数 × 单价* ```text 成本 ≈ 请求次数 × 单次平均 Token 数 × 单价 └─ 量 ─┘ └──── 胖 ────┘ └─ 价 ─┘ ``` | 因子 | 常见异常 | 定位方式 | | --- | --- | --- | | 量(请求次数) | 前端轮询或自动补全被误触发、失败重试、爬虫刷接口 | 按接口/来源/UA 拆分次数;看重试率 | | 胖(单次 Token) | 多轮上下文无界增长、RAG 召回 TopN 变大、System Prompt 变长、缓存失效导致全量重算 | 看平均 inputTokens 的时间序列;对比缓存命中率曲线 | | 价(单价) | 路由规则被改导致请求打到更贵的档位、上下文超窗后回退到更长上下文模型 | 按 modelId 拆分成本占比 | 一个非常实用的定位手法:**把"平均输入 Token 数"和"缓存命中率"放在同一张图上。** 如果成本上涨的同时命中率下降,几乎可以直接锁定"某次改动破坏了缓存前缀"(详见第四节实战复盘)。 处置手段:按租户/场景设预算与限流、强制上下文预算、修正路由、修复缓存前缀、对异常来源做流量封禁或降级。 ### Q:回答质量下降(幻觉 / 答非所问 / 串号),怎么排? A:结论先行——**质量下降的第一嫌疑永远是"变更",而不是"模型变笨";按变更面(模型版本 → Prompt → 检索 → 缓存 → 路由)顺序排查,效率最高。其中"串号"(A 用户看到 B 用户的内容)必须按最高级事故处理,先止血再定位。** 排查顺序与检查项: | 排查面 | 检查项 | | --- | --- | | 模型版本 | 供应商是否静默升级了模型;自己的路由是否切了档位 | | Prompt 版本 | 最近是否改了 System Prompt、示例、工具定义 | | 检索(RAG) | 索引是否重建过;切分策略是否变;召回片段是否变脏/重复 | | 缓存 | 是否命中了过时或错误的缓存答案;语义缓存阈值是否被放松 | | 路由 | 是否把复杂问题路由到了小模型;升级判定是否失灵 | | 参数 | 温度等采样参数是否被改动 | **串号(跨用户/跨租户)专项排查**:这类问题必查三个位置—— 1. **会话上下文是否串了**(会话 ID 是否被复用、缓存键是否漏了 userId); 2. **语义缓存分区键是否漏了租户/权限域**(最常见根因); 3. **RAG 检索是否在取回后才做权限过滤**(先取回再过滤,一旦过滤逻辑有 bug 就会泄露)。 处置动作:**先关闭对应缓存或切回上一版 Prompt 止血,再定位根因**。质量类故障"止血优先于根因"是铁律。 ### Q:上下文超窗(超出模型上下文上限)怎么处理? A:结论先行——**超窗有两种表现:供应商直接报错(错误可见,好排),或 SDK/网关悄悄截断后继续调用(错误不可见,答非所问,难排)。必须把"预算控制"做在调用的上游。** | 症状 | 定位 | 处置 | | --- | --- | --- | | 报错提示上下文超限 | 计算组装后的总 Token;查最大输入上限与输出预留 | 裁剪历史、减少召回、拆分任务 | | 不报错但答非所问 | 检查是否有自动截断逻辑;对比截断前后内容 | 显式截断 + 记录截断率指标 + 告警 | | 偶发超窗 | 长输入场景(长文档、长对话) | 按业务设输入预算,超预算先摘要再调用 | **预算公式(定性):可用输入预算 = 模型最大上下文 − 预留输出长度 − 安全余量。** 其中各项具体数值**需结合所用模型版本确认**,不要硬编码在代码里。**关键工程要求:截断行为必须可观测**——记录"本次是否发生截断、截掉了什么、截掉多少",否则超窗会长期伪装成"模型质量差"。 ### Q:流式输出中途断了怎么办? A:结论先行——**先分清断在哪一段:上游供应商断、自己的超时/网关断、还是前端连接断。三种断法的处置完全不同,但共同解法是"让用户看到一个完整可理解的结局",而不是半句话。** | 断点 | 定位 | 处置 | | --- | --- | --- | | 上游断流 | 日志中出现连接被对端关闭/读取超时 | 已输出部分保留并注明中断;或重试后拼接(注意去重) | | 自身超时断流 | 空闲超时或总超时触发 | 放宽空闲超时;对已产生内容做"续写" | | 前端/中间网关断 | 网关缓冲、代理超时、HTTP/2 重置 | 关掉中间层缓冲、设置更长的代理超时 | | 弱网/移动端断 | 客户端断开 | 服务端完成生成后落库,前端可续拉("断线续看") | 工程要点:**流式接口要有"空闲超时"(多久没有新 Token 视为卡死),而不是只有一个总超时**;**已生成内容要落库或落缓存**,让前端断线后可以续拉;**不要把"中断"包装成正常结束**,用户必须能区分"答完了"和"答到一半断了"。 ## 三、稳定性预案:供应商切换、降级与灰度 ### Q:多供应商网关要解决什么? A:结论先行——**它解决三件事:统一协议(换供应商不改业务代码)、统一治理(限流/熔断/超时/埋点一处配置)、统一降级(故障时自动走备用或兜底)。**  *图:LLM 网关的五项能力与下游分流* ```text 业务服务 │ ▼ [ LLM 网关 ] ← 统一协议 / 统一鉴权 / 统一埋点 ├─ 路由策略:按场景/租户/成本选择供应商与模型 ├─ 健康检查:定期探测各供应商可用性与延迟 ├─ 熔断隔离:每个供应商独立熔断与舱壁 ├─ 失败切换:主 → 备 → 降级模型 → 兜底话术 └─ 成本与用量:实时统计,超预算自动分流 │ ├──▶ 供应商 A(主) ├──▶ 供应商 B(备) └──▶ 自建/小模型(兜底) ``` 设计要点: 1. **切换要区分"故障切换"与"能力切换"**:故障切换(对用户透明,尽量保效果);能力切换(明确降级,可能要告知用户)。 2. **切换后要防止"备供应商被打挂"**:主挂时全部流量涌向备用,必须配合队列与限流,否则只是一次故障换了个地方。 3. **协议转换要保持语义等价**:不同供应商对参数(如温度范围、停止词、工具调用格式)的语义不完全一致,**需逐个对照确认**,不能简单透传。 4. **网关自身不能成为新瓶颈**:网关必须无状态可水平扩展,且对上游依赖(配置中心等)做本地缓存。 ### Q:降级应该分几级? A:结论先行——**至少分四级,且必须为每一级明确"触发条件 + 用户可见行为 + 恢复条件",不能只写一句"故障时降级"。** | 级别 | 触发条件 | 用户可见行为 | 恢复条件 | | --- | --- | --- | --- | | L0 正常 | — | 全功能大模型 | — | | L1 换模型 | 主供应商延迟/失败率高 | 用户无感(结果可能略逊) | 主供应商恢复且稳定一段时间 | | L2 换供应商 | 主供应商熔断打开 | 用户无感或提示"回答可能略慢" | 半开探测通过 | | L3 关能力 | 全部供应商不可用 | 关闭 RAG 生成,**降级为普通关键词检索结果页** | 任一供应商可用 | | L4 兜底话术 | 完全不可用 | 明确提示"当前回答服务繁忙,请稍后重试",**并给出可用的替代入口** | 服务恢复 | **兜底话术的三条原则:** 1. **明确告知**,不要用一段看起来像答案的模板糊弄用户; 2. **给出可行动的替代方案**(转人工、给检索结果、给自助链接); 3. **不要在兜底路径里再调用模型**——否则兜底自己也依赖故障组件。 **降级的触发与恢复都要有"迟滞"**:恢复不能只看一次成功,否则会在故障边缘反复抖动,用户体验比一直降级更差。 ### Q:如何发现"模型升级导致的隐性退化"? A:结论先行——**靠"评测集 + 灰度 + 代理指标监控"三件套,缺一不可。评测集负责"发现问题",灰度负责"控制影响面",代理指标负责"上线后持续发现"。**  *图:质量保障流水线五级:评测集到自动回滚* ```text 质量保障流水线 [ 黄金评测集 ] ──每次模型/Prompt/检索变更必跑──▶ 通过率对比 │ │ │ 不通过 → 阻止发布 通过 ▼ ▼ [ 影子流量 ] 复制真实请求给新版本,只记录不返回 ──▶ 新旧结果对比 ▼ [ 灰度发布 ] 按租户/场景/流量比例放量 ▼ [ 在线代理指标 ] 追问率 / 转人工率 / 差评率 / 格式失败率 / 截断率 ▼ [ 自动回滚 ] 指标恶化超阈值 → 回滚到上一版本 ``` 三件套的要点: **一、评测集要分层。** - **黄金集(Golden Set)**:人工确认过标准答案的高价值样本,用于判断"能不能发"。 - **回归集**:历史故障样本,每个线上事故都补一条,用于防止"改好了 A 又坏了 B"。 - **对抗集**:越狱、注入、边界输入,用于安全与鲁棒性。 要点:**评测集必须版本化并定期更新**——模型和业务都在变,半年前的评测集可能已经失去区分度;同时**评测集不能混入线上真实敏感数据**。 **二、打分方式要组合。** - **规则判定**:格式是否合法、是否包含必含字段、是否命中禁词(快、便宜、可解释)。 - **模型裁判(LLM-as-a-Judge)**:用一个独立模型对答案打分(要固定裁判模型版本与评分 Prompt,否则裁判本身漂移)。 - **人工抽检**:用于校准前两者的准确性,以及处理高风险场景。 **三、灰度要能"按维度切"。** 按租户灰度(先内部租户 → 少量客户 → 全量)、按场景灰度(先低风险场景)、按流量比例灰度。**灰度的唯一目标是"出问题时影响面可控",因此必须配套一键回滚。** ```python # 评测流水线骨架(示意):每次变更跑评测集并与基线对比 # 解决的问题:把"感觉模型变差了"变成"通过率下降了 N 个点" def run_eval(cases, target_version, baseline_version, judge, gate: float): target = [judge(c, target_version) for c in cases] base = [judge(c, baseline_version) for c in cases] regressions = [c for c, t, b in zip(cases, target, base) if b.passed and not t.passed] fixes = [c for c, t, b in zip(cases, target, base) if t.passed and not b.passed] target_pass = sum(t.passed for t in target) / len(target) base_pass = sum(b.passed for b in base) / len(base) delta = target_pass - base_pass # 门禁:整体不降 + 关键样本不能回归 blocked = (delta < -gate) or bool(regressions) return {"delta": delta, "fixes": len(fixes), "regressions": regressions, "blocked": blocked} ``` 关键点与边界:**"整体通过率不降"是不够的,必须额外要求"历史故障样本零回归"**,否则会出现"总分涨了、但你上次修的问题又坏了"。另外,模型裁判本身有偏好,需定期用人工抽检校准,**不要把它当绝对真值**。 ## 四、可观测性建设与实战复盘 ### Q:Trace / Metric / Log 各自要记什么? A:结论先行——**Trace 负责"这一条请求经历了什么",Metric 负责"整体趋势与告警",Log 负责"细节证据与复盘";三者的字段必须以 `traceId` 串起来,且必须包含"模型版本 / Prompt 版本 / Token 用量 / 首字延迟"这四个 LLM 特有字段。** 一个请求的 Trace 结构(示意):  *图:一次 LLM 请求的 trace span 层级与字段* ```text span: http.POST /chat traceId=T-abc tenantId=T1 userId=U9 sessionId=S7 ├─ span: cache.lookup type=semantic hit=false ├─ span: rag.retrieve topK=6 docs=6 indexVersion=idx-2024-11 ├─ span: prompt.build promptVersion=pv-17 inputTokens=3120 ├─ span: llm.call provider=A model=large-v3 ttftMs=820 outputTokens=430 │ firstTokenMs / totalMs / retryCount=0 / cachedTokens=2400 └─ span: post.check formatOk=true truncated=false ``` **必埋字段清单:** | 类别 | 字段 | 为什么必须有 | | --- | --- | --- | | 关联 | `traceId`、`sessionId`、`requestId` | 串联一次请求内的多次模型调用、多条消息 | | 归因 | `tenantId`、`userId`、`bizScene` | 成本与质量按租户/场景归因 | | 版本 | `modelId`、`modelVersion`、`promptVersion`、`indexVersion` | 质量退化一定是某个版本变了 | | 用量 | `inputTokens`、`outputTokens`、`cachedTokens` | 成本与缓存效果 | | 延迟 | `firstTokenMs`(TTFT)、`totalMs`、`queueMs` | LLM 延迟必须拆段 | | 缓存 | `cacheHit`、`cacheType`(exact/semantic/prefix) | 区分省钱来自哪一层 | | 稳定性 | `retryCount`、`failoverFrom`、`degradeLevel` | 重试放大与降级可观测 | | 质量 | `formatOk`、`truncated`、`blockedBySafety`、`followUp`(用户是否追问) | 静默错误的代理信号 | **Metric 与告警:** - 延迟类:TTFT P95/P99、端到端 P99、**卡死率**(生成中断)。 - 稳定性类:错误率、429 率、熔断打开次数、降级触发次数。 - 成本类:单请求平均 Token、按租户成本、缓存命中率。 - 质量类:追问率、转人工率、差评率、格式失败率、截断率。 **Log 的要点:** - **每次模型调用记录完整的输入消息与输出内容**(用于复盘),但必须脱敏。 - **结构化日志**,字段与 Trace 对齐,避免"只能 grep 全文"。 - **保留期分层**:全量原文短期保留(便于复盘),聚合指标长期保留。 ### Q:日志里的敏感数据怎么处理? A:结论先行——**原则是"默认不记录原文,必须记录时先脱敏再落盘",因为 LLM 日志的泄露面比普通业务日志更大:Prompt 里可能包含用户隐私、企业内部文档、甚至其他用户的数据。** | 风险点 | 处置 | | --- | --- | | Prompt 里含用户隐私(手机号、身份证、地址) | 落盘前做正则/词典脱敏,或只记录哈希与长度 | | RAG 召回片段含内部机密文档 | 只记文档 ID 与片段哈希,不记原文 | | 模型输出含他人数据(串号) | 输出做租户归属校验,异常直接拦截并告警 | | 日志平台权限过宽 | 按租户/场景分域,最小权限访问;审计日志访问行为 | | 第三方日志托管 | 评估数据出境与合规要求,必要时本地化 | **实操建议:**做一个统一的"日志脱敏层",所有出站日志(包括 Trace 属性、异常栈、调试打印)都必须经过它。**脱敏要在"进入日志系统之前"完成,而不是在查询时过滤**——一旦原文落盘,就已经泄露了。 ### Q:这个案例是怎么定位和修复的? A:结论先行——**表面是"成本问题"和"质量问题"两件事,实际是同一个根因:一次 Prompt 结构调整破坏了提示词前缀缓存,导致全量重算(成本涨),同时供应商侧模型版本变更未被记录(质量降)。两件事在同一天发生,才让排查变得困难。** **现象(第 1 天):** | 指标 | 变化 | | --- | --- | | 日成本 | 环比翻数倍 | | 平均输入 Token | 明显上升 | | 缓存命中率 | 从较高水平骤降到接近 0 | | 首字延迟 P95 | 上升 | | 用户追问率 / 差评 | 缓慢上升 | | 错误率 | 无变化(指标全绿) | **第一步:先分"成本"和"质量"两条线并行,不混着查。** 成本线排查顺序(量 → 胖 → 价): 1. 请求量没变 → 排除"量"。 2. 平均输入 Token 上升 → 命中"胖"。 3. 再看缓存命中率骤降 → 直接锁定"应有某次改动破坏了前缀"。 **第二步:用"缓存命中率 + 平均输入 Token"双曲线锁定时间点,再对齐发布记录。** 结果发现:当天发布了一次"在 System Prompt 开头注入当前日期与用户偏好",目的是提高回答的相关性。**这行注入让前缀逐次变化,前缀缓存全部失效**——每次请求都变成全价全量计算。 **第三步:质量线排查。** 按"模型版本 → Prompt → 检索 → 缓存 → 路由"顺序查,发现: - Prompt 改动本身不是质量下降主因(A/B 小流量对比差异不显著); - **真正的原因是供应商侧模型版本发生了变更,而我们的埋点只记录了模型名、没有记录版本号**,导致无法从数据上确认。 - 而"缓存失效"让质量波动更明显:以前大量相似问题命中缓存(结果稳定),现在每次都走模型,采样随机性放大,用户感知为"时好时坏"。 **第四步:修复。** 1. **立即**把"当前日期/用户偏好"从 System Prompt 开头移到用户消息尾部(恢复前缀稳定性),缓存命中率回升。 2. **把模型版本号纳入埋点与发布门禁**,供应商变更需能被检测到并触发评测。 3. **给质量类指标(追问率/差评率)配告警**,不再依赖用户反馈。 4. **给语义缓存与前缀缓存加"命中率下降"告警**,这类问题以后能在分钟级发现。 **复盘结论(可迁移的经验):** - **成本和质量的异常要有独立的告警曲线**,否则"成本问题"会掩盖"质量问题"。 - **Prompt 的任何改动都要跑评测 + 看缓存命中率**,两者都是发布门禁。 - **模型版本必须是一个可观测字段**;只知道"模型名"等于没有版本概念。 - **缓存不只是省钱工具,它还起"稳定输出"的作用**;缓存失效会把采样随机性直接暴露给用户。 ## 五、工程实践与踩坑清单 **坑 1:日志脱敏不到位。** 调试时顺手把完整 Prompt 打进了日志,包含用户手机号与内部文档。防护:**统一脱敏层 + 代码评审检查项 + 日志扫描巡检**。 **坑 2:把敏感数据发给了不该发的供应商。** 不同场景的数据敏感级别不同,路由却只看成本。防护:**按数据分级设置可用的供应商白名单**,敏感场景禁止走外部/未签约渠道。 **坑 3:超时没有向下传递。** 业务层设了 3 秒超时,调用链下游却按 30 秒工作,白白占用资源。防护:**超时必须沿调用链传递并逐级收敛**(下游超时 < 上游剩余时间)。 **坑 4:重试放大。** SDK 重试 + 网关重试 + 业务重试三层叠加,一次用户请求变成多次模型调用,成本和限流都被放大数倍。防护:**只在一层做重试,全链路共享重试预算,并在日志里记录真实调用次数**。 **坑 5:把"重试"用在不可重试的错误上。** 内容被安全策略拒绝、参数非法,重试永远不会成功,只会烧钱。防护:**建立"可重试错误码清单",白名单之外一律不重试**。 **坑 6:评测集过期,门禁形同虚设。** 半年没更新评测集,模型已经换代,评测全部通过但线上质量在降。防护:**评测集纳入迭代计划,每次线上事故补一条回归样本**。 **坑 7:灰度没有回滚,只有"再灰度一次"。** 发现问题后手忙脚乱地调比例,影响面持续扩大。防护:**灰度必须与"一键回滚开关"成对出现**。 **坑 8:指标全绿就以为没事。** 错误率、延迟正常,但用户在骂。防护:**把"追问率、转人工率、差评率、格式失败率"等代理指标纳入监控并设告警**。 **坑 9:多实例日志时间不同步。** 排查时序问题时,各实例时间有偏差,导致 Trace 拼接错乱、根因误判。防护:**统一 NTP 时间同步,日志统一使用 UTC 或带时区的时间戳**。 **坑 10:降级路径没有被演练。** 故障真来时发现降级配置写错了、兜底话术接口也依赖故障组件。防护:**定期做故障演练(让供应商"不可用"),验证降级链路与兜底话术真实可用**。 ## 小结 - AI 应用比普通服务多了四个差异:输出不确定、强依赖外部供应商、按量计费、流式部分成功;因此必须把"成本"和"质量"补进指标体系。 - 排障第一原则是"拆段":延迟拆首字与生成,成本拆量/胖/价,质量按变更面(模型版本 → Prompt → 检索 → 缓存 → 路由)逐个证伪。 - 429 的解法是"令牌桶 + 排队 + 带抖动退避 + 分流",不是立即重试;雪崩的解法是"熔断 + 舱壁 + 降级 + 快速失败"。 - 降级至少要分四级,每一级都要明确触发条件、用户可见行为与恢复条件;兜底话术要明确告知并给出替代入口。 - 质量保障靠"评测集 + 灰度 + 代理指标"三件套,门禁不能只看整体通过率,还要看"历史故障样本零回归"。 - 可观测性的关键字段:`traceId`、`sessionId`、`modelVersion`、`promptVersion`、Token 用量、首字延迟、缓存命中、重试与降级等级。 - 所有阈值、超时、熔断参数都必须来自自己的耗时分布与压测结果;**不要抄数字,也不要硬编码默认值**。 ## 思考题 1. 请为你当前的 LLM 链路画出"耗时四段"埋点方案:每段的起止点、依赖的埋点位置、以及各自的告警阈值如何确定? 2. 如果要设计一个"成本飙升"的自动定位工具,你会采集哪些指标、如何自动区分"量涨/单次变胖/单价变化"? 3. 你的降级链一共有几级?请逐级写出触发条件、用户可见行为与恢复条件,并指出哪一级最可能在真实故障中失效。 4. "HTTP 200 但答案是错的"这类静默错误,如何用可自动化的代理指标去捕捉?请给出至少三个可落地的指标及其计算方式。 5. 模型版本、Prompt 版本、索引版本三者中,哪一个最容易在你的系统中"失联"(改动了但没被记录)?你会如何把它变成发布门禁的一部分? 6. 假设主供应商与备用供应商同时不可用,你的 L4 兜底路径是什么?它自身是否依赖任何可能同时故障的组件?
预览
发布文章
添加摘要让读者更快了解文章内容
取消
确认发布
AI 写作助手
输入一个主题,AI 将为你生成一篇 Markdown 博客文章
AI 正在写作中...
取消
开始生成
AI 优化助手
描述你的修改需求,AI 将在原文基础上进行补充或微调
AI 正在优化中...
取消
开始优化
画布
从已有图里选
✕
图名
保存后生成 /images/excalidraw/<图名>.svg(只能用字母、数字、短横线、下划线、点)
取消
保存并插入