知序
返回
保存草稿
发布
H1
H2
H3
1
2
3
Excalidraw 图
AI 写作
AI 优化
目录
输入内容后显示目录
Markdown
# 模型推理三种模式 > 导读:本文从"用户点了发送之后盯着白屏等了十几秒,到底该不该给它加个流式输出"这个具体痛点出发,把同步调用、流式输出(SSE)、异步回调三种推理模式的工作原理、各自代价与适用边界讲透,最后给出选型方法、对比表与工程踩坑。适合正在做 LLM 接入层、纠结"延迟与复杂度怎么平衡"的开发同学。 ## 一、先建立全局认知 ### Q:为什么 LLM 调用需要区分"模式"? A:结论先行——因为 LLM 天然"慢"(几秒到几十秒),如果只用最朴素的"发请求、等结果",会同时损害用户体验和系统稳定性,所以必须衍生出不同的调用形态。 核心矛盾在于: - **模型生成是逐个 token 串行的**,一整段回答要花几秒到几十秒才能生成完。 - **用户对等待的忍耐度很低**(通常 1-2 秒没反馈就开始焦虑)。 - **服务端线程是稀缺资源**,长时间阻塞会拖垮整体吞吐。 三种模式其实就是对这对矛盾的三套解法:同步是"老实等",流式是"边生成边给",异步是"先接单后交货"。 ### Q:三种模式的核心差别是什么? A:结论先行——差别在于"结果以什么节奏交还给调用方":同步一次性给、流式连续给、异步稍后通知。 | 模式 | 结果交付节奏 | 调用方是否阻塞 | 典型延迟体验 | |------|------------|--------------|-------------| | 同步调用 | 全部生成完一次性返回 | 阻塞 | 白屏等数秒到数十秒 | | 流式输出(SSE) | 边生成边推送,逐段返回 | 不阻塞(长连接) | 几百毫秒看到首字 | | 异步回调 | 先返回任务 ID,完成后回调 | 不阻塞 | 立即响应,结果稍后到 | 这张表要这样读:三种模式解决的不是"能不能拿到结果"的问题,而是"在什么时间点、以什么粒度把结果交给用户"的问题。 ### Q:选型的核心判据是什么? A:结论先行——先看"用户是否在实时等待",再看"任务是秒级还是分钟级",最后看"能承受多少实现复杂度"。 一个简单的决策顺序:  *图:三种调用模式的选型决策树* ```text 用户实时盯着界面吗? ├─ 是 → 用流式输出(SSE) └─ 否 → 任务耗时是分钟级以上吗? ├─ 是 → 用异步回调 └─ 否 → 用同步调用 ``` 补充说明:这个决策树是"默认推荐",不是"铁律"。实际项目里经常混用——同一套系统里,前台对话走流式、后台批处理走异步、内部工具接口走同步。 ## 二、同步调用(Synchronous) ### Q:同步调用的原理是什么? A:结论先行——发请求后一直阻塞等待,直到模型把整段回答生成完,再一次性把结果返回给调用方。 ```java // 伪代码 Response response = llmClient.chat(messages); // 阻塞等待 String answer = response.getContent(); // 拿到完整回答 ``` 关键点:在这段代码执行期间,调用线程被完全占用,什么都做不了。整段回答在服务端生成完毕后,才作为一次 HTTP 响应体返回。 ### Q:同步调用的优缺点分别是什么? A:结论先行——优点是简单直观、结果完整;缺点是等待时间长、用户体验差、超时风险高。 | 维度 | 表现 | |------|------| | 实现复杂度 | 最低,一次普通 HTTP 调用 | | 用户体验 | 差,界面白屏等待 | | 超时风险 | 高,模型慢时容易触发网关/客户端超时 | | 错误处理 | 简单,一次请求要么成功要么失败 | | 资源占用 | 线程被长时间阻塞 | 深入一点看"超时风险":LLM 生成时间波动很大,同一 prompt 有时 3 秒、有时 15 秒。如果你把 HTTP 读超时设成 10 秒,就会出现"部分请求间歇性失败"的诡异现象——不是模型坏了,是超时卡在了生成中间。所以同步模式下的超时值必须给足(通常 30-60 秒,具体以实际观测为准)。 ### Q:同步调用适合什么场景?为什么它还没有被淘汰? A:结论先行——适合后台任务、内部工具、以及对延迟不敏感的场景;它没被淘汰是因为"简单"本身就是巨大优势。 具体适用: - **后台批处理**:离线跑一批分类/摘要任务,没人在意单条慢几秒。 - **内部工具接口**:运维脚本、数据清洗流水线,追求的是实现简单、结果完整。 - **需要完整结果才能继续的逻辑**:例如"先让模型输出 JSON,再解析 JSON 做下一步",这种场景本来就无法从流式里获益(JSON 只有完整才可解析)。 不可替代的原因:同步模式没有长连接管理、没有回调幂等、没有状态机,出错时排查链路最短。**在不需要流式的场景强行上流式,是典型的过度设计。** ### Q:同步模式最常见的坑是什么? A:结论先行——线程池被慢请求占满,导致整个服务失去响应。 典型链路:一个请求进来占一个线程 → 阻塞 30 秒等模型 → 并发一高,线程池队列打满 → 后续所有请求排队甚至被拒 → 表现为"整个服务卡死",而实际上模型服务本身是正常的。 防御手段: - 严格设置超时,且连接超时与读超时要分开设(连接 3-5 秒,读 30-60 秒)。 - 给 LLM 调用单独隔离一个线程池,不要和业务线程池混用。 - 配合限流和熔断,防止故障传导(这部分思路与"限流、熔断、超时、重试"一致)。 ## 三、流式输出(SSE) ### Q:流式输出是怎么工作的? A:结论先行——模型每生成一个 token(或一小段),服务端就立刻通过长连接推给前端,前端逐段追加显示,从而让用户"实时看到打字过程"。 服务端典型实现(以 Java 的 SseEmitter 为例): ```java // Server-Sent Events SseEmitter emitter = new SseEmitter(); llmClient.chatStream(messages, token -> { emitter.send(SseEmitter.event().data(token)); // 每生成一个 token 就推 }); emitter.complete(); ``` 关键点解读: - `chatStream` 是一个带回调的接口,模型每产出一段内容就触发一次回调。 - 回调里通过 `emitter.send(...)` 把这段内容推给浏览器,是"推"而不是"等"。 - 生成结束后必须调用 `emitter.complete()` 关闭连接,否则连接会一直挂着直到超时。 前端相应实现: ```javascript const source = new EventSource('/api/chat/stream'); source.onmessage = (event) => { document.getElementById('answer').innerText += event.data; }; ``` 关键点:`EventSource` 是浏览器原生的 SSE 客户端,收到消息就追加到 DOM,实现极简。注意 `innerText += ` 这种拼接方式在长文本下会有性能问题,实际产品通常做节流或改用更高效的渲染方式。 ### Q:SSE 和 WebSocket 该选哪个? A:结论先行——LLM 流式场景默认选 SSE,因为它是"服务端单向推送",语义刚好匹配,且基于普通 HTTP、实现和运维都更简单。 | 维度 | SSE | WebSocket | |------|-----|-----------| | 通信方向 | 服务端 → 客户端(单工) | 双向 | | 协议基础 | HTTP | 独立协议,需升级握手 | | 实现复杂度 | 低(浏览器原生 EventSource) | 中高 | | 自动重连 | 原生支持 | 需自行实现 | | 适用场景 | 流式生成、进度推送 | 需要双向实时交互 | 选型理由:LLM 生成内容是典型的"服务端不停说、客户端只听",用不到双向通信能力。用 SSE 能少掉握手、心跳、协议升级等一堆事情。但如果你同一个页面还需要双向实时(比如协同编辑、实时语音),那 WebSocket 更合适,不必为了统一而硬撑。 补充注意(**需结合部署环境确认**):SSE 基于长连接,反向代理(如 Nginx)默认可能开启缓冲,导致"数据攒够了才一次性下发",看起来就不流式了。上线前要确认代理层的缓冲配置。 ### Q:流式模式的核心收益是什么? A:结论先行——**首字延迟(TTFT)极低**,几百毫秒就能看到第一个字,用户感知的"响应速度"大幅提升,即使总耗时没变。 这是流式的精髓:它没有让模型变快,只是把"等待"变成了"可见的进展"。总生成时间可能还是 10 秒,但用户从第 0.5 秒起就在读内容,心理上完全不焦虑。 适用判断: - 面向用户的对话界面:必选流式。 - 需要用户"边看边判断要不要打断"的场景:流式是刚需(否则用户只能等完才知道答错了)。 - 后台任务:不需要,流式只增加复杂度。 ### Q:流式模式的工程难点在哪? A:结论先行——难点不在"推",而在"中断与错误处理":连接断了怎么办、生成到一半失败了怎么办、结果只推了一半怎么算。 常见问题清单: - **半截结果**:模型生成到一半网络断了,前端已经显示了一半内容。要不要保留?通常保留但标记"生成中断",并允许重试。 - **错误发生时机**:因为 HTTP 状态码在流开始时就已经发出(200),生成中途出错无法再改状态码,只能通过"流内特殊事件"来表达错误,前端必须能识别。 - **超时口径变化**:流式下"读超时"语义不适用(一直在读),需要改成"首字超时 + 整体空闲超时"。 - **客户端断开**:用户关掉页面后,服务端是否要立即停止调用模型?如果不停止,就是在为没人看的输出付费。需要监听连接关闭事件并取消上游调用。 - **背压**:模型生成快于网络下发时,需要缓冲或丢弃策略。 ### Q:流式模式对前后端契约有什么额外要求? A:结论先行——必须定义一套"流内协议",明确区分正常内容块、结束标记、错误事件,否则前端无法可靠解析。 一个可用的设计思路(示意,非特定产品协议): ```text event: delta → 增量内容 event: done → 生成结束,可附带 token 统计 event: error → 生成失败,附带错误码 ``` 理由:SSE 的 `event:` 字段天然支持事件类型,用它区分语义比"靠内容猜"可靠得多。前端在 `done` 之前不应认为回答已完成,在 `error` 时应回退到降级话术。 ## 四、异步回调(Asynchronous Callback) ### Q:异步回调的原理是什么? A:结论先行——提交任务后立即返回一个任务 ID,模型在后台完成后再回调你提供的接口,调用方全程不阻塞。 ```java // 提交 String taskId = llmClient.submitAsync(messages, callbackUrl); // 立即返回 taskId 给前端 // 回调接口(模型完成后调你) @PostMapping("/callback") public void onComplete(@RequestBody CallbackResult result) { String taskId = result.getTaskId(); String answer = result.getContent(); // 通知前端(WebSocket / 轮询) } ``` 关键点解读: - `submitAsync` 只负责"接单",立刻返回 taskId,请求响应时间极短。 - 真正的结果通过 `callbackUrl` 异步送达,你的服务需要一个公开可访问的回调端点。 - 回调到达后,需要把结果与 taskId 关联,再想办法通知真正的前端(WebSocket 推送或前端轮询)。 - 注意:这意味着"结果通知前端"要另做一层,异步模式并没有自动解决"用户怎么拿到结果"。 ### Q:异步回调适合什么场景? A:结论先行——适合耗时几分钟级的批量处理、长文档分析、离线任务,这些场景用户不需要实时等待,但需要可靠地拿到结果。 典型例子: - 批量知识库问答评测(一次提交上百个问题,等全部跑完再出报告)。 - 长文档整篇分析(生成成本高、耗时长)。 - 定时任务(夜间跑数据标注、内容审核预筛)。 为什么这些场景不适合流式?因为流式的价值是"让等待可见",而这些场景根本没有"人在等"——用户提交后就走了,回来时只关心"跑完了没、结果在哪"。 ### Q:异步回调的实现复杂度体现在哪? A:结论先行——体现在状态管理和可靠性上:必须处理回调失败、超时、重复回调,以及"任务状态"的持久化。 必须解决的问题: - **任务状态机**:任务要有明确状态(已提交/处理中/成功/失败/超时),并持久化。否则服务重启后无法知道哪些任务还没回来。 - **回调失败**:回调接口可能因为网络或对方服务问题收不到。需要超时兜底——超过一定时间没收到回调,主动查询或标记失败。 - **重复回调**:上游可能重试,导致同一 taskId 被回调多次。回调处理必须**幂等**,通常用"状态已是终态则直接忽略"来实现。 - **回调来源校验**:回调接口是公开入口,必须做鉴权/签名校验,防止伪造结果。 - **结果通知**:异步模式只把结果拿到服务端,还需要通知前端,通常配合 WebSocket 或轮询。 ### Q:异步回调模式下"幂等"为什么是必须的? A:结论先行——因为回调是外部系统发起的、可能重复投递的触发,如果处理不幂等,会重复扣费、重复发消息、重复写库。 实现要点(示意): ```java public void onComplete(CallbackResult result) { String taskId = result.getTaskId(); // 1. 先查任务当前状态 Task task = taskRepo.findById(taskId); if (task == null) return; // 未知任务,丢弃 if (task.isTerminal()) return; // 已是终态,幂等返回 // 2. 状态流转(建议用带条件的更新,避免并发重复处理) boolean updated = taskRepo.markDone(taskId, result.getContent()); if (!updated) return; // 竞态下已被人处理 // 3. 触发后续动作(通知前端 / 写审计) notifyFrontend(taskId, result.getContent()); } ``` 关键点:**用"状态检查 + 带条件的原子更新"来保证幂等**,而不是靠"调用方保证不重复"。永远假设外部会重复。 ## 五、模式对比与工程实践 ### Q:三种模式的完整对比是怎样的? A:结论先行——见下表,核心是"体验 / 复杂度 / 适用场景"三者的权衡。 | 模式 | 延迟体验 | 实现复杂度 | 适用场景 | 主要风险 | |------|---------|-----------|---------|---------| | 同步 | 差(白屏等) | 低 | 后台任务、内部工具 | 线程池被占满 | | 流式 SSE | 好(实时) | 中 | 用户对话界面 | 半截结果、连接管理 | | 异步回调 | 无感知 | 高 | 批量/长任务 | 回调丢失/重复、状态管理 | ### Q:实际项目里怎么组合使用? A:结论先行——按"面向用户 / 面向后台"分流,前台流式、后台异步、内部同步,共用同一套底层模型客户端。 一个常见的分层:  *图:三种调用模式共用同一个模型客户端* ```text 前端对话 → SSE 流式 → 模型客户端 批量任务调度 → 异步 + 回调 → 模型客户端(共用) 运维/内部脚本 → 同步调用 → 模型客户端(共用) ``` 为什么能共用底层客户端?因为三种模式的差异主要在"结果交付层",底层都只是"把 messages 发给模型、拿回内容",差异只是回调用同步阻塞、流式回调、还是提交任务。把差异收敛在接入层,业务层可以统一。 ### Q:从同步切到流式,最容易忽略什么? A:结论先行——最容易忽略"取消语义":用户关掉页面后,必须能取消正在进行的模型调用,否则你在为无人观看的输出付费。 具体做法: - 服务端监听 SSE 连接断开事件,断开时立刻取消上游模型请求。 - 对已经产生的部分输出,决定是保留进历史还是丢弃——通常保留但需标记,避免下一轮上下文里出现半句话导致模型困惑。 - 如果计费是按输出 token 计,取消越早省得越多,这个收益在长回答场景很可观。 ### Q:流式模式下,历史会话该怎么存? A:结论先行——建议在流结束后再落一条完整的助手消息,而不是边推边写库。 原因: - 边推边写会产生大量小写入,且难以区分"这一轮结束没结束"。 - 流可能中断,如果写入逻辑依赖"推完才写",中断时会丢失整轮;如果每段都写,又会产生碎片。 - 更稳的做法:流式过程中在内存/Redis 累积完整内容,收到结束标记后一次性写入,并把该轮标记为完成。 ### Q:超时参数在三种模式下有什么不同? A:结论先行——同步用"读超时",流式用"首字超时 + 空闲超时",异步用"任务级超时 + 回调等待超时"。 | 模式 | 超时维度 | 说明 | |------|---------|------| | 同步 | 连接超时 + 读超时 | 读超时要给足(模型慢) | | 流式 | 首字超时(如 10 秒)+ 空闲超时 | 关注"多久没新内容",而非总时长 | | 异步 | 任务总时长 + 回调等待时长 | 超时后主动查询或标记失败 | 常见误区:把同步的"读超时 60 秒"直接搬到流式,结果长回答被误杀——因为流式的总时长本来就可能超过 60 秒,正确做法是看"两次数据之间的间隔"。 ### Q:流式生成到一半,用户改了问题,该怎么处理? A:结论先行——应先取消当前生成,再按规则处理"被中断的半截回答",然后用新问题发起新一轮。 要点: - **取消上游**:先取消模型调用,避免继续计费(流式场景的取消收益最直接)。 - **半截内容的处理**:建议丢弃、不写入历史。因为半句话进历史会让下一轮模型困惑;如果确实要保留,必须明确标记"未完成"。 - **状态一致性**:前端要清空已渲染的半截内容,否则用户看到"旧答案 + 新答案"混在一起。 - **并发保护**:取消与新请求之间可能产生竞态,要保证旧流的回调不会污染新流的输出。常用做法是给每次生成分配一个"流 ID",回调时校验 ID 是否仍是当前流。 ### Q:三种模式对代理层/网关层有什么不同要求? A:结论先行——同步和异步是普通请求,配置相对简单;流式是长连接,对缓冲、超时、连接数、重试都有特殊要求。 - **缓冲**:反向代理可能默认开启响应缓冲,把流式数据攒起来一次性下发,导致"假流式"。上线前必须为流式接口确认并调整缓冲行为。 - **超时**:代理层的空闲超时要大于"两次数据块之间的正常间隔",否则长回答会被中途切断。 - **连接数**:流式连接生命周期长,同等 QPS 下并发连接数远高于普通请求,要单独评估文件描述符与内存水位。 - **重试**:代理层的自动重试对流式接口是危险的——可能在流已经开始后再次发起请求,导致重复生成与重复计费。流式接口通常应显式禁用代理层重试。 ### Q:流式模式下怎么做内容审核? A:结论先行——用"分块累积 + 增量审核 + 超限立即截断"的方式;它比"整段生成完再审核"更及时,但也更复杂。 要点: - **增量审核**:按句或按块累积到一定长度就送审核,命中违规立刻终止生成并替换输出。 - **滑动窗口**:审核要带前后文窗口,因为单块内容可能看不出问题,连起来才构成违规。 - **已发送内容无法撤回**:如果前几块已经被推送到前端,后续块才违规,你只能"停止并追加提示",做不到"让用户忘掉已看到的内容"。这是流式审核固有的边界。 - **先审后发 vs 边生成边审**:先审后发(生成完再审核再一次性下发)会破坏流式体验;边生成边审存在漏审窗口。要按业务风险等级选择,高风险场景宁可牺牲流式体验。 ### Q:异步回调模式下,用户怎么拿到结果? A:结论先行——回调只把结果送达你的服务端,前端还需要另一条通道,通常是 WebSocket 推送或轮询。 常见做法: - **WebSocket**:回调到达后,服务端主动推给前端。体验最好,但需要维护长连接。 - **轮询**:前端定时查询"任务状态",完成后拉取结果。实现最简单,但有延迟,且会给服务端带来额外请求量。 - **混合**:优先 WebSocket,连接不可用时降级为轮询。 关键提醒:**"异步回调"本身并不解决"用户怎么看到结果"这个问题**,它只解决"调用方不被阻塞"。把这一点想清楚,架构选型时才不会漏掉最后一段通知链路。 ### Q:什么情况下应该用 WebSocket 而不是 SSE? A:结论先行——当同一条连接上需要"客户端也主动发消息"时用 WebSocket,否则 SSE 更简单。 典型需要 WebSocket 的场景: - **实时语音 / 多模态双向交互**:双方都在持续发数据。 - **协同编辑**:客户端要频繁上报光标位置、编辑操作。 - **需要在流式过程中频繁插话**:例如用户可以在生成过程中不断补充约束。 SSE 的局限:它本质是"服务端单向推送"。如果客户端要发消息,得另开一个 HTTP 请求。当"发消息"很频繁时,这种模式会很别扭,此时 WebSocket 更合适。 ### Q:怎么衡量"流式体验"到底有没有变好? A:结论先行——用"首字延迟(TTFT)"和"平均输出速度"两个指标,而不是用"总耗时"。 - **首字延迟(Time To First Token,TTFT)**:从发请求到用户看到第一个字的时间,这是流式体验的核心指标。 - **输出速度**:每秒生成多少 token,它决定用户"读得跟不跟得上"。 - **总耗时**:对流式体验影响较小,但对"用户要等多久才能拿到完整结果"有影响。 - **中断率**:多少比例的流被中途取消,反映用户是否经常"看不下去"。 对比方法:同一个 prompt,分别在同步与流式下测 TTFT 与总耗时。通常会发现"总耗时几乎一样,但 TTFT 差了一个数量级"——这正是流式的全部价值所在,因为它没有让模型变快,只是让等待变得可见。 ### Q:异步任务的任务 ID 该怎么设计? A:结论先行——用不可猜测的随机 ID,并在服务端持久化"任务 ID → 任务状态"的映射,不能把状态存在内存里。 - **不可猜测**:任务 ID 会出现在回调参数和前端轮询里,可被猜测的 ID 会导致越权查看他人任务结果。 - **持久化**:任务状态必须落库,否则服务重启后无法判断"哪些任务还没回来"。 - **可关联**:任务表里要记录发起人、请求参数摘要、创建时间、回调地址、状态、结果、重试次数,便于排查与对账。 - **过期清理**:任务记录要有 TTL 或归档策略,不然会无限增长。 ## 小结 - 三种模式的本质差异是"结果交付节奏":同步一次性、流式连续推、异步稍后回调。 - 同步最简单但会阻塞线程、体验差,适合后台任务与内部工具,最大风险是线程池被慢请求占满。 - 流式(SSE)把"等待"变成"可见进展",首字延迟低,是面向用户对话的默认选择;难点在半截结果、取消语义、超时口径与代理缓冲。 - SSE 优先于 WebSocket,因为 LLM 流式是单向推送;需要双向实时才考虑 WebSocket。 - 异步回调适合分钟级批量/离线任务,复杂点在状态机、幂等、回调失败与超时兜底。 - 三种模式可以共用同一个模型客户端,把差异收敛在接入层;流式场景务必实现"取消"以省钱。 ## 思考题 1. 为什么"把读超时设成 10 秒"在同步模式下会导致间歇性失败,而在流式模式下这个参数本身就不适用? 2. 用户在前端点了"停止生成",服务端应该做哪些事?如果不做会有什么后果? 3. 异步回调接口为什么必须幂等?请举出一个"不幂等"导致业务事故的具体例子。 4. 什么情况下你会放弃流式、改用同步?请给出至少两个"流式反而更差"的场景。 5. SSE 经过反向代理后变成"攒一批再发",可能是什么原因?怎么排查? 6. 如果同一轮对话既要落库又要保持流式体验,你会把"写历史"放在哪个时刻?为什么?
预览
发布文章
添加摘要让读者更快了解文章内容
取消
确认发布
AI 写作助手
输入一个主题,AI 将为你生成一篇 Markdown 博客文章
AI 正在写作中...
取消
开始生成
AI 优化助手
描述你的修改需求,AI 将在原文基础上进行补充或微调
AI 正在优化中...
取消
开始优化
画布
从已有图里选
✕
图名
保存后生成 /images/excalidraw/<图名>.svg(只能用字母、数字、短横线、下划线、点)
取消
保存并插入