知序
返回
保存草稿
发布
H1
H2
H3
1
2
3
Excalidraw 图
AI 写作
AI 优化
目录
输入内容后显示目录
Markdown
# 模型网关 Model Gateway > 导读:本文从"每个业务服务都在自己的配置文件里塞着 API Key,换一个模型要改十个仓库"这个具体痛点出发,把模型网关(Model Gateway)的定义、为什么需要它、协议统一/鉴权/计费/可观测四大核心能力、它与 API 网关和路由器的关系、开源选型与落地踩坑讲透。适合正在做 AI 中台或统一接入层、被"模型调用散落各处"困扰的架构与后端同学。 ## 一、先建立全局认知 ### Q:模型网关(Model Gateway)到底是什么? A:结论先行——模型网关是 LLM 调用的统一接入层,所有对模型的调用都先经过它,由它集中处理鉴权、限流、路由、协议转换、计费、日志、缓存、降级等通用逻辑。  *图:Model Gateway 统一入口:调用链与八项网关能力* ```text 前端/业务服务 ↓ [Model Gateway] ← 统一入口 ├── 鉴权(API Key / Token 校验) ├── 限流(用户级 / 全局) ├── 路由(选模型 / 选 Endpoint) ├── 协议转换(统一不同厂商的 API 格式) ├── 计费(记录 token 消耗) ├── 日志(全链路追踪) ├── 缓存(相同问题命中缓存) └── 降级(模型不可用时兜底) ↓ [模型服务 A] [模型服务 B] [模型服务 C] ``` 关键理解:网关的价值不在于"多了一层转发",而在于**把 N 个业务服务 × M 个模型供应商的 N×M 复杂度,收敛成 N+M**。业务只认识网关一个接口,网关负责认识所有供应商。 ### Q:模型网关和 API 网关有什么异同? A:结论先行——定位相同(都是统一入口),但关注点不同:API 网关关注"通用 HTTP 流量治理",模型网关额外关注"模型特有的语义",如 token 计费、模型路由、流式协议、prompt 日志。 **类比**:就像 API Gateway(Kong、APISIX)之于微服务,Model Gateway 之于 LLM。 | 维度 | API 网关 | 模型网关 | |------|---------|---------| | 核心关注 | 路由、鉴权、限流、熔断 | 上述 + 模型语义 | | 计费单位 | 请求数 | token 数(输入/输出分别计) | | 响应形态 | 普通 JSON | 普通 JSON + 流式(SSE) | | 特殊能力 | 无 | 多模型路由、协议适配、prompt 审计 | | 上游差异 | 通常同构 | 各厂商 API 差异极大 | 结论:模型网关可以建立在 API 网关之上(复用限流、鉴权、熔断),再叠加"模型语义层"。这也是为什么"基于 Spring Cloud Gateway 扩展"是一条现实的落地路径。 ### Q:不做模型网关,会有什么具体后果? A:结论先行——四类问题:重复代码、密钥泄露风险、模型强耦合、成本失控。 **没有网关时**: - 每个业务服务自己对接模型 API → 重复代码(每个服务都要写一遍重试、超时、解析)。 - 每个服务自己管 API Key → 安全风险(Key 分散在多个仓库/配置里,泄露面大)。 - 换模型要改所有服务 → 耦合(迁移成本高到没人敢动)。 - 没有统一的计费和监控 → 成本失控(账单涨了不知道是谁用的)。 **有网关后**: - 业务服务只调网关,不关心底层用哪个模型。 - API Key 只在网关配置(收敛到一个受控位置)。 - 换模型只改网关路由规则(业务零改动)。 - 统一计费、监控、限流。 取舍讨论:引入网关也有代价——多一跳延迟、多一个需要高可用的组件、多一层排障复杂度。所以判断标准是:**当接入的模型数或业务服务数超过"手工维护可承受"的范围时,网关才划算**。单服务单模型的小项目,上网关是过度设计。 ## 二、核心能力逐一拆解 ### Q:协议统一(Protocol Unification)解决什么问题? A:结论先行——各厂商 API 的路径、请求体、响应体、错误码都不一样,网关把它们统一成一种内部格式,业务只需要对接这一种。 差异示例: ```text OpenAI: POST /v1/chat/completions 通义千问: POST /api/v1/services/aigc/text-generation/generation 百度文心: POST /rpc/2.0/ai_custom/v1/wenxinworkshop/chat/completions_pro ``` 统一后的内部契约(示意): ```json POST /gateway/chat { "model": "qwen-max", "messages": [ {"role": "user", "content": "你好"} ] } ``` 要点解读: - **统一的是"业务看到的契约",不是"上游协议"**。网关内部仍然要为每个供应商写适配器(Adapter),把内部格式翻译成各家的格式。 - **错误码也要统一**:各厂商的错误码体系不同,网关要把它们映射成内部统一错误码(如限流、鉴权失败、内容拦截、上游故障),否则业务方无法写统一的错误处理。 - **流式协议也要统一**:这是最容易做漏的地方。不同厂商的流式格式(分块方式、结束标记、错误表达)不一样,网关要统一成一种流式协议给业务,否则前端要为每个模型写一套解析。 踩坑提醒:协议统一层是"适配器集合",每接一个新供应商就要写一个适配器。要把它做成插件化的(注册式),而不是在网关主流程里塞 if-else,否则维护成本会迅速失控。 ### Q:鉴权与安全该怎么设计? A:结论先行——两级鉴权:业务服务用内部 Token 调网关,网关用真正的厂商 API Key 调模型;厂商 Key 绝不出网关。 要点: - **业务服务用内部 token 调网关**:这个 token 由你的体系签发,可吊销、可限流、可计费。 - **网关用真正的 API Key 调模型**:Key 只存在于网关的密钥管理里。 - **API Key 不暴露给业务方**:这是网关最重要的安全价值之一。业务团队拿不到厂商 Key,就无法绕过网关、无法私自调用、Key 泄露面也大幅缩小。 - **支持 WAF、IP 白名单、请求签名**:网关是统一入口,也是安全防护的最佳落点。 进阶考虑: - **密钥轮换**:Key 要支持轮换,网关要能在不重启的情况下加载新 Key(配置中心 + 热更新)。 - **审计**:谁在什么时候调了哪个模型、消耗了多少 token,必须有审计记录,既为计费也为合规。 - **出网控制**:网关是唯一有权限访问外网的组件,其它服务不允许直接出网,这样"绕过网关"在网络上就不可能。 ### Q:计费与配额的核心设计是什么? A:结论先行——每次调用都要落一条"用量记录",包含"谁、用了哪个模型、输入多少 token、输出多少 token、花了多少钱",并据此做配额控制。 ```text 每次调用记录: - 用户/部门 - 模型 - 输入 token 数 - 输出 token 数 - 费用 按部门/项目设配额上限 ``` 关键设计点: - **归因维度**:至少要能按"用户、部门、项目、应用"归集。第一次设计时如果只记了"总量",后面要补维度会非常痛苦。 - **token 计量口径**:输入 token 和输出 token 要分别记,因为很多厂商定价不同。流式场景下,输出 token 需要边流边累计。 - **费用计算**:单价表应可配置(因为价格会变),不要把单价硬编码在代码里,否则调价要发版。 - **配额控制**:按部门/项目设上限,超限时要能"拒绝"或"告警"(视业务而定)。配额判断本身也要低延迟,通常用缓存 + 定时同步。 难点提醒:**流式调用的计费最麻烦**。如果客户端中途断开,上游已经生成的 token 到底算不算?不同供应商口径不同(**需结合具体供应商确认**)。网关要记录"实际请求量"和"实际计费量"两个数,才能对账。 ### Q:可观测性(Observability)该怎么做? A:结论先行——核心是一个贯穿全链路的 requestId,加四类数据:日志、指标、链路、告警。LLM 场景还要额外记录 prompt 与 completion 的摘要信息。 - **requestId 全链路追踪**:从前端到网关到模型,一个 ID 串起来。用户报"我这次回答很慢",你能用 requestId 定位到是哪一跳慢。 - **日志**:记录每次调用的输入、输出、耗时、token 数。注意输入输出可能包含敏感信息,要做脱敏或分级存储。 - **监控(指标)**:QPS、延迟、成功率、token 消耗趋势。这几个是模型网关的"仪表盘"。 - **告警**:失败率 > 5%、延迟 > 10s(阈值为示例,**需结合业务确认**)。 LLM 网关特有的可观测需求: - **prompt / completion 审计**:用于排查"模型为什么这么答",也用于合规审计(有些行业要求留存)。 - **模型维度的对比**:同一任务的多个模型,质量、延迟、成本分别如何。 - **路由与降级的可见性**:有多少请求走了降级、降级到哪,这是质量问题归因的关键。 - **成本趋势**:按日/周看 token 消耗,及时发现"某个业务突然用量暴涨"。 ## 三、与其他组件的关系 ### Q:模型网关、Endpoint、Router 三者是什么关系? A:结论先行——网关是"统一的入口与治理层",Router 是网关内部的一个决策组件,Endpoint 是 Router 的候选目标。 层次关系:  *图:Model Gateway 的组成与调用层级* ```text [Model Gateway] ├── 鉴权 / 限流 / 计费 / 日志 / 缓存 └── Router(决策) └── 从 Endpoint 列表中选择一个(Endpoint 带状态) └── 调用真实模型服务 ``` 关键点:**网关是"面",Router 是"点"**。网关解决的问题是"所有模型调用都要处理的横切关注点",Router 解决的问题是"这次请求发给谁"。把两者混为一谈会导致职责混乱——比如把鉴权写在 Router 里,那"不路由只查用量"的场景就没法复用。 ### Q:已经有 SDK 了,为什么还要网关? A:结论先行——SDK 解决"单个服务怎么调用",网关解决"整个组织怎么治理",两者不是替代关系而是互补关系。 | 关注点 | SDK | 网关 | |--------|-----|------| | 调用便利性 | ✅ 强 | 需网络调用 | | 密钥保护 | ❌ Key 在业务侧 | ✅ Key 收敛在网关 | | 统一计费 | ❌ 各服务各算 | ✅ 集中 | | 统一限流 | ❌ 本地限流不准 | ✅ 集中式 | | 换模型成本 | 需升级 SDK / 改配置 | 改网关规则 | | 语言无关 | ❌ 每种语言一套 SDK | ✅ HTTP 接口通用 | 结论:网关是"组织级治理"的载体。它天然语言无关(HTTP 接口谁都能调),这是它相对 SDK 的最大优势——多语言技术栈下,你不可能为每种语言维护一套行为一致的 SDK。 ## 四、选型与开源方案 ### Q:常见的开源/商业方案有哪些? A:结论先行——按"是否需要企业级能力"和"技术栈偏好"选择,见下表。 | 方案 | 特点 | |------|------| | **One API** | 国内较流行,支持多种模型 | | **LiteLLM** | Python,统一大量模型的 API | | **AI Gateway(Portkey)** | 商业级,功能较全 | | **自建** | 基于 Spring Cloud Gateway 扩展 | 选型考量维度: - **支持的模型数量与更新速度**:模型迭代很快,方案能否快速跟进新模型很关键。 - **是否支持流式**:有些轻量方案对流式的支持不完整(如不支持流式计费、不支持中断传递),要重点验证。 - **可观测性集成**:能否对接你已有的监控体系。 - **部署形态与运维成本**:是否引入新的中间件依赖(Redis、数据库)。 - **许可与合规**:开源协议是否满足公司要求。 - **性能**:网关自身不能成为瓶颈,要能实测压测其转发开销。 ### Q:什么情况下应该自建而不是用开源? A:结论先行——当你的需求超出开源方案的边界时自建,典型触发条件是"深度定制的路由策略""与内部权限/计费体系强绑定""特殊合规要求"。 自建的常见动因: - 路由策略高度业务化(如按租户等级 + 任务类型 + 灰度比例的复合决策)。 - 需要与公司现有的统一鉴权、部门组织架构、财务计费系统深度打通。 - 有数据不出域/私有化部署的合规要求(尤其金融、政企场景)。 - 需要对 prompt/response 做行业特定的审计与留存。 自建的风险提示:网关是"关键路径上的单点组件",自建意味着你要自己保证它的高可用、性能、密钥安全、升级兼容。如果没有明确的差异化需求,优先用成熟方案,把精力放在业务上。 ## 五、工程实践与踩坑 ### Q:网关自身成为瓶颈或单点怎么办? A:结论先行——网关必须无状态、可水平扩展,且要有独立于业务服务的容量规划与降级预案。 要点: - **无状态设计**:会话、配额、缓存都放外部存储(Redis),网关实例本身不存状态,这样才能随意扩缩容。 - **容量规划**:网关要处理所有模型流量,且 LLM 请求是长连接(流式),连接数会远高于普通 HTTP。连接数、文件描述符、内存都要单独评估。 - **降级预案**:网关挂了怎么办?要么有多实例 + 负载均衡(消除单点),要么允许业务在极端情况下直连("逃生通道",需谨慎设计,因为会绕过鉴权与计费)。 - **超时与重试的边界**:网关自身的超时要大于上游模型调用超时之和,否则网关会先于模型调用超时。 ### Q:网关层记录 prompt 有哪些合规与安全风险? A:结论先行——风险很大,因为 prompt 里可能包含用户隐私、业务机密、甚至凭证,必须做分级、脱敏与访问控制。 风险与对策: - **隐私数据**:prompt 里可能有用户提供的身份证、手机号。要么在网关做脱敏(识别并掩码),要么加密存储并严格限制访问。 - **业务机密**:企业内部知识库片段可能被拼进 prompt。留存这些内容时要评估合规要求。 - **凭证泄露**:如果调用方不小心把 Key 写进了 prompt,而网关又原样记录,等于把泄露面扩大。可以在网关做敏感信息扫描。 - **存储成本**:全量记录 prompt 是海量数据,要设留存策略(如 7 天热存 + 归档),而不是无限期全存。 - **访问控制**:能查 prompt 的人必须是最小集合,且查询要留审计日志。 ### Q:网关如何保证"多供应商协议适配"的可维护性? A:结论先行——用"适配器 + 注册表"的插件化设计,把每个供应商的差异封装在一个独立模块里。 设计思路(示意):  *图:ProviderAdapter 接口与多供应商实现* ```text Gateway 主流程 ↓ 查注册表 ProviderAdapter(接口) ├── OpenAIAdapter ├── DashScopeAdapter ├── WenxinAdapter └── ...(新增供应商只需新增一个实现) ``` 关键约定: - 适配器接口要覆盖"请求转换、响应解析、错误映射、流式事件转换"四个方面,缺一个都会导致要改主流程。 - 每个适配器要能独立测试(用录制/回放的方式),否则新增供应商时回归风险高。 - 版本变化要能在适配器层消化,不要让供应商的 API 变更扩散到网关主流程。 ### Q:模型网关和成本优化的关系是什么? A:结论先行——网关是成本优化的最佳落点,因为只有它同时知道"谁在用""用了什么模型""花了多少 token",才有条件做精细化的成本治理。 网关可落地的成本手段: - **缓存**:相同/相似问题命中缓存直接返回,省掉一次调用。要注意 LLM 输出的非确定性——缓存 key 通常需要包含模型、参数、prompt 的完整信息。 - **路由到合适模型**:简单任务路由到便宜模型(这是最大的省钱杠杆)。 - **用量配额与告警**:按部门限量,异常用量即时告警。 - **prompt 体积治理**:统计入参 token 分布,找出"上下文过长"的调用方并推动优化。 - **降级到更便宜的备用模型**:主模型贵且可用性一般时,可用便宜模型做非关键流量。 ### Q:模型网关的缓存怎么做才不会"答错题"? A:结论先行——缓存 key 必须包含所有影响输出的因素(模型、参数、完整 prompt,有时还包括用户或租户上下文),并区分"可缓存"与"不可缓存"的请求。 要点: - **key 的构成**:模型名 + 采样参数(temperature、top_p 等)+ 完整 messages 内容。少任何一项都可能命中错误缓存。 - **不缓存的情况**:包含工具调用、需要实时数据(如天气、股价)、带用户私有数据的请求,通常不应缓存,或必须按用户隔离。 - **近似匹配的风险**:"语义相似的请求共用缓存"听起来省钱,但可能返回"看似相关实则不符"的答案。是否启用取决于业务容错度。 - **缓存失效**:知识有时效性,缓存必须设 TTL。 - **命中率观测**:命中率过低时,说明 key 设计过于严格(比如把 requestId 也算进了 key),要检查;过高且用户投诉"答案不对"时,要检查 key 是否过宽。 ### Q:网关怎么做多租户隔离? A:结论先行——从"身份、配额、数据、可观测"四个维度隔离,任何一维缺失都可能造成越权或互相影响。 - **身份**:每个请求要能明确归属到租户,鉴权时校验租户身份。 - **配额**:按租户限流与计费,防止吵闹邻居。 - **数据**:缓存 key 要包含租户标识,日志和审计按租户隔离,绝不能出现租户 A 命中租户 B 缓存的情况。 - **可观测**:指标要能按租户维度下钻,否则某个租户出问题时你定位不到。 - **密钥**:如果不同租户使用不同的上游 Key,网关必须按租户选择正确的 Key,不能串用。 ### Q:网关怎么处理"模型返回超长内容"? A:结论先行——要有输出长度的硬上限、流式的累计上限,以及超限时的明确处置策略。 - **单次输出上限**:通过输出长度控制参数限制(**具体参数名与默认行为需结合厂商实现确认**)。 - **流式累计上限**:流式场景下要按累计输出 token 计数,超限立即截断并标记,避免开放式长连接把成本拉爆。 - **截断策略**:截断时要给用户明确提示(如"回答过长已截断"),而不是静默停止。 - **历史回写**:截断后的内容回写历史时要标记"未完成",否则下一轮模型会基于半句话继续生成,导致语义错乱。 ### Q:网关的配置发布与灰度怎么做? A:结论先行——配置要版本化、可灰度、可回滚,并且变更必须有审计。 - **版本化**:端点配置、路由规则、模型单价表都要有版本。 - **灰度**:新配置先给部分流量或部分租户,验证后再全量。 - **回滚**:必须能快速回滚到上一个版本,并保留"回滚操作"的审计记录。 - **校验**:发布前做配置校验(端点可达、Key 有效、模型名合法、路由规则不冲突)。 - **审计**:谁在什么时候改了什么,必须留痕——网关配置直接影响钱和安全。 ### Q:网关如何支持 Prompt 的 A/B 测试? A:结论先行——把"prompt 版本"作为路由的一个维度,按稳定分流键分配流量,并采集效果指标。 要点: - **版本维度**:请求里带 prompt 版本标识,或由网关按分流规则决定,转发时替换为对应版本的 prompt。 - **稳定分流**:用用户 ID 或会话 ID 取模,保证同一用户体验一致,否则体验会来回抖动。 - **指标采集**:分版本统计成功率、延迟、成本,以及质量指标(用户反馈、LLM as Judge 评分)。 - **结论要能落地**:A/B 结果要能被"一键全量到胜出版本",否则测试就白做了。 - **注意成本**:A/B 意味着两套逻辑同时运行,观测与运营成本都会上升。 ### Q:网关要不要做"请求体大小限制"? A:结论先行——要,而且要按 token 维度做限制,而不只是按字节维度。 理由: - 超大请求体会直接导致内存压力、网络传输变慢,还可能被上游拒绝。 - 更关键的是"字节小但 token 多"的情况:某些高度压缩或符号密集的文本,字节数不多但 token 数可能很大,最终在模型侧超限。 - 因此网关应该在转发前估算 token 数,超过阈值直接拒绝并返回明确原因,而不是把问题推给上游。 配合措施:把"超限拒绝"做成指标统计,用来推动调用方优化上下文——这本身就是成本治理的一部分。 ### Q:网关怎么处理上游返回的错误码? A:结论先行——要做"错误码归一化",把各厂商的差异映射成内部统一错误码,并且区分"可重试"与"不可重试"。 要点: - **统一错误码**:鉴权失败、限流、参数错误、内容拦截、上游故障、超时——这些语义应有一致的内部编码。 - **标记可重试性**:在统一错误上标注"是否可重试",让调用方不必了解各厂商的错误语义。 - **保留原始错误**:归一化时不要把上游原始错误信息丢掉,要放进诊断字段,否则线上排查无据。 - **注意敏感信息**:上游错误信息可能包含内部细节,直接透传给前端要谨慎,通常做一层脱敏或降级描述。 ### Q:网关的性能开销怎么控制? A:结论先行——网关在关键路径上,必须做到"无状态 + 少序列化 + 少阻塞",并且要有性能基线。 - **无状态**:状态放外部存储,实例可水平扩展,避免单实例成为瓶颈。 - **避免重复序列化**:流式场景下不要"收完再转",要边收边转,否则既增加延迟又增加内存。 - **异步化**:调用上游用异步 I/O,避免线程被阻塞(LLM 调用尤其慢)。 - **缓存与限流的开销**:限流如果每请求都访问共享存储,会引入额外延迟,可以考虑本地预取额度、批量同步。 - **性能基线**:要有"网关自身引入的额外延迟"指标,并设阈值告警——如果网关自身开销变大,所有业务都会一起变慢。 ### Q:网关是否应该记录完整的请求体和响应体? A:结论先行——不建议全量长期记录,应"分级 + 采样 + 脱敏 + 限留存期"。 - **分级**:错误请求、慢请求可以全量记录用于排障;正常请求按比例采样。 - **脱敏**:用户输入、工具返回里可能含隐私,落盘前必须处理。 - **限留存期**:设 TTL 或定期归档,避免存储成本与合规风险无限累积。 - **访问控制**:能查完整内容的人应是最小集合,且查询要留审计。 - **替代方案**:只记录"摘要 + 指纹"用于去重与统计,完整内容只在明确需要时按 requestId 回捞(前提是上游仍保留)。 ## 小结 - 模型网关是 LLM 世界的统一接入层,把 N×M 的对接复杂度收敛为 N+M;本质价值是治理而非转发。 - 四大核心能力:协议统一(含错误码与流式协议)、两级鉴权(Key 不出网关)、计费配额(按用户/部门归因、单价可配置)、可观测性(requestId + 日志 + 指标 + 告警)。 - 网关是"面",Router 是网关内部的"点",Endpoint 是 Router 的候选目标,三者层次不能混淆。 - 网关相对 SDK 的核心优势是"组织级治理"与"语言无关";无差异化需求时优先选成熟开源方案。 - 网关自身必须无状态可扩展,因为它是关键路径上的组件;流式长连接对连接数与容量有额外要求。 - 记录 prompt 有显著的合规与安全风险,必须脱敏、分级、限权限、设留存期。 - 网关是成本治理的最佳落点:缓存、模型路由、配额、prompt 体积治理都能在这一层落地。 ## 思考题 1. 为什么说"协议统一"里最容易做漏的是"流式协议"和"错误码"?如果只统一了请求体和响应体,会给前端带来什么麻烦? 2. 网关把 API Key 收敛到一处,安全收益是什么?同时带来了什么新的风险(提示:单点、权限集中)? 3. 流式调用中途客户端断开,token 费用该怎么算?网关需要记录哪两个数才能对账? 4. 如果 A→B→C 三级链路上每级都重试,模型会被调用多少次?网关在其中应该承担什么约束? 5. 什么条件下你会选择自建网关而不是用开源方案?自建的主要风险有哪些? 6. 网关记录全量 prompt 会带来哪些合规风险?请给出至少三条缓解措施。 7. 为什么"简单任务路由到小模型"是最大的成本杠杆?它和"缓存"这两种省钱手段分别适合什么流量特征?
预览
发布文章
添加摘要让读者更快了解文章内容
取消
确认发布
AI 写作助手
输入一个主题,AI 将为你生成一篇 Markdown 博客文章
AI 正在写作中...
取消
开始生成
AI 优化助手
描述你的修改需求,AI 将在原文基础上进行补充或微调
AI 正在优化中...
取消
开始优化
画布
从已有图里选
✕
图名
保存后生成 /images/excalidraw/<图名>.svg(只能用字母、数字、短横线、下划线、点)
取消
保存并插入