知序
返回
保存草稿
发布
H1
H2
H3
1
2
3
Excalidraw 图
AI 写作
AI 优化
目录
输入内容后显示目录
Markdown
# Token 与上下文窗口 > 导读:本文从"为什么对话没聊几轮,模型就突然忘了前面说过的话"这个具体痛点出发,把 Token(词元)的切分原理、上下文窗口(Context Window)的容量边界、超限后的真实行为、四类上下文管理策略以及 token 预算分配讲透,最后给出工程实践与踩坑。适合正在做 LLM 应用、被"答非所问"和"上下文超限"反复折腾的开发同学。 ## 一、先建立全局认知 ### Q:Token 到底是什么?是字还是词? A:结论先行——Token 既不是字,也不是词,而是介于两者之间的"子词"(subword),是 LLM 处理文本的最小单位,同时也是 API 计费与容量统计的计量单位。 展开一点看,模型并不直接读字符,而是先把文本切成一个个 token,再把每个 token 映射成一个整数 ID 送进网络。所以"模型看到的世界"其实是 token 序列,而不是我们眼里的字和词。一个常见模型的切分效果大致如下:  *图:同一段文本切出的 Token 数差异* ```text "Hello world" → ["Hello", " world"] → 2 tokens "你好世界" → ["你好", "世界"] → 2 tokens(中文通常 1-2 字 = 1 token) "ChatGPT" → ["Chat", "G", "PT"] → 3 tokens ``` 解读这三行的关键点:第一,英文按"带空格的词片段"切," world" 前面那个空格是跟着 token 一起走的,这也是为什么很多 tokenizer 里"词首带空格"和"词中不带空格"是两个不同的 token;第二,中文并不按字切,"你好"合并成一个 token 很常见,但也不是所有中文词都会被合并;第三,像 "ChatGPT" 这种高频品牌词反而被切得更碎,说明切分取决于词表里到底收没收录这个串,而不是取决于人类觉得它是不是一个"词"。 结论:写 prompt 时不要用"字数"思考,要用"token 数"思考。 ### Q:为什么工程上必须关心 Token? A:结论先行——因为 Token 同时决定了三件事:计费、容量上限、生成速度,任何一件失控都会直接体现在线上。 具体拆成三点: 1. **计费**:绝大多数 API 按 token 数收费,而且是"输入 token + 输出 token"分开计价。输入是你塞进去的 system prompt、历史对话、检索片段;输出是模型生成的内容。这意味着"上下文管理做得好不好"直接等于"账单好不好看"。 2. **上下文窗口限制**:模型一次能处理的 token 总数有硬上限,超了就装不下。这是一个物理边界,不是软约束。 3. **速度**:token 越多,推理越慢。输入越长,首字延迟(TTFT)越差;输出越长,总耗时越长。对交互式产品,这直接影响体验。 取舍点:很多人为了省事把整篇文档塞进去,短期看"效果好",长期看是"成本和延迟双爆"。正确的做法是先估算 token,再做预算分配。 ### Q:上下文窗口(Context Window)到底是什么? A:结论先行——上下文窗口是模型一次调用中能"看到"的最大 token 数,它是"输入 + 输出"的总和,不是输入单独的上限。 用一条公式表达: ```text 上下文窗口 = system prompt + 历史对话 + 当前问题 + 模型回答 ``` 关键点解读: - 很多人误以为窗口只限制"我塞进去多少",其实模型要生成的回答也占额度。如果你把输入塞到 99% 的窗口,模型几乎没有空间生成,回答会被硬生生截断。 - system prompt 是常驻开销。一个写得非常啰嗦的 system prompt,会在每一轮对话里都重复占用预算。 - 历史对话是增长项。轮次越多,历史越长,能留给"当前问题 + 回答"的空间越小,这就是为什么长对话后期质量会下滑。 常见模型的上下文窗口量级参考(具体版本与变体差异较大,**需结合对应版本确认**): | 模型 | 上下文窗口(量级参考) | |------|-----------| | GPT-3.5 | 4K / 16K | | GPT-4 | 8K / 32K / 128K | | Claude 3 | 200K | | 通义千问 | 8K / 32K / 128K | | Llama 3 | 8K / 128K | 这张表要这样读:同一个模型名往往对应多个窗口规格,你调用的到底是哪一个,取决于具体部署和接入的 endpoint 配置,不能想当然。 ### Q:Token 的数量怎么估算? A:结论先行——用经验比例快速估算,但真正的预算判断必须以实际 tokenizer 的计算结果为准。 经验估算比例: - 英文:1 token ≈ 4 个字符 ≈ 0.75 个单词 - 中文:1 token ≈ 1-2 个汉字 为什么只能"估算"而不能"精算"?因为不同厂商用的分词算法(如 BPE、SentencePiece 等)和词表都不一样,同一段中文在不同模型上的 token 数可能差出一截。所以工程上要区分两个层次: - **粗排阶段**:用经验比例快速判断"这段内容大概占多少预算",用于设计时的心算。 - **精确阶段**:真正调用前,用目标模型对应的 tokenizer 或 API 提供的 token 计数能力算出准确值,用于硬预算。 踩坑提醒:如果系统里混用多个模型(比如路由到不同厂商),你不能只按一个模型的比例算,否则切到另一个模型时可能突然超限。 ## 二、Token 的切分与计费机制 ### Q:为什么"同一个意思"在不同语言下 token 数差很多? A:结论先行——因为 tokenizer 的词表是在训练语料上统计出来的,语料里出现得越多的模式越容易被合并成一个 token,出现得越少的模式越容易被切碎。 由此带来的工程事实: - 英文在主流词表里被覆盖得很好,所以同样信息量下英文通常更省 token。 - 中文如果被词表覆盖得一般,某些词会被切成多个 token,导致同样一段话中文 token 数偏高。 - 代码、JSON、特殊符号、罕见人名、emoji 往往被切得比较碎。比如一段 JSON 里的引号、括号、逗号,很多都是独立 token,这解释了"为什么结构化输出比自然语言更贵"。 取舍:如果你的产品以中文为主,选型时把"中文 token 效率"作为一个对比维度,长期成本差异会很可观。 ### Q:为什么代码和 JSON 的 token 消耗常常超出预期? A:结论先行——因为结构化文本充满了高频但独立的符号 token,而且格式本身(缩进、引号、字段名)也全是开销。 看一个直觉化的对比: ```text 自然语言:把年龄字段填进去 → 少量 token JSON:{"name":"张三","age":28} → 引号、冒号、大括号、字段名、值,几乎每个符号都要占位 ``` 工程建议: - 给模型的示例(few-shot)尽量精简,不要动不动贴几百行代码。 - 如果必须让模型输出 JSON,优先考虑用模型自带的结构化输出能力(如 Function Calling / Tool Use、JSON Schema 约束等),而不是靠"纯 prompt 描述格式"——前者能减少试错导致的重复调用,反而更省。 - 长文档分析时,先截取相关片段(检索)而不是整篇塞入(详见 RAG 思路)。 ### Q:输入 token 和输出 token 在成本和延迟上有什么不同? A:结论先行——输入通常是"一次性并行处理"的,输出是"逐 token 串行生成"的,所以输出的时间成本占比更高,而计费上两者单价往往也不同(具体单价需结合厂商定价确认)。 拆解: - **输入侧**:prompt 进来后,模型做 prefill(预填充),可以并行计算,因此"输入很长"主要影响的是首字延迟和显存占用。 - **输出侧**:每生成一个 token 都要跑一次前向,再把它拼回输入继续生成下一个,是严格串行的。所以"输出很长"会让总耗时线性增长。 - **计费侧**:多数厂商对输入、输出分别定价,且输出的单价通常不低于输入。 实践含义:能"少让模型输出"的地方就少输出。例如只需要一个分类标签时,不要让模型写一段解释;需要解释时,把它放到另一条链路或另一个便宜模型上。 ## 三、超出上下文窗口会怎样 ### Q:超出上下文窗口会直接报错吗? A:结论先行——**通常不是报错,而是静默丢信息**,这才是最危险的地方。 原文给出的三点后果: 1. **截断**:超出部分被丢弃,通常丢的是最早的内容。 2. **丢记忆**:模型"忘了"之前说过什么,比如你在第 1 轮定义了术语,第 20 轮它完全不认了。 3. **回答质量下降**:关键信息被截掉后,模型基于残缺上下文作答,回答看起来流畅但实际跑偏。 为什么"静默"比"报错"更可怕?因为报错你能立刻发现并修,静默丢信息往往要等用户投诉才发现。而且模型不会告诉你"我少看了一段",它只会自信地给出一个不完整的答案。 补充边界(需结合具体实现确认):有些接入层会在超限时主动抛错(比如客户端先做 token 校验),有些则是服务端默默截断。所以"到底报不报错"取决于你用的是原生 API 还是封装过的网关,不能一概而论。 ### Q:既然会丢信息,为什么不能把窗口想开多大开多大? A:结论先行——窗口越大,成本越高、延迟越大,而且"能装下"不等于"用得好"。 三个现实约束: 1. **成本**:窗口越大,能塞的输入越多,单次调用越贵。 2. **延迟**:超长输入的 prefill 时间显著增加,交互式场景体验会崩。 3. **效果边界**:即使信息都装进窗口了,模型对长上下文中部内容的注意力也可能衰减(业界通常称为长上下文中的"中间遗忘"现象)。也就是说,"全塞进去"并不保证"全都用上"。 结论:窗口大小是资源,不是能力。要用管理策略去决定"放什么",而不是靠加大窗口去逃避管理。 ### Q:怎么判断自己的应用是不是已经踩到窗口边界? A:结论先行——看三个信号:多轮之后质量下滑、回答出现"答非所问"、以及日志里输入 token 数逼近上限。 排查清单: - 统计每轮的输入 token 数,画出随轮次增长的曲线,看是否逼近最大窗口。 - 检查截断逻辑的实际行为:是丢最早的,还是丢中间的?有没有日志记录"本次丢弃了 N 条历史"。 - 做对照实验:把历史限制到最近 3 轮,看质量是否反而回升。如果回升,说明之前是"信息过载"而不是"信息不足"。 ## 四、上下文管理策略 ### Q:滑动窗口(Sliding Window)怎么用? A:结论先行——只保留最近 N 轮对话,丢弃更早的内容,实现最简单,但会丢长期信息。 ```text 保留:最近 5 轮 丢弃:更早的对话 ``` 优点:实现简单、token 可控、延迟稳定。 缺点:第一轮定下的任务背景、约束、术语定义会被丢掉,导致模型后期"失忆"。 适用:闲聊、短会话、上下文价值随时间快速衰减的场景。 ### Q:摘要压缩(Summarization)怎么做? A:结论先行——把较早的历史对话压缩成一段摘要,用少量 token 换住关键信息。 ```text 原始:10 轮对话(8000 token) 压缩:一段摘要(500 token)+ 最近 3 轮 ``` 关键设计点: - **触发时机**:不要每轮都摘要,那样既贵又慢。建议在"历史 token 逼近阈值"时触发一次。 - **摘要内容**:要保留的是"事实、约束、决策、未决问题",而不是寒暄。摘要 prompt 要明确要求保留哪些要素。 - **摘要位置**:摘要作为一个特殊消息(常放在 system 之后或作为历史的第一条)注入,让模型知道这是"前情提要"。 - **有损性**:摘要一定是有损压缩,所以要配合"首尾保留"(下面一节)来兜底。 ### Q:首尾保留(Head-Tail Retention)为什么有效? A:结论先行——因为它既保住了"任务定义",又保住了"最近语境",丢掉的只是中间过程。 ```text [第 1 轮(任务背景)] + ... + [最近 3 轮] ``` 为什么这样切最划算: - 第一轮通常包含任务定义、角色设定、关键约束,是"全局前提",丢了全局就崩。 - 最近几轮包含当前话题的最新进展,是"局部前提",丢了就不连贯。 - 中间部分往往是过程性的确认、寒暄、试错,信息密度最低,最适合丢。 实践提示:可以用一个类似 `ContextWindowManager` 的组件来集中管理这件事——先保 system prompt,再保第一轮任务定义,然后从最近往前填充直到预算用完。这与"保留首轮 + 末尾填充"的截断策略是同一套思路。 ### Q:重要性筛选(Importance Filtering)怎么做? A:结论先行——按"与当前问题的相关性"选择保留哪些历史,效果最好但成本最高。 可选实现路径: - **轻量规则**:按轮次、按是否包含关键实体(订单号、专有名词)、按用户是否显式标记"记住这条"来加权。 - **检索式**:把历史消息做向量化,用当前问题去检索最相关的若干条历史,只把这几条塞回上下文(本质上是把 RAG 用在会话历史上)。 - **模型打分**:用一个便宜的小模型给每条历史打相关性分,取 top-K。成本比全量重放低,但比规则高。 取舍:重要性筛选的收益明显,但会引入额外的检索/推理开销和不确定性。建议在"历史很长且信息密度不均"的场景才上,短会话直接用滑动窗口更划算。 ### Q:这几类策略应该怎么组合? A:结论先行——生产上几乎不会只用一种,标准组合是"锁定 system + 首尾保留 + 中间摘要"。 一个可落地的分层结构:  *图:上下文预算的优先级与丢弃顺序* ```text ┌──────────────────────────────┐ │ 1. System Prompt(常驻,必保)│ ├──────────────────────────────┤ │ 2. 摘要块(早期历史压缩结果) │ ├──────────────────────────────┤ │ 3. 首轮任务定义(必保) │ ├──────────────────────────────┤ │ 4. 最近 N 轮原文(从近往前填)│ ├──────────────────────────────┤ │ 5. 当前问题(必保) │ └──────────────────────────────┘ ↑ 预算不足时从 2/4 中先丢低价值项 ``` 预算分配的顺序建议:先扣掉 system prompt 和当前问题(这两块不可压缩),剩下的预算给"最近 N 轮",还不够再给摘要块,最后兜底才是丢首轮。 ## 五、工程实践与踩坑 ### Q:token 预算应该怎么设定? A:结论先行——把窗口当成"总预算",再拆成几个互斥的额度,任何一块都不允许挤占别人。 例如总窗口 4000 token 时,一个可用的拆分方式: | 用途 | 预算 | 说明 | |------|------|------| | System Prompt | 固定 | 常驻,尽量精简 | | 检索/参考资料 | 中 | 按召回片段数量动态调整 | | 历史对话 | 中 | 从近往前填充 | | 当前问题 | 固定 | 必须完整,不可截断 | | 留给输出 | 预留 | 保证模型有生成空间 | 踩坑:最常见的错误是把预算全给输入,忘了给输出留位置。结果是模型刚开口就被截断,用户看到的是半句话。 ### Q:截断时应该丢哪一头? A:结论先行——默认丢中间、保两头;但必须保证"当前问题"和"system prompt"永远不被截断。 明确三条铁律: 1. system prompt 不参与截断竞争。 2. 当前用户问题不参与截断竞争(宁可丢历史也要保当前问题完整)。 3. 截断要有日志(丢了几条、丢了哪些),否则线上出问题无法复盘。 ### Q:为什么"token 估算函数"很容易算错? A:结论先行——因为很多项目用"字符数 ÷ 4"这类粗略公式替代真实 tokenizer,中文场景下误差会被放大。 实操建议: - 估算函数只用于"粗排"和"提前防御",真正的硬校验用目标模型的 tokenizer。 - 多模型路由场景下,按"最严的那个模型"来算预算,或按目标模型分别计算。 - 给估算留安全余量(比如按估算值的 1.2 倍做预算),避免边界抖动导致偶发超限。 ### Q:缓存和成本怎么配合? A:结论先行——重复的输入完全可以缓存结果,但要注意"缓存命中的前提是输入完全一致",而 token 计数是计费依据,缓存能省的是调用费而不是管理责任。 要点: - 相同的 system prompt + 相同问题,可以直接走结果缓存,省掉一次调用。 - 会话场景下,历史在变,输入很难完全一致,所以缓存的命中率取决于你如何设计 key。 - 无论有没有缓存,token 预算管理都必须做——缓存是省钱手段,不是容量管理手段。 ### Q:还有哪些容易忽略的坑? A:结论先行——多模态内容、工具返回结果、以及"看起来很短实际很贵"的输入,是最容易被忽略的三类。 - **多模态内容**:图片、音频在计费与占用上有各自的口径(不同厂商差异大,**需结合版本确认**),不能只按文本估算。 - **工具/函数返回**:Agent 场景里,工具返回的原始 JSON 往往很长,如果不做裁剪直接塞回上下文,很容易瞬间吃光预算。 - **超长 system prompt**:有人把大量规则、示例、术语表全塞进 system prompt,导致每一轮都重复付费。建议把大块静态知识放进检索,而不是常驻 prompt。 ### Q:上下文窗口大就等于"记忆力好"吗? A:结论先行——不等于。窗口是"一次能看到多少",而"记住"是跨调用保持的能力,两者根本不在一个层面。 区分三个容易被混为一谈的概念: - **窗口(Window)**:单次调用的容量上限,是物理约束。 - **记忆(Memory)**:跨多次调用保留信息的能力,靠外部存储 + 每次重新注入实现。 - **注意力(Attention)**:模型实际"用到"了多少上下文,是效果层面的问题。 工程含义:模型本身无状态,"记忆力"完全是你自己实现出来的。窗口再大,如果每次调用你不主动把历史传进去,它也什么都不知道。反过来,窗口不大但你能精准挑出最相关的几段,效果可能反而更好。所以"做大窗口"和"做好记忆系统"是两件不同的事,不能互相替代。 ### Q:为什么"塞更多资料"有时反而让回答变差? A:结论先行——因为上下文不是越多越好,无关内容会稀释关键信息,还会引入噪声和相互矛盾的材料。 三类典型的退化: - **稀释**:关键的段落淹没在大量无关段落里,模型抓不住重点,回答变得泛泛。 - **干扰**:检索回来的片段互相矛盾(比如不同版本的文档混在一起),模型可能引用过时的那一份。 - **指令污染**:资料里如果夹带了"指令式"文本(例如文档正文里写着"请忽略以上内容"),可能被当作指令执行。 实践结论:检索要讲精度而不是数量。宁可给 3 段高相关内容,也不要给 20 段泛相关的内容。这个判断在 RAG 场景里尤其重要——召回数量是一个需要权衡的参数,而不是越大越好。 ### Q:流式输出时 token 数怎么统计? A:结论先行——输入 token 在请求前即可算出,输出 token 必须在流式过程中累计,且两者口径要分别记录。 要点: - 多数厂商会在流式结束后给出用量统计(**具体字段与是否始终返回需结合厂商实现确认**)。拿不到时,需要在接入层按分块内容自行累计估算。 - 输入侧的计数发生在调用前,可用于限流和预算预判——这是"事前防御"。 - 输出侧只能在流结束(或中断)时得到最终值,因此计费与限流要能处理"先放行、后结算"的场景。 - 用户中途断开时,"实际生成了多少"和"实际被计费多少"可能不一致,两者要分别记录,才能和账单对账。 ### Q:工具调用的返回结果该不该计入历史? A:结论先行——应该计入,但必须裁剪并控制留存范围,否则它会迅速吃光上下文预算。 理由与做法: - **必须计入**:不把工具结果放进历史,模型下一轮就不知道上一步查到了什么,多步任务会直接断链。 - **必须裁剪**:工具返回的原始结构往往远超必要信息。只保留与本次任务相关的字段,其余丢弃。 - **考虑是否跨轮保留**:有些工具结果只对当时那一轮有用(如一次临时查询),后续轮次再保留纯属浪费。可以只保留"结论性摘要"。 - **敏感字段要脱敏**:工具返回里可能含用户隐私,写入历史前要处理。 ### Q:有了长上下文模型,还需要上下文管理吗? A:结论先行——需要,而且更需要。窗口变大只是抬高了上限,并没有解决成本、延迟和信息密度三个问题。 - **成本**:窗口大意味着"可以塞更多",也就意味着"更容易花更多钱"。不加管理时,成本会随手失控。 - **延迟**:输入越长,预填充阶段越慢,交互体验会明显变差。 - **效果**:长上下文里的中部信息仍可能被忽视,无关内容照样稀释关键信息。 - **稳定性**:上下文越长,越容易出现互相矛盾的材料,输出越不稳定。 一句话总结这个关系:**窗口增长改变的是"上限",管理策略决定的是"性价比"。** ### Q:多轮对话里"system prompt 被截断"为什么特别危险? A:结论先行——因为一旦截断逻辑把 system prompt 也纳入了竞争,模型会瞬间失去全部行为约束,表现为"人格突变"或"无视规则"。 排查与防御: - **把 system prompt 设为不可截断项**,这是硬性要求,而不是"优先级较高"。 - **监控"本轮是否包含完整 system prompt"**,一旦不包含要立即告警。 - **警惕"拼接后统一截断"的实现**:有些写法是先把 system、历史、当前问题拼成一个大字符串再按长度裁剪,这种写法极易把 system 的前半段裁掉。 - **当前问题同理**:被截断的当前问题会直接导致答非所问,而用户完全无法理解为什么。 ## 小结 - Token 是 LLM 的最小处理单位,也是计费与容量的计量单位;中文约 1-2 字 1 token,英文约 1 token ≈ 4 字符。 - 上下文窗口 = 输入 + 输出的总上限,system prompt、历史、当前问题、模型回答都要占额度。 - 超限通常不是报错而是静默丢信息,表现为"忘记前文"和"回答质量下降",这是最隐蔽的风险。 - 四类管理策略各有权衡:滑动窗口简单但健忘、摘要压缩省 token 但有损、首尾保留性价比最高、重要性筛选效果好但成本高。 - 生产上应组合使用:锁定 system prompt + 保首轮任务定义 + 中间摘要 + 最近 N 轮原文,并为输出预留额度。 - 预算要拆分、截断要日志、估算要留余量、长静态内容要外置到检索而不是常驻 prompt。 ## 思考题 1. 你的应用在实现上下文截断时,是"先丢最早"还是"先丢中间"?两种策略在什么场景下会导致完全不同的用户体验? 2. 如果一个多轮问答机器人必须记住第 1 轮设定的术语表,你会把这部分放在 system prompt、摘要块还是检索里?各自的成本与可靠性如何? 3. 为什么"把窗口调大"不能替代上下文管理?请从成本、延迟、效果三个角度各说一条理由。 4. 在 Agent 场景中,工具返回的超长 JSON 该如何处理才能既保留关键信息又不吃光预算? 5. 如果你要设计一个 token 预算分配器,你会把哪些内容列为"不可截断"?为什么? 6. 同一段中文在两个不同厂商的模型上 token 数不同,这对你的成本预估和限流设计意味着什么?
预览
发布文章
添加摘要让读者更快了解文章内容
取消
确认发布
AI 写作助手
输入一个主题,AI 将为你生成一篇 Markdown 博客文章
AI 正在写作中...
取消
开始生成
AI 优化助手
描述你的修改需求,AI 将在原文基础上进行补充或微调
AI 正在优化中...
取消
开始优化
画布
从已有图里选
✕
图名
保存后生成 /images/excalidraw/<图名>.svg(只能用字母、数字、短横线、下划线、点)
取消
保存并插入