知序
返回
保存草稿
发布
H1
H2
H3
1
2
3
Excalidraw 图
AI 写作
AI 优化
目录
输入内容后显示目录
Markdown
# 状态管理与上下文设计 > 导读:本文从"Agent 跑到一半突然开始违反最初的约束、或者反复干同一件事"这个具体痛点出发,把上下文预算怎么算、三种上下文压缩策略的取舍、工作记忆与长期记忆怎么划分、上下文注入顺序为什么重要,以及三类高频故障的定位与修复讲透,最后给出工程实践与踩坑。适合正在给 Agent 加"记忆"、或反复被追问"上下文不够用怎么办"的同学。 ## 一、先建立全局认知 ### Q:上下文窗口明明很大,为什么 Agent 还是会"忘事"? A:结论先行——因为"窗口大"不等于"有效注意力大"。窗口是一块共用的预算,被系统提示、工具描述、对话历史、检索文档共同瓜分;一旦预算被占满,早期信息要么被截断,要么被推到注意力最弱的中间区域,表现为"忘事"。 原文给出的一个典型占用拆解(示意,实际取决于你的配置):  *图:一次请求的上下文窗口占用与 token 开销构成* ```text 上下文窗口示例(不同模型的窗口大小差异较大,以官方文档为准): 系统 Prompt: 约 500 tokens 工具描述(10 个工具): 约 2000 tokens 对话历史(每轮约 500):10 轮 ≈ 5000 tokens 检索到的文档: 约 3000 tokens ───────────────────────────────── 已用: 约 10500 tokens 随着对话轮次增加,上下文会越来越满。 上下文满了之后,LLM 开始"忘事"——早期的信息被截断或被稀释。 ``` 关键点解读:这里有两个独立的失效机制,必须分开理解。**第一种是截断(Truncation)**:超出窗口的部分被物理丢弃,信息直接消失。**第二种是稀释(Attention Dilution)**:信息还在,但在长上下文里权重下降,模型"看得见却用不上"。前者靠容量管理解决,后者要靠信息布局与重复强调解决。很多人只处理了第一种,所以会出现"明明在窗口里,模型却当没看见"的现象。 ### Q:Agent 的"记忆"到底分成几类? A:结论先行——按生命周期分两类、按用途分三层。两级是工作记忆与长期记忆;三层则是在工作记忆内部进一步区分"任务事实""对话表现""外部知识"。 ```text 按生命周期划分: 工作记忆(当前任务) 存在 AgentState 中,任务结束后清空 包含:任务目标、计划、中间结果、对话历史 长期记忆(跨任务) 存在向量数据库或 KV 存储中,持久化保存 包含:用户偏好、历史经验、领域知识 按用途划分(工作记忆内部): 任务事实层:original_goal / plan / completed_steps / intermediate_results 对话表现层:messages(可裁剪、可摘要) 外部知识层:本轮检索到的文档(用完即弃) ``` 关键点解读:这张分层图是后面所有优化动作的地基。核心原则只有一条:**任务事实层是唯一事实源,对话表现层只是它的"视图"。** 一旦你把计划、约束、中间结果都塞进 messages,视图就变成了事实源,裁剪视图就等于丢失事实——这就是很多"摘要之后 Agent 就变傻"问题的真正原因。 ### Q:上下文到底贵在哪?为什么要像管预算一样管它? A:结论先行——上下文同时是"成本项"和"质量项":它按 token 计费,且长度上升会同时推高延迟、稀释注意力。所以上下文管理不是"省点钱",而是同时优化成本、延迟与准确率。 ```text 上下文的三重成本: 1. 金钱成本:按 token 计费(输入与输出通常分别计价) 2. 延迟成本:token 越多,单次推理耗时越长 3. 质量成本:过长上下文导致注意力稀释,关键信息被淹没 结论:上下文是最宝贵的资源,需要像管预算一样主动管理, 而不是"能塞就塞、塞不下再说"。 ``` 关键点解读:三项成本里,**"质量成本"最容易被低估**。很多团队发现 Agent 变笨了,第一反应是换更强的模型,其实是上下文被无关内容塞满。一个可操作的判据:如果你的任务成功率随对话轮次明显下降,先查上下文预算,再查模型。 ### Q:怎么估算 token?估算不准会怎样? A:结论先行——估算精度直接决定裁剪边界是否安全;实践中按"字符数乘系数"或调用分词器估算,但必须留安全余量,因为不同模型、不同语言的切分比例并不一致。 ```text 三种估算做法(精度递增,成本递增): 1. 粗估:按字符数乘经验系数(英文与中文的系数不同) 2. 分词器估算:用与目标模型一致的分词器精确计数 3. 事后校准:用接口返回的真实 usage 反推系数 注意:输入与输出要分别留预算, 输出空间不足会导致回答被截断。 ``` 关键点解读:估算误差的风险是"你以为没超、实际超了",结果要么被服务端截断、要么直接报错。所以裁剪阈值应当**设置得比真实上限更保守**,预留输出空间的余量。另外,让同一份估算逻辑贯穿"裁剪、监控、成本归因"三处,否则数据对不上,排查会非常痛苦。 ## 二、上下文管理的三种策略 ### Q:策略一"滑动窗口"怎么实现?代价是什么? A:结论先行——滑动窗口(Sliding Window)只保留最近的若干条消息,实现最简单、最便宜,但代价是早期信息会被丢弃,适合"近期信息最重要"的短任务。 实现要点有三:永远保留 system message;从最新往前取;按估算 token 数而不是消息条数截断。 ```python def trim_messages(messages: list, max_tokens: int = 4000) -> list: """只保留最近的消息,直到 token 数在限制内""" # 始终保留 system message system_msgs = [m for m in messages if m["role"] == "system"] other_msgs = [m for m in messages if m["role"] != "system"] # 从最新的消息开始,往前取,直到超出限制 kept = [] total_tokens = sum(estimate_tokens(m) for m in system_msgs) for msg in reversed(other_msgs): msg_tokens = estimate_tokens(msg) if total_tokens + msg_tokens > max_tokens: break kept.insert(0, msg) total_tokens += msg_tokens return system_msgs + kept ``` 关键点解读:三个容易忽略的细节。其一,`reversed` 保证了"优先保留最新";其二,`break` 而不是 `continue`,因为这是前缀截断语义,中间跳一条会造成对话逻辑断裂;其三,先把 system message 的 token 计入预算,避免系统指令被挤掉。另外要意识到 `estimate_tokens` 是估算,真实计费以模型侧为准,边界要留余量。**这个策略最大的问题:早期的重要信息可能被丢弃。** ### Q:策略二"摘要压缩"怎么做?为什么比滑动窗口好? A:结论先行——摘要压缩(Summarization)用一次额外的 LLM 调用,把旧消息压成"保留关键信息"的短摘要,从而在同样预算下保留更多"有效信息",代价是引入额外延迟、成本,以及摘要本身可能失真。 ```python SUMMARIZE_PROMPT = """请将以下对话历史压缩为简洁的摘要,保留关键信息: - 用户的原始目标 - 已完成的重要步骤 - 发现的关键信息 - 当前状态 对话历史: {history} 摘要:""" async def compress_history(messages: list, llm) -> str: """当历史过长时,用 LLM 压缩为摘要""" history_text = "\n".join([ f"{m['role']}: {m['content']}" for m in messages ]) summary = await llm.ainvoke( SUMMARIZE_PROMPT.format(history=history_text) ) return summary.content # 使用:当消息超过阈值时,压缩旧消息 async def manage_context(state: AgentState, llm) -> AgentState: if len(state["messages"]) > 20: # 压缩前 15 条消息 old_messages = state["messages"][:15] summary = await compress_history(old_messages, llm) # 用摘要替换旧消息 summary_message = { "role": "system", "content": f"[之前对话的摘要]\n{summary}" } state["messages"] = [summary_message] + state["messages"][15:] return state ``` 关键点解读:提示词里的四项"保留清单"(原始目标、已完成步骤、关键发现、当前状态)本质是一份"摘要 SLA"——它决定了摘要会不会丢关键信息。工程上有两点要注意:压缩是**有损**的,必须在触发前把关键事实落到结构化状态里;另外摘要调用本身也有失败可能,需要有降级(例如退化为滑动窗口)。把摘要消息标成 system 角色,是为了让它获得更高的注意力权重。 ### Q:摘要压缩什么时候触发?阈值怎么定? A:结论先行——不要按"消息到 20 条就压"这种拍脑袋规则,而应按"token 预算占比"触发,并把"压缩成本 + 信息损失"与"不压缩的膨胀成本"做对比。 ```text 触发设计的三个问题: 1. 何时压? 按注入 token 占预算的比例触发,而不是固定条数 2. 压多少? 只压"最老的、且已沉淀进状态"的部分,避免重复劳动 3. 压完如何验收? 校验摘要是否包含"目标 / 已完成 / 关键发现 / 当前状态"四项 失败降级: 摘要调用失败 → 退化为滑动窗口 摘要质量不达标 → 保留原始片段作为补充 ``` 关键点解读:这条设计的架构含义是——**压缩是有副作用的写操作,副作用越大越要保守触发。** 另外要注意"压缩的边际收益递减":越早的历史信息越可能已经被提炼进状态,压缩它们最安全;越近的历史越不可压。所以压缩对象应当是"头部旧消息",而不是均匀抽样。 ### Q:策略三"结构化状态 + 精简上下文"为什么是最佳实践? A:结论先行——因为它把"需要记住的信息"从对话历史里搬到结构化状态里,每次只把当前步骤真正需要的信息注入上下文。这样历史可以短、状态可以全,从根本上降低了长度与失真。 ```text 核心思想:把"需要记住的信息"从对话历史中提取出来, 存到结构化的状态对象里, 每次只把当前步骤需要的信息放进上下文。 对话历史(短):只保留最近 5~10 轮 结构化状态(完整):任务目标、计划、中间结果、已完成步骤 每次构建 Prompt 时,从状态中提取相关信息注入: ``` ```python def build_prompt(state: AgentState) -> str: """根据当前状态构建精简的 Prompt""" return f""" 你正在执行以下任务:{state['original_goal']} 当前进度: 已完成步骤:{', '.join(state['completed_steps'])} 当前步骤:{state['plan'][state['current_step']]} 关键信息: {format_key_info(state['intermediate_results'])} 请决定下一步行动。 """ ``` 关键点解读:这段代码只有十几行,但它代表了思路的转折——**上下文从"历史的累积"变成"状态的投影"**。收益是上下文长度与任务步数解耦:无论跑了 10 步还是 100 步,注入的上下文大小基本稳定。代价是你需要显式定义状态字段,并且每一步都要写"状态 → 上下文"的投影函数。 ### Q:三种策略怎么选?可以组合吗? A:结论先行——不是三选一,而是分层组合:以策略三为主干,策略二处理"必须保留的长历史",策略一作为最后兜底。 | 策略 | 实现成本 | 信息保真度 | 主要代价 | 适用位置 | |---|---|---|---|---| | 滑动窗口 | 最低 | 低(直接丢) | 早期信息丢失 | 兜底 / 短任务 | | 摘要压缩 | 中 | 中(有损) | 额外 LLM 调用与延迟 | 长对话的历史段 | | 结构化状态 + 精简上下文 | 较高 | 高 | 需定义状态与投影 | 主干方案 | 关键点解读:一个实用的组合顺序是——**先做状态投影(策略三),投影后仍超长再对旧历史做摘要(策略二),摘要也救不回来时用滑动窗口硬截断(策略一)。** 也就是说策略一是"保险丝",不应该成为默认路径。判断依据不要凭感觉,用每步的 token 统计来决定。 ## 三、状态与记忆的工程设计 ### Q:工作记忆和长期记忆的边界怎么划?为什么不干脆全持久化? A:结论先行——边界是"任务生命周期":任务内的信息放工作记忆,任务结束后清空;跨任务复用的信息(用户偏好、历史经验、领域知识)才进长期记忆。全量持久化的问题是噪声累积——上一次任务的临时细节会污染下一次的上下文。 ```text 工作记忆(当前任务): 存在 AgentState 中 任务结束后清空 包含:当前计划、中间结果、对话历史 长期记忆(跨任务): 存在向量数据库或 KV 存储中 持久化保存 包含:用户偏好、历史经验、领域知识 每次任务开始时,从长期记忆中检索相关信息注入工作记忆。 ``` 关键点解读:注意"注入"这个词——长期记忆不会自动生效,它必须在任务开始时被检索并投影进工作记忆。所以长期记忆的设计重点不是"存什么",而是"检索什么、以什么形式注入"。 ```python class AgentMemoryManager: def __init__(self, vectorstore, kv_store): self.vectorstore = vectorstore # 长期记忆(语义检索) self.kv_store = kv_store # 用户偏好等结构化数据 async def load_relevant_memory(self, task: str, user_id: str) -> dict: """任务开始时加载相关记忆""" # 检索相关的历史经验 similar_tasks = await self.vectorstore.asimilarity_search( task, k=3, filter={"user_id": user_id} ) # 加载用户偏好 preferences = self.kv_store.get(f"user:{user_id}:preferences", {}) return { "similar_experiences": [t.page_content for t in similar_tasks], "user_preferences": preferences } async def save_task_result(self, task: str, result: str, user_id: str): """任务结束后保存经验""" await self.vectorstore.aadd_texts( texts=[f"任务:{task}\n结果:{result}"], metadatas=[{"user_id": user_id, "type": "task_result"}] ) ``` 关键点解读:这里体现了"两种存储各司其职"的架构取舍——**偏好类信息用 KV(精确、结构化、按 key 取),经验类信息用向量库(模糊、语义、按相似度取)。** 用向量库存偏好反而会引入不稳定性(相似度阈值难调)。另外注意检索时的 `filter`:多租户系统必须按 user_id 隔离,否则会串数据,这属于安全和正确性问题,不只是性能问题。 ### Q:中间结果到底该放消息里,还是放状态里? A:结论先行——放状态里,消息里只留摘要。完整数据放状态供程序与后续步骤按需读取,消息里只记录"发生了什么"的一句话,避免上下文被大块原文撑爆。 ```python # 不好的设计:把所有中间结果都塞进消息里 messages = [ {"role": "assistant", "content": "搜索结果:[大量文本...]"}, {"role": "assistant", "content": "分析结果:[大量文本...]"}, # 上下文越来越长 ] # 好的设计:中间结果存在状态里,消息只保留摘要 state = { "intermediate_results": { "search_result": "...", # 完整结果 "analysis": "...", # 完整结果 }, "messages": [ {"role": "assistant", "content": "已完成搜索,找到 5 条相关结果"}, {"role": "assistant", "content": "分析完成,关键发现:XXX"}, # 消息只是摘要,不包含完整数据 ] } ``` 关键点解读:这是全文最省 token 的一条改动。注意摘要里要保留"可索引线索"(比如"找到 5 条"、"关键发现:XXX"),否则模型不知道该去状态里取什么。如果确实需要把完整结果给模型看,正确做法是"按需注入"——只在需要它的那一步临时注入,用完就不再保留。 ### Q:状态字段应该怎么设计,才不至于越改越乱? A:结论先行——按"事实 / 进度 / 产物 / 控制"四类分组,字段只增不删并带版本号,避免不同版本的任务从检查点恢复时解析失败。 ```text 状态字段的四类分组: 事实类:task_id、original_goal、constraints(约束) 进度类:status、plan、current_step、completed_steps 产物类:intermediate_results、final_result 控制类:error_count、last_error、retry_budget、trace_id 设计约束: 字段只增不删,废弃字段保留但标记 deprecated 增加 schema_version 字段,恢复时按版本做兼容处理 ``` 关键点解读:状态是要被持久化、被跨版本读取的,所以它的兼容性要求和对外接口协议是一个级别。常见的坑是"上线时删了一个字段",结果老任务的检查点恢复直接报错;或者"恢复出来的状态缺字段",投影函数抛异常。加一个 `schema_version` 与默认值,成本极低、收益极高。 ### Q:状态是不是记得越多越好? A:结论先行——不是。状态要"完整但不冗余":凡是能从已有字段推导出来的信息就不要单独存,否则会产生"两份事实"和一致性问题;但凡是"以后需要用到且无法推导"的,就必须存。 ```text 两类判断: 可推导 → 不存(存了就要维护同步,容易不一致) 例:总步数可由 plan 长度得到 不可推导 → 必须存(丢了就再也拿不回来) 例:用户当时的约束、外部检索到的关键结论、工具返回的原始数据 典型错误: 把"模型的完整输出"直接当作状态字段 → 状态膨胀,且投影时会再次把全文塞回上下文 ``` 关键点解读:这里有一条很实用的经验——**判断一个字段该不该进状态,问"如果我把它丢掉,后续步骤还能不能正确完成?"** 能,就不该存;不能,就必须存。另外要避免把"模型输出原文"当状态,因为状态会被投影回上下文,一旦状态里是全文,前一篇讲的"消息只留摘要"就白做了。 ## 四、上下文注入顺序 ### Q:为什么"信息放的位置"和"放什么"一样重要? A:结论先行——因为长上下文存在"中间遗忘"(Lost in the Middle)现象:开头和结尾的信息被注意到的概率显著高于中间。所以重要信息要放在两头,次要信息放中间。  *图:Lost in the Middle——开头与结尾注意力高、中间低* ```text LLM 对上下文的注意力分布(Lost in the Middle 现象): ┌──────────────────────────────────────────┐ │ 注意力高 │ 注意力低 │ 注意力高 │ │ (开头) │ (中间) │ (结尾) │ └──────────────────────────────────────────┘ 最重要的信息放开头或结尾: 开头:系统 Prompt、任务目标、关键约束 结尾:当前步骤的具体指令、最近的对话 中间:背景信息、历史记录(相对不重要的) ``` 关键点解读:这不是"玄学",它解释了第 02 篇开头那个痛点——**最初的约束被后面的内容推到中间,权重下降,于是 Agent"忘了规则"。** 因此关键约束不能只在开头写一次,还要在结尾复述(见下方代码的第 5 步思路)。注意"注意力分布"是经验性规律,不同模型的曲线形态会有差异,实战中应以自测为准。  *图:上下文注意力分布* ### Q:一个顺序优化过的 Prompt 应该长什么样? A:结论先行——五段式:系统提示(含任务目标)→ 背景资料 → 历史摘要 → 最近对话 → 当前指令,重要性依次向两头收敛。 ```python def build_optimized_prompt(state: AgentState, retrieved_docs: list) -> list: messages = [] # 1. 系统 Prompt(开头,高注意力) messages.append({ "role": "system", "content": SYSTEM_PROMPT + f"\n\n任务目标:{state['original_goal']}" }) # 2. 背景信息(中间,低注意力区域) if retrieved_docs: messages.append({ "role": "user", "content": "参考资料:\n" + "\n".join(retrieved_docs) }) # 3. 历史摘要(中间) if state.get("history_summary"): messages.append({ "role": "assistant", "content": f"[历史摘要] {state['history_summary']}" }) # 4. 最近的对话(结尾,高注意力) messages.extend(state["messages"][-5:]) # 5. 当前指令(结尾,最高注意力) messages.append({ "role": "user", "content": f"当前步骤:{state['plan'][state['current_step']]}\n请决定下一步行动。" }) return messages ``` 关键点解读:第 2、3 步放中间是刻意为之——参考资料是有噪声的、历史摘要是已经消化过的,它们"位置吃亏"可以接受;而第 1 步的任务目标与第 5 步的当前指令必须占据注意力高地。**一个可复用的原则:开头放"永恒约束",结尾放"此刻该做什么"。** ### Q:工具结果又长又关键,怎么注入才不撑爆上下文? A:结论先行——工具结果一律"先进状态、后按需投影",消息里只保留可检索的摘要与引用标识。 ```text 工具结果注入规则: 1. 完整结果 → 写入 state.intermediate_results[<key>] 2. 消息中只写:"已调用 <tool>,概要:<一两句>,完整结果键:<key>" 3. 若后续步骤确需全文 → 在那一步临时注入,用完即弃 4. 超长结果先做确定性裁剪(截断/分页),不要交给 LLM 摘要 ``` 关键点解读:第 4 条尤其重要——**能用代码做的裁剪就不要动用 LLM**,因为它是确定性的、零额外成本、零失真的。只有"需要语义理解才能压缩"的内容(如长文档要点)才值得走摘要。这是"成本与可靠性"在同一次设计里的典型体现。 ## 五、工程实践与踩坑 ### Q:Agent 忘记了早期设定的约束,怎么修? A:结论先行——三层修复:把关键约束在每次请求的末尾复述、把约束写进状态并每步重新注入、用代码(条件边等)在代码层强制。 ```text 症状:任务进行到一半,Agent 开始违反最初的规则 原因:系统 Prompt 被推到上下文中间,注意力降低 解决: 1. 把关键约束放在每次请求的末尾(不只是开头) 2. 在状态中显式记录约束,每次构建 Prompt 时重新注入 3. 使用 LangGraph 的条件边,在代码层面强制执行约束 ``` 关键点解读:注意第 3 条是"降维打击"——能靠代码保证的事,就不要指望 Prompt。例如"不能调用删除类工具",最可靠的做法不是写进提示词,而是根本不把该工具暴露给模型,或者在图里加一个拒绝节点。 ### Q:Agent 重复做已经做过的事,怎么修? A:结论先行——在状态里维护 `completed_steps` 并每步明确告知模型,同时在工具调用前做结果缓存命中判断。 ```text 症状:Agent 反复调用同一个工具,或重复执行已完成的步骤 原因:已完成的步骤没有被明确记录,LLM 不知道已经做过了 解决: 在状态中维护 completed_steps 列表 每次构建 Prompt 时明确告诉 LLM 哪些步骤已完成 在工具调用前检查是否已有缓存结果 ``` 关键点解读:这三条对应三个不同的失效层次——"告知"解决模型不知情,"缓存"解决程序重复执行,两者缺一不可。因为即使模型知道了,它也可能因为参数微小差异再调一次,这时缓存(或幂等键)才是真正的兜底。 ### Q:上下文越来越长、响应越来越慢,怎么修? A:结论先行——给消息数量设上限,超限触发摘要压缩,并把中间结果从消息挪到状态。 ```text 症状:随着对话轮次增加,每次响应时间线性增长 原因:Token 数量增加,LLM 处理时间增加 解决: 设置消息数量上限(如最多保留 20 条) 超过上限时触发摘要压缩 中间结果存在状态里,不放进消息 ``` 关键点解读:"消息数量上限"是一个粗糙但极其有效的硬约束。更精细的做法是按 token 预算而非条数控制(见策略一),但条数上限的好处是**实现简单、行为可预测**,适合作为第一道防线。注意"如最多保留 20 条"只是示意,具体阈值要按你的单条消息平均长度实测调整。 ### Q:怎么验证上下文管理确实有效? A:结论先行——盯三个可量化信号:每步注入的 token 数是否稳定、任务成功率是否随步数衰减、单位任务的输入 token 是否下降。 ```text 验证指标: 1. 每步注入 token 数的方差 → 应当基本稳定(说明长度与步数解耦) 2. 成功率 vs 步数曲线 → 不应出现明显下滑(说明没有"越跑越傻") 3. 单位任务输入 token 趋势 → 优化后应下降(说明裁剪真的生效) ``` 关键点解读:这三个指标的前提是"每步都记录了 token 与结果",也就是第 05 篇要讲的可观测性。所以上下文优化和可观测性往往是同一次改造完成的。 ### Q:面试追问——"上下文压缩会不会导致信息不可逆丢失?" A:结论先行——会,而且这是必须接受的设计前提。所以正确姿势是"事实先落地、再压缩视图",让被压缩掉的只是冗余表述,而不是唯一事实。 ```text 防丢失的三条硬规则: 1. 任何"以后可能用到"的事实,先写入结构化状态,再进对话 2. 摘要产出要可追溯:保留原始消息引用,必要时回查 3. 关键约束不进摘要,而是作为"永恒字段"每步重新注入 ``` 关键点解读:这三条把"压缩"从"丢信息"变成了"降冗余"。引用回溯链是低成本高价值的兜底——真出问题时,你能从追踪记录里把原文捞回来复盘。 ## 小结 - 上下文是最宝贵的资源:它同时约束成本、延迟与准确率,要像管预算一样主动管理。 - 两大失效机制要分开治:截断靠容量管理,稀释靠信息布局。 - 三种策略是分层的,不是三选一:结构化状态投影为主干 → 摘要压缩处理长历史 → 滑动窗口兜底。 - 记忆分两级:工作记忆(任务内,结束即清)与长期记忆(跨任务,检索后注入)。 - 中间结果放状态、消息只留摘要;摘要里要保留可索引线索。 - 信息布局原则:开头放永恒约束,结尾放此刻指令,中间放参考资料与历史摘要。 - 三类高频故障(忘约束、重复劳动、越跑越慢)分别对应"复述 + 状态注入 + 代码兜底"、"completed_steps + 缓存"、"上限 + 摘要 + 结果外置"。 ## 思考题 1. 如果把中间结果全部外置到状态,会不会导致模型"看不到细节而做不出判断"?你会怎么设计"按需注入"的触发条件? 2. 摘要压缩本身要花一次 LLM 调用,且可能失真。请设计一个判据,决定"什么时候值得压缩"而不是直接丢。 3. Lost in the Middle 现象意味着结尾位置最贵。当"当前指令"和"最近对话"都想要结尾位置时,你会如何排序?依据是什么? 4. 长期记忆用向量库检索,如果召回的经验与当前任务"看似相似实则无关",会带来什么后果?如何设计过滤与阈值? 5. 假设某任务的对话必须保留 50 轮以上才能保证质量,你的三层策略组合会如何调整?还有什么其他方案?
预览
发布文章
添加摘要让读者更快了解文章内容
取消
确认发布
AI 写作助手
输入一个主题,AI 将为你生成一篇 Markdown 博客文章
AI 正在写作中...
取消
开始生成
AI 优化助手
描述你的修改需求,AI 将在原文基础上进行补充或微调
AI 正在优化中...
取消
开始优化
画布
从已有图里选
✕
图名
保存后生成 /images/excalidraw/<图名>.svg(只能用字母、数字、短横线、下划线、点)
取消
保存并插入