知序
返回
保存草稿
发布
H1
H2
H3
1
2
3
Excalidraw 图
AI 写作
AI 优化
目录
输入内容后显示目录
Markdown
# 06 - Prompt 工程与生成 > 导读:本文从"检索明明拿回了正确资料,模型却还是答偏了"这个让人抓狂的现象出发,把 RAG 的 Prompt 四段结构、模板写法与代码实现、减少幻觉的五个技巧、上下文窗口管理与 Lost in the Middle 问题、多轮对话改写、引用溯源以及工程踩坑讲透,最后给出 Prompt 层的调优清单。适合正在调试 RAG 回答质量、或面试中被追问"怎么减少幻觉、怎么管上下文"的同学。 ## 一、先建立全局认知 ### Q:RAG 的 Prompt 和普通 Prompt 有什么本质区别? A:结论先行——RAG 的 Prompt 里多了一段"外部资料"(Context),模型的任务从"凭记忆回答"变成了"基于给定资料回答",因此**约束的重点也从'激发能力'变成了'限制行为'**。 这个区别带来三个具体要求: - **必须明确资料的边界**:告诉模型"只能用这些资料",否则它会混入自己的先验知识,产生"看起来对但不符合资料"的答案。 - **必须有兜底约定**:告诉模型"资料里没有就说不知道",否则它会硬编一个。 - **必须处理资料的体量与顺序**:资料是外部注入的,长度和位置都可控,因此可以(也应该)做工程上的编排。 一句话概括:**普通 Prompt 追求"答得好",RAG Prompt 同时追求"答得有依据"**。 ### Q:RAG 的 Prompt 由哪几部分组成? A:结论先行——四段:System Prompt(角色与规则)、Context(检索到的文档片段)、User Question(用户问题)、Instructions(回答要求)。  *图:RAG 的 Prompt 结构——角色、上下文、问题与回答要求* ```text ┌─────────────────────────────────────┐ │ System Prompt(角色设定 + 规则) │ │ "你是一个专业的技术助手..." │ ├─────────────────────────────────────┤ │ Context(检索到的文档片段) │ │ [文档1] RAG 是检索增强生成... │ │ [文档2] 向量数据库用于存储... │ │ [文档3] Embedding 将文本转为向量... │ ├─────────────────────────────────────┤ │ User Question(用户问题) │ │ "RAG 系统的核心组件有哪些?" │ ├─────────────────────────────────────┤ │ Instructions(回答要求) │ │ "基于以上文档回答,如果文档中没有 │ │ 相关信息,请说不知道" │ └─────────────────────────────────────┘ ``` 四段各自的职责,值得逐一记住: - **System Prompt**:定义角色与全局规则。角色设定能影响措辞风格,但**真正起作用的是规则**——"只依据资料回答"这类约束才是防幻觉的关键。 - **Context**:注入检索结果。这里是唯一的事实来源,也是需要按"顺序 + 总量"精心编排的部分。 - **User Question**:用户原始问题。注意在多轮对话中,它可能需要先被改写(见后文)。 - **Instructions**:回答的具体要求,如引用格式、篇幅、语言、是否允许推测。 工程上一个常见误区是**把规则放在 User 消息里而不是 System 里**,或者把规则和问题混在一段文字中。结构化分开写,既便于复用,也便于后续按 A/B 测试单独调整某一段。 ### Q:System Prompt 里的"角色设定"到底有没有用? A:结论先行——有用,但作用主要在**措辞风格、身份一致性**上;真正决定答案是否可靠的,是规则约束和上下文质量。 实践观察可以这样区分: - **角色设定("你是一个资深技术专家")**:主要影响语气、详略程度、专业术语的密度。它能让回答"更像专家写的",但**不会让模型凭空掌握它不知道的知识**。 - **规则约束("只依据资料回答""没有就说不知道")**:直接影响事实可靠性,是 RAG 场景里权重最高的一段。 - **格式要求("用 Markdown 输出""分点作答")**:影响可用性,也便于后续解析。 所以在有限的时间和精力下,**优先把规则写清楚,再打磨角色和风格**。把大量篇幅花在"人设雕琢"上,是本末倒置。 ## 二、Prompt 模板与代码实现 ### Q:一个实用的 RAG Prompt 模板长什么样? A:结论先行——把"角色、规则、资料、问题、回答引导"写成固定骨架,规则用编号列出,形成可复用的模板。 ```python RAG_PROMPT = """你是一个专业的技术助手。请基于以下参考文档回答用户的问题。 规则: 1. 只基于提供的文档内容回答,不要编造信息 2. 如果文档中没有相关信息,请明确说"根据现有资料,我无法回答这个问题" 3. 回答时引用文档来源 4. 保持回答简洁准确 参考文档: {context} 用户问题:{question} 回答:""" ``` 逐条解读这四条规则的设计意图: - **规则 1(只基于文档)**:这是防幻觉的第一道闸门。它把模型的"自由发挥"空间压缩到"资料范围内"。 - **规则 2(兜底话术)**:给出明确的"不知道"表达方式。**如果没有这句话,模型在资料缺失时往往会自行编造**——因为它不知道"承认不知道"是被允许的。这条规则的价值极高,也是最容易被漏掉的一条。 - **规则 3(引用来源)**:既提升可信度,也让回答可核查。同时它有一个隐性好处:**要求引用会迫使模型更贴近原文**,从而进一步抑制幻觉。 - **规则 4(简洁准确)**:抑制模型"长篇铺垫"的倾向,减少无效输出。 模板末尾的 `回答:` 是一个"引导词",用于提示模型从这里开始生成——属于提示工程的常规技巧。 ### Q:LangChain 里怎么把检索和 Prompt 串起来? A:结论先行——用 `ChatPromptTemplate` 定义模板,用 LCEL 把"检索 → 格式化 → 拼 Prompt → 调模型 → 解析输出"串成一条链。 ```python # LangChain 实现 from langchain.prompts import ChatPromptTemplate from langchain_openai import ChatOpenAI from langchain_core.output_parsers import StrOutputParser from langchain_core.runnables import RunnablePassthrough prompt = ChatPromptTemplate.from_template(RAG_PROMPT) llm = ChatOpenAI(model="gpt-4o") rag_chain = ( {"context": retriever | format_docs, "question": RunnablePassthrough()} | prompt | llm | StrOutputParser() ) answer = rag_chain.invoke("RAG 系统的核心组件有哪些?") ``` 这段链式代码有四个关键点: - **`retriever | format_docs`**:先检索出文档列表,再由 `format_docs` 把 Document 列表拼成一段文本,填入模板的 `{context}`。**`format_docs` 是唯一决定"片段如何拼接"的地方**,包括分隔符、是否带来源标注、顺序如何——它是 Prompt 质量的实际控制点。 - **`RunnablePassthrough()`**:把用户问题原样透传,填入 `{question}`。它与 `context` 分支并行执行,二者共同构成 Prompt 的输入字典。 - **`| prompt | llm | StrOutputParser()`**:标准的三段式——构造 Prompt、调用模型、把模型输出解析成字符串。 - **`invoke(...)` 传入的是原始问题字符串**,因此上面两个分支分别拿到了"检索结果"和"问题本身"。 理解这条链的价值在于:**它把 RAG 的每一个可优化点都变成了链上的一个节点**。比如想在检索和格式化之间插入重排序,只需在 `retriever | ...` 之间加一环;想加引用标注,改 `format_docs` 即可。 ### Q:为什么说 `format_docs` 这种"格式化函数"比想象中重要? A:结论先行——因为它决定了"模型看到什么、以什么顺序、带不带出处",本质上是在做上下文编排,而不是简单的字符串拼接。 一个合格的格式化函数通常要处理五件事: - **分隔与标记**:明确标出每段资料的边界(如 `[文档1] ...`),避免多段资料连成一坨,模型分不清出处。 - **附带来源**:把文件名、章节、页码等元数据一起拼进去,这是引用溯源的前提。 - **顺序安排**:按重排序分数把最相关的放两端,对应前面讲的注意力分布问题。 - **长度控制**:累计 token 超过预算时截断或丢弃靠后的片段。 - **去重**:多路召回可能带来重复片段,重复会让模型高估该信息的重要性。 所以**当回答质量不理想时,除了看 Prompt 模板,也一定要看 `format_docs` 的输出实际长什么样**。很多"Prompt 调不动"的问题,根源其实在格式化环节把关键信息丢了。 ## 三、减少幻觉:五个可操作技巧 ### Q:怎么系统地减少幻觉? A:结论先行——五个手段:明确指令、兜底机制、要求引用、降低温度、以及最根本的"提高检索质量"。 ```text 1. 明确指令:"只基于提供的文档回答" 2. 兜底机制:"如果不知道就说不知道" 3. 要求引用:"请标注信息来源" 4. 温度调低:temperature=0 或 0.1(减少随机性) 5. 上下文质量:检索越准,幻觉越少(根源) ``` 逐条说明作用机理与优先级: - **明确指令**:划定"可用知识范围",属于低成本高收益的第一招。 - **兜底机制**:给模型一个"合法的退路"。缺少它时,模型倾向于用编造来"完成任务"。 - **要求引用**:把"生成"变成"带出处的生成",模型必须锚定到具体片段。 - **降低温度**:`temperature` 控制输出的随机性。设为 0 或 0.1 会显著减少"自由发挥",但注意**它降低的是随机性,不是错误率**——如果资料本身有误,低温只会让模型更"稳定地"重复这个错误。 - **上下文质量(根源)**:这一条最重要。前四条都是"在给定资料的前提下减少跑偏",而检索质量决定了"资料本身对不对"。**资料错了,任何 Prompt 技巧都救不回来。** 所以在排查顺序上应该是:先确认检索结果正确 → 再检查 Prompt 约束是否完整 → 最后才考虑温度等生成参数。 ### Q:temperature 设为 0,就完全没有幻觉了吗? A:结论先行——不是。温度只影响采样的随机性,不改变模型的知识边界,也不能修正错误的资料。 `temperature=0` 的实际效果是"每次都用概率最高的词",因此输出更稳定、更少发散。但它解决不了三类问题: - **资料本身错误或过时**:低温会让模型"稳定地"复述错误内容。 - **资料缺失**:模型仍可能在"没有依据"的情况下顺着语言习惯补出一个答案。 - **资料自相矛盾**:模型会倾向于选一种表述,而选哪种不完全由温度决定。 所以要建立的正确认知是:**`temperature` 是"稳定器",不是"事实校验器"**。真正减少幻觉要靠"检索准确 + 约束清晰 + 必要时兜底"这三件事。 ### Q:如果检索到的文档互相矛盾,LLM 会怎么处理? A:结论先行——没有额外指令时,模型可能只采纳其中一种(未必是正确的那一种),也可能把矛盾的两句话都复述出来,甚至"折中"出一个两边都不对的答案。 这是一个非常现实的场景(比如新旧两版制度都在库里)。三种应对思路: - **在 Prompt 中显式规定冲突处理规则**:例如"若资料互相矛盾,请指出矛盾并说明各自出处,不要自行裁决"。 - **在检索层做时效过滤**:用元数据(如日期)只保留最新版本,从源头消除矛盾。**这是更根本的做法。** - **在数据层治理**:定期清理过期文档,避免同一事实存在多个版本。 面试时如果被问到这里,能答出"优先在数据与检索层解决,而不是指望 Prompt 层调和",会显得更专业。 ### Q:为什么"检索越准,幻觉越少"是最根本的一条? A:结论先行——因为模型的回答只能在"它看到的信息"范围内组织;资料不对,任何措辞技巧都只是让错误表达得更自信。 把五个技巧按层级重新理解,会更清晰: - **越靠前越根本**:检索质量属于"输入层",它决定了模型眼里的世界是否正确。 - **越靠后越像补丁**:句式、温度、格式要求属于"输出层",它们只能改变表达方式,无法修正事实。 所以一个健康的投入顺序是:**先把输入层做扎实(检索准),再用输出层的手段兜底(约束与话术)**。反过来投入,就会出现"Prompt 越写越长、效果却基本不动"的困境。 ## 四、上下文窗口管理 ### Q:检索到的文档太多、超过上下文窗口,怎么办? A:结论先行——四种方案:限制 Top-K、上下文压缩、Map-Reduce、使用长上下文模型。 ```text 问题:检索到的文档太多,超过上下文窗口怎么办? 方案 1:限制 Top-K 只取最相关的 3~5 个 Chunk 方案 2:上下文压缩 用 LLM 先对检索到的文档做摘要,再放入 Prompt 方案 3:Map-Reduce 每个文档单独问 LLM,最后汇总 方案 4:长上下文模型 GPT-4o(128K)、Claude(200K)可以放更多文档 但 Token 越多成本越高,且"中间丢失"问题 ``` 把这四种方案放在"成本—效果"的坐标上比较,选型就清楚了: - **限制 Top-K**:最省事、最便宜,代价是可能丢掉排在后面的相关信息。它是**默认首选**,配合重排序效果最好。 - **上下文压缩**:先摘要再放入,能显著缩短长度,但**摘要本身可能丢失关键细节**——对于"要精确数字、精确条款"的问答,摘要是有风险的。适合"总结性问答"而非"精确查找"。 - **Map-Reduce**:每个文档单独处理再汇总。优点是单次上下文压力小、适合"跨多文档汇总"的任务;缺点是**调用次数成倍增加**,成本和延迟都上升,且"分而治之"的汇总环节本身也可能丢信息。 - **长上下文模型**:窗口大、实现简单,但有两个代价——**token 越多越贵**,以及"中间丢失"问题(见下一问)。 决策建议:**先用"重排序 + 限制 Top-K"作为基线**,只有在"确实需要跨大量文档汇总"时才考虑 Map-Reduce,长上下文模型则作为"资料量适中但确实需要更多上下文"时的选项。 ### Q:什么是对"Lost in the Middle"问题? A:结论先行——模型对上下文**中间位置**的信息注意力偏低,而对开头和结尾的内容更敏感,因此最重要的片段应该放在两端。  *图:LLM 对上下文中部的注意力最低* ```text LLM 对上下文中间位置的信息关注度低 ┌──────────────────────────────────────┐ │ 注意力高 │ 注意力低 │ 注意力高 │ │ (开头) │ (中间) │ (结尾) │ └──────────────────────────────────────┘ 解决:把最相关的文档放在开头或结尾,不要放中间 ``` 理解这个现象的实践意义很大,因为它说明**上下文不是"塞进去就完事"**: - **排序即信息**。检索结果经重排序后,分数最高的片段应放在开头或结尾。 - **K 大未必更好**。K 增大后,真正重要的内容更容易被"埋"在中间,反而降低被使用的概率——这正好解释了上一章"召回与精确需要权衡"在生成侧的体现。 - **压缩要保重点**。做上下文压缩时,优先保留与问题最相关的信息,而不是均匀摘要。 由此可以提炼出一条很实用的设计原则:**"少量、精准、放两端",通常优于"大量、全量、平铺开"**。 ### Q:既然长上下文模型窗口很大,是不是可以不用 RAG 了? A:结论先行——不行。长上下文解决的是"装得下",RAG 解决的是"找得准",两者的目标不同,而且全量塞入会同时带来成本、延迟和注意力稀释三重问题。 具体对比: - **成本**:token 越多,单次调用越贵。而 RAG 只把最相关的几个片段送进去,成本可控。 - **注意力稀释**:上下文越长,中间位置越容易被忽略(Lost in the Middle)。全量塞入反而让真正有用的内容更难被注意到。 - **时效性**:长上下文要求每次请求都重新传入全部文档,无法像 RAG 那样"文档更新一次、索引更新一次"。 - **检索精度**:RAG 的检索与重排序是专门为"找相关"设计的,比"把一堆东西摊在模型面前让它自己找"更可靠。 所以更合理的理解是:**长上下文是 RAG 的一个可用组件(用来放宽单次注入的资料量),而不是 RAG 的替代品**。 ## 五、多轮对话中的 RAG ### Q:多轮对话为什么会让检索失效?怎么解决? A:结论先行——因为后续问题常含指代和省略(如"它""这个"),直接拿去做检索会匹配不到任何有用内容;解决方法是先用 LLM 把问题改写成独立完整的问题。 ```python # 问题:多轮对话中,后续问题可能依赖上下文 # "RAG 是什么?" → "它和微调有什么区别?" # "它" 指的是 RAG,但直接拿 "它和微调有什么区别" 去检索效果很差 # 解决:先用 LLM 改写问题,补全上下文 contextualize_prompt = """根据对话历史,将用户的最新问题改写为一个独立的、完整的问题。 对话历史: {chat_history} 最新问题:{question} 改写后的问题:""" # "它和微调有什么区别?" → "RAG 和微调有什么区别?" # 用改写后的问题去检索,效果好很多 ``` 这个问题的本质是"**检索是无状态的,而对话是有状态的**"。检索器只看到当前这一句话,无法知道"它"指什么。所以必须做一次"状态补全",把对话历史注入进来,生成一个自包含的查询。 工程上要注意三点: - **改写是一次额外的模型调用**,会增加延迟和成本,对延迟敏感的场景可考虑"仅在检测到指代/省略时才改写"。 - **改写有出错风险**,可能把原意改偏。实践中通常保留原始问题也一并检索,作为兜底。 - **对话历史要截断**:历史太长时只保留最近若干轮,否则改写本身的上下文也会溢出。 ## 六、引用与溯源 ### Q:怎么让回答带上引用来源? A:结论先行——在 Prompt 里给每个文档编号并附上来源信息,要求模型用编号标注引用,同时让检索结果携带元数据以供拼装。 ```python # 让 LLM 在回答中标注来源 RAG_PROMPT_WITH_CITATION = """基于以下文档回答问题,并在回答中用 [1] [2] 标注引用来源。 文档: [1] {doc1_source}: {doc1_content} [2] {doc2_source}: {doc2_content} [3] {doc3_source}: {doc3_content} 问题:{question} 回答(请标注引用):""" # 输出示例: # RAG 是检索增强生成的缩写 [1],它通过检索外部知识库来增强 LLM 的回答 [2]。 ``` 引用溯源的价值有三层: - **对用户**:可以点开来源核对,从"相信模型"变成"相信资料"。 - **对模型**:要求标注出处会约束它贴近原文,间接减少幻觉。 - **对团队**:当答案被质疑时,能快速定位是"检索错了"还是"模型用错了",这是**可观测性**的一部分。 实践提醒:引用编号必须与 Prompt 中的编号严格对应,且**编号到来源的映射要在程序侧维护**,不能指望模型自己记住"来源是哪个文件"。如果 `format_docs` 把来源信息丢了,模型就只能编一个来源——这是一个常见但容易忽略的坑。 ### Q:如果业务要求固定格式输出(如 JSON),怎么保证稳定? A:结论先行——把格式要求写进 Prompt 并给出完整样例,同时用解析校验 + 失败重试兜底;不要只靠"请输出 JSON"这一句话。 三层保障缺一不可: - **Prompt 层**:明确写出字段名、类型、是否必填,并给一个完整的输出示例。示例比描述有效得多。 - **解析层**:用结构化输出的能力(很多模型/框架支持约束返回格式)或严格的解析器,对返回结果做校验;**校验失败要有明确的分支**,而不是让脏数据流到下游。 - **兜底层**:解析失败时重试一次(可调低温度),仍失败则降级为自然语言回答并记录日志,避免整条链路报错。 这里的关键认知是:**格式约束的可靠性取决于"校验 + 兜底",而不是祈祷模型每次都听话**。同时要记住"引用编号/字段映射由程序维护"这条原则——程序侧掌握映射关系,模型只负责填空。 ## 七、工程实践与踩坑 A:Prompt 层的坑大多表现为"看起来调了 Prompt,实际是别的问题": ```text √ 规则写全,尤其是"不知道就说不知道"的兜底话术 √ 来源信息随上下文一起传入,引用编号与来源映射由程序维护 √ 重要片段放上下文两端,控制进入 Prompt 的总长度 √ 多轮对话先改写问题再检索 √ Prompt 改动要纳入评测,不能只靠肉眼观察几条样例 × 只调 Prompt 不查检索,把检索问题误判成生成问题 × 把规则塞在 User 消息里而不是 System 里 × 认为 temperature=0 等于没有幻觉 × 长上下文模型就无脑塞入全部文档 ``` 几个值得展开的坑: - **归因错误**:回答不准时第一反应是改 Prompt,但真实原因可能是检索没召回。**先打印 Top-K 原文**,再决定改哪里。 - **规则互相冲突**:比如同时要求"回答详细"和"保持简洁",模型会摇摆。规则条目多了以后要做一次"冲突审查"。 - **兜底话术被绕过**:如果系统提示里给了兜底话术,但检索总会返回一些低分片段,模型仍可能从低分片段里硬答。此时应结合相似度判据,在检索层就决定"是否降级为兜底回答"。 - **格式约束后置**:如果业务要求固定输出格式,最好在 Prompt 中明确给出格式样例,而不是事后用正则去抠——后者很脆弱。 ### Q:Prompt 需要做版本管理吗? A:结论先行——需要。Prompt 是决定线上效果的关键资产,任何改动都应该可追溯、可回滚、可评测。 三个实践要点: - **纳入版本管理**:把 Prompt 模板当作代码或配置管理起来,记录每次改动的内容与原因。**不要在生产环境里"随手改一句话"**。 - **改动必须评测**:Prompt 的改动影响面很大(可能让某类问题变好、另一类变差),因此要用固定评测集对比改动前后的表现,而不是只看几条样例。 - **保留灰度与回滚能力**:Prompt 变更应该可以灰度发布并快速回滚,尤其是当它与检索配置一起变化时。 这条经验的价值在于:RAG 系统的效果是多环节耦合的,一旦没有版本管理,"到底是哪次改动导致效果变差"就会变成一个无法回答的问题。 ### Q:流式输出对 RAG 体验有什么影响? A:结论先行——流式输出不改变答案质量,但能显著改善"感知延迟";不过它要求把生成放在链路末端,并处理好引用信息的展示时机。 - **感知延迟**:即使总耗时不变,逐字返回也能让用户感觉"系统在响应",这在高延迟场景里效果明显。 - **链路顺序**:流式要求"检索与上下文拼装全部完成"之后才开始生成,因此它**不能掩盖检索阶段的延迟**,检索慢依然会让用户等待。 - **引用展示**:如果回答里带引用编号,流式过程中编号可能先出现、来源尚未确定。稳妥做法是等生成结束后再统一渲染来源列表。 - **错误处理**:流式一旦开始输出就难以撤回,因此"兜底话术"最好在检索阶段就决定,而不是等生成中途才发现资料不足。 一句话:**流式是体验优化,不是性能优化**——真正要压首字延迟,还得从检索和重排序下手。 ## 小结 - RAG 的 Prompt 结构:System + Context + Question + Instructions,规则应结构化写清。 - 减少幻觉的关键是明确指令、兜底机制、引用要求、低温度,以及最根本的检索质量。 - `temperature=0` 只提升稳定性,不能消除幻觉。 - 上下文管理有四条路:限制 Top-K、上下文压缩、Map-Reduce、长上下文模型;注意 Lost in the Middle,重要内容放两端。 - 多轮对话需要先改写问题再检索;引用溯源同时提升可信度与可观测性。 - 调优要避免归因错误:先确认检索没问题,再改 Prompt。 ## 思考题 1. temperature 设为 0 就完全没有幻觉了吗? 2. 如果检索到的文档互相矛盾,LLM 会怎么处理? 3. 为什么"要求引用来源"能间接减少幻觉?它的前提条件是什么? 4. Lost in the Middle 现象会如何影响你对 K 的选择? 5. 如果团队反馈"回答经常不完整",你会按什么顺序排查检索、Prompt 和上下文管理?
预览
发布文章
添加摘要让读者更快了解文章内容
取消
确认发布
AI 写作助手
输入一个主题,AI 将为你生成一篇 Markdown 博客文章
AI 正在写作中...
取消
开始生成
AI 优化助手
描述你的修改需求,AI 将在原文基础上进行补充或微调
AI 正在优化中...
取消
开始优化
画布
从已有图里选
✕
图名
保存后生成 /images/excalidraw/<图名>.svg(只能用字母、数字、短横线、下划线、点)
取消
保存并插入