知序
返回
保存草稿
发布
H1
H2
H3
1
2
3
Excalidraw 图
AI 写作
AI 优化
目录
输入内容后显示目录
Markdown
# 02 - 核心提示技巧 > 导读:本文从"明明把问题说清楚了,模型还是在数学题上算错、在格式上乱来"这个具体痛点出发,把提示技巧谱系里的五级武器——Zero-Shot、Few-Shot、Chain-of-Thought(CoT)、Self-Consistency、Tree-of-Thought(ToT)——的原理、适用边界、代码实现与组合用法讲透,最后给出技巧对比表与工程踩坑。适合已经会写基础 prompt、需要把准确率再往上推一档的开发和算法同学。 ## 一、先建立全局认知 ### Q:提示技巧整体谱系是怎样的? A:结论先行——从"直接问"到"多路径探索",复杂度与成本逐级上升,效果提升有明显的边际规律。  *图:提示技巧谱系:从 Zero-Shot 到 Tree-of-Thought* ```text 提示技巧谱系: Zero-Shot ──→ Few-Shot ──→ Chain-of-Thought ──→ Self-Consistency ──→ Tree-of-Thought (直接问) (给示例) (让模型推理) (多次采样) (多路径探索) 简单 ─────────────────────────────────────────────────────────────────→ 复杂 ``` 关键理解:这条谱系不是"越右越好",而是"越右越贵、越右越慢、越右越适合难任务"。选择的核心依据是**任务的难度与对准确率的要求**,以及你愿意为准确率付出多少成本。 ### Q:选择技巧的判断依据是什么? A:结论先行——先看任务是否有"明确的正确答案",再看任务是否需要多步推理。 判断顺序: - **任务简单、格式明确** → Zero-Shot(不要过度设计) - **需要特定格式或风格** → Few-Shot(用示例锁定模式) - **涉及推理和计算** → CoT(让模型展示步骤) - **需要高可靠性** → CoT + Self-Consistency(多次采样投票) - **复杂规划/搜索问题** → ToT(树状探索) 一句话概括:**先加示例,再加推理,再加冗余,最后才加搜索。** ## 二、Zero-Shot 与 Few-Shot ### Q:Zero-Shot Prompting(零样本提示)是什么? A:结论先行——不给任何示例,直接让模型完成任务,依赖模型在预训练阶段学到的知识。 适用场景: - 简单、明确的任务 - 模型已经"见过"大量类似任务 - 快速原型验证 示例一:情感分析 ```text 【情感分析 - Zero-Shot】 Prompt: 判断以下评论的情感倾向(正面/负面/中性): "这家餐厅的菜品味道不错,但服务态度太差了,等了半小时才上菜。" 输出: 中性。评论中既有正面评价(菜品味道不错),也有负面评价(服务态度差、上菜慢), 整体呈现褒贬参半的态度。 ``` 示例二:文本分类 ```text 【文本分类 - Zero-Shot】 Prompt: 将以下新闻标题分类到对应类别(科技/财经/体育/娱乐/政治): "苹果公司发布 Vision Pro,售价 3499 美元" 输出: 科技 ``` 关键点解读:第一个例子里,模型不仅给了标签还给出了理由——这说明 Zero-Shot 也能触发一定的解释行为,但**输出格式不稳定**(有时给标签,有时给一段话)。第二个例子里输出很干净,因为类别是封闭的、任务是单标签。这就是 Zero-Shot 的典型表现:任务越"封闭"越稳,越"开放"越飘。 ### Q:Zero-Shot 的优缺点是什么? A:结论先行——优点是简单快速、token 消耗少;缺点是复杂任务效果差、输出格式不稳定、对措辞敏感。 | 优点 | 缺点 | |------|------| | 简单快速 | 复杂任务效果差 | | 不需要准备示例 | 输出格式不稳定 | | Token 消耗少 | 对 prompt 措辞敏感 | 重点说"对 prompt 措辞敏感":Zero-Shot 下模型完全靠指令理解任务,所以你换个说法("判断情感" vs "分析情感倾向")可能得到不同的稳定性。这也是为什么生产环境很少裸用 Zero-Shot,通常会补一点点示例或格式约束。 ### Q:Few-Shot Prompting(少样本提示)是什么? A:结论先行——在 prompt 中提供几个输入-输出示例,让模型学习模式后处理新输入。 适用场景: - 需要特定输出格式 - 任务有一定复杂度 - 需要模型理解隐含规则 示例一:实体提取 ```text 【实体提取 - Few-Shot】 Prompt: 从文本中提取人名、公司名和职位,输出 JSON 格式。 示例 1: 输入:"张三是阿里巴巴的高级工程师" 输出:{"人名": "张三", "公司": "阿里巴巴", "职位": "高级工程师"} 示例 2: 输入:"李四在腾讯担任产品总监" 输出:{"人名": "李四", "公司": "腾讯", "职位": "产品总监"} 示例 3: 输入:"王五最近加入了字节跳动,负责技术架构" 输出:{"人名": "王五", "公司": "字节跳动", "职位": "技术架构负责人"} 现在请处理: 输入:"赵六是美团的首席技术官,负责整体技术战略" ``` 关键点:注意示例 3 的巧妙之处——输入里说的是"负责技术架构",输出却给出了"技术架构负责人"。这个示例在教模型一个隐含规则:**职位要规范化成"负责人"这类完整称谓**。这正是 Few-Shot 相对于 Zero-Shot 的核心价值:把"说不清、只能靠示例演示"的规则表达出来。 示例二:风格模仿 ```text 【风格模仿 - Few-Shot】 Prompt: 请按照以下风格撰写产品更新日志: 示例: ✨ 新功能:支持暗黑模式,夜猫子们终于等到了! 🐛 修复:解决了偶尔闪退的问题,稳如老狗 ⚡ 优化:启动速度提升 40%,快到飞起 现在请为以下更新撰写日志: - 新增语音输入功能 - 修复了图片上传失败的 bug - 优化了内存占用 ``` 关键点:风格这种东西几乎无法用文字精确描述("活泼但不轻浮、有梗但不油腻"),但给三个示例,模型立刻就能对齐。**当"要求难以描述"时,示例是最好的说明书。** ### Q:Few-Shot 的最佳实践有哪些? A:结论先行——四条:示例数量 3-5 个、示例要有多样性、最相关的示例放最后、示例格式必须一致。 **1. 示例数量**:通常 3-5 个示例效果最佳 ```text 1 个示例:模型可能过拟合到这个特例 3 个示例:通常足够让模型理解模式 5+ 个示例:边际效益递减,且消耗更多 token ``` 为什么 1 个示例有风险?因为模型会把"这一个例子"当成规则本身。如果这个例子里恰好有个无关特征(比如都是短句),模型可能会把"短句"也当成规则的一部分。 **2. 示例多样性**:覆盖不同情况 ```text ❌ 三个示例都是正面情感 → 模型可能偏向输出正面 ✅ 正面 + 负面 + 中性各一个 → 模型理解完整分类空间 ``` 这是 Few-Shot 最容易犯的错:**示例有偏,输出就有偏**。分类任务里必须每个类别都覆盖。 **3. 示例顺序**:最后一个示例对输出影响最大 ```text 建议:把最接近目标任务的示例放在最后 ``` 机制解释:因为模型是"续写"的,离待处理输入最近的示例格式,最容易被它模仿。这叫"近因效应"在提示词里的体现。 **4. 示例格式一致**: ```text ❌ 示例 1 用 JSON,示例 2 用纯文本 → 模型困惑 ✅ 所有示例统一格式 → 模型输出稳定 ``` 格式不一致时,模型不知道要模仿哪一种,输出就会在两种格式之间摇摆。 ## 三、Chain-of-Thought(CoT,思维链推理) ### Q:CoT 是什么?为什么有效? A:结论先行——CoT 是让模型在给出最终答案之前先展示推理过程,它在数学、逻辑、复杂推理任务上能显著提升表现。 为什么有效(三个机制): - **将复杂问题分解为简单步骤**:单步难度降低,每步都更容易做对。 - **每一步的推理为下一步提供上下文**:中间结果被写进上下文,成为后续推理的"可引用依据"。 - **减少"跳步"导致的错误**:模型直接给答案时,相当于在一步内完成多步计算,中间没有"草稿",出错概率高。 关键洞察:CoT 的本质是**给模型一个"演算草稿纸"**。它不是让模型变聪明了,而是让模型不必"心算"。 ### Q:Zero-Shot CoT 怎么用? A:结论先行——只需在 prompt 末尾加一句"让我们一步一步思考"(Let's think step by step)。 ```text 【数学推理 - Zero-Shot CoT】 Prompt: 一个书店周一卖了 65 本书,周二卖的比周一多 15 本,周三卖的是周二的两倍。 三天一共卖了多少本书? 让我们一步一步思考。 输出: 让我一步一步来计算: 第一步:周一卖了 65 本书 第二步:周二卖的比周一多 15 本,所以周二 = 65 + 15 = 80 本 第三步:周三卖的是周二的两倍,所以周三 = 80 × 2 = 160 本 第四步:三天总计 = 65 + 80 + 160 = 305 本 答案:三天一共卖了 305 本书。 ``` 关键点:一句咒语就改变了输出结构。这是因为"一步一步思考"这个短语在训练语料里大量与"分步解答"共现,所以它能引导模型进入"分步模式"。代价是输出变长,token 消耗增加。 ### Q:Few-Shot CoT 怎么用? A:结论先行——提供带推理过程的示例,让模型模仿"分步推理"的格式。 ```text 【逻辑推理 - Few-Shot CoT】 Prompt: 请通过逐步推理来回答问题。 示例: 问题:小明比小红大 3 岁,小红比小华大 2 岁,小华今年 10 岁。小明今年多大? 推理: 1. 小华今年 10 岁 2. 小红比小华大 2 岁,所以小红 = 10 + 2 = 12 岁 3. 小明比小红大 3 岁,所以小明 = 12 + 3 = 15 岁 答案:小明今年 15 岁。 问题:一个水池有两个水管,A 管每小时注水 3 吨,B 管每小时注水 5 吨。 同时打开两个水管,注满 40 吨的水池需要多长时间? ``` 关键点:Few-Shot CoT 比 Zero-Shot CoT 更可控——它同时规定了"有推理过程"和"推理的格式"(编号 + 每步算式 + 最终答案)。这为后续自动解析答案提供了便利(比如取最后一行作为答案)。 ### Q:CoT 的效果到底有多明显? A:结论先行——在容易"跳步算错"的多步计算题上,CoT 能把明显错误的答案纠正为正确答案。 ```text 【不使用 CoT】 问题:一个农场有 23 头牛,每头牛每天产奶 12 升。农场每天需要留 50 升自用, 剩下的以每升 3 元的价格出售。农场每天卖牛奶能赚多少钱? 直接回答:828 元 ❌(错误,跳步计算出错) 【使用 CoT】 同样的问题 + "让我们一步一步思考" 推理过程: 1. 总产奶量 = 23 × 12 = 276 升 2. 可出售量 = 276 - 50 = 226 升 3. 销售收入 = 226 × 3 = 678 元 答案:678 元 ✅ ``` 解读:不使用 CoT 时,模型在一步内要完成"算总量 → 减自用 → 乘单价"三个操作,容易算错(原文给出的是 828 这个错误值)。使用 CoT 后,每步都是简单运算,答案正确(678)。 注意这里的一个细节:**CoT 的输出更长,但更可验证**。你可以逐步检查 276、226、678 是怎么来的,而不使用 CoT 时你只有一个孤零零的数字,无法判断对错。**可解释性本身就是工程价值。** ### Q:CoT 有什么局限? A:结论先行——它增加输出长度与成本,对不需要推理的任务无收益,且不能保证推理过程本身正确。 - **成本上升**:推理过程本身也是输出 token,长回答意味着更高的费用和更长的延迟。 - **对简单任务无收益**:分类、抽取、翻译这类任务加 CoT 只会变慢变贵,不会变准。 - **推理可能"似是而非"**:模型可能给出看起来合理但实际错误的推理链。所以 CoT 提升了准确率,但不等于"可信任"。 - **不适合需要短输出的产品**:如果 UI 上只想要一个标签,让模型输出一大段推理反而是负担(可以用"内部推理、外部只给结论"的方式缓解)。 ## 四、Self-Consistency(自我一致性) ### Q:Self-Consistency 是什么? A:结论先行——对同一个问题多次采样(使用较高的 temperature),然后取多数答案作为最终结果,本质是"集体智慧":多次独立推理,投票选出最可靠的答案。 ### Q:它的工作流程是怎样的? A:结论先行——同一 prompt 采样 N 次得到 N 条推理路径,对最终答案做多数投票。  *图:Self-Consistency:多次采样后投票取多数答案* ```text ┌─ 推理路径 1 → 答案 A │ 同一个 Prompt ──────┼─ 推理路径 2 → 答案 A (temperature=0.7) │ ├─ 推理路径 3 → 答案 B │ ├─ 推理路径 4 → 答案 A │ └─ 推理路径 5 → 答案 A 投票结果:A (4票) vs B (1票) → 最终答案:A ``` 关键点解读: - **必须有 temperature > 0**:如果温度是 0,五次采样会得到几乎相同的结果,投票毫无意义。**多样性是投票的前提。** - **投票的是"最终答案",不是"推理过程"**:推理路径可以不同,只要结论一致就算一票。所以输出格式必须让答案可被提取(这就是 Few-Shot CoT 里"最后一行只输出最终答案"的用意)。 - **它建立在 CoT 之上**:Self-Consistency 通常是"CoT + 多次采样",而不是独立技巧。它的增益是在 CoT 基础上的额外增益。 ### Q:代码实现长什么样? A:结论先行——循环采样 N 次,提取每次的答案,用计数投票取众数。 ```python import openai from collections import Counter def self_consistency(prompt: str, n: int = 5, temperature: float = 0.7) -> str: """使用 Self-Consistency 方法获取更可靠的答案""" answers = [] for _ in range(n): response = openai.chat.completions.create( model="gpt-4", messages=[{"role": "user", "content": prompt}], temperature=temperature, ) # 提取最终答案(假设答案在最后一行) answer = response.choices[0].message.content.strip().split('\n')[-1] answers.append(answer) # 投票选出最多的答案 counter = Counter(answers) most_common = counter.most_common(1)[0] print(f"各答案分布: {dict(counter)}") print(f"最终答案: {most_common[0]} (出现 {most_common[1]}/{n} 次)") return most_common[0] # 使用示例 prompt = """ 一个班级有 40 个学生,其中 60% 是女生。 如果有 5 个女生转学走了,又来了 3 个男生, 现在班级里男女比例是多少? 让我们一步一步思考,最后一行只输出最终答案。 """ result = self_consistency(prompt, n=5) ``` 关键点解读: - **`.split('\n')[-1]` 依赖 prompt 约定**:"最后一行只输出最终答案"这句要求是前提,否则提取会失败。这是"提示词设计"和"程序解析"必须协同的典型例子。 - **`Counter.most_common(1)`** 做多数投票。注意如果出现平票(如 A 两票、B 两票、C 一票),`most_common` 会返回任意一个,业务上可能需要额外规则处理平票。 - **`print` 分布信息很重要**:如果各答案分布极度分散(5 次 5 个答案),说明这道题模型本身不擅长或题目有歧义,此时"投票结果"并不可信。 ### Q:Self-Consistency 适合什么场景? A:结论先行——适合有确定正确答案的任务,尤其是数学与逻辑推理;不适合没有"正确答案"的创意任务。 | 场景 | 效果 | |------|------| | 数学计算 | ⭐⭐⭐⭐⭐ 显著提升准确率 | | 逻辑推理 | ⭐⭐⭐⭐ 有效减少推理错误 | | 代码生成 | ⭐⭐⭐ 有一定帮助 | | 创意写作 | ⭐ 不适用(没有"正确答案") | 注意事项: - 成本是单次调用的 N 倍(通常 N=5-10)。这个成本必须被业务接受。 - 需要能从输出中提取"答案"进行比较——这就要求 prompt 明确约定答案格式。 - 适合有明确正确答案的任务。创意写作没有唯一答案,"投票"投出来的只是"最平庸的那个",反而可能降低质量。 ## 五、Tree-of-Thought(ToT,树状思维探索) ### Q:ToT 是什么? A:结论先行——将推理过程组织成树状结构,在每个节点探索多个可能的思路,评估每条路径的前景,选择最优路径继续深入。 ### Q:ToT 和 CoT 的本质区别是什么? A:结论先行——CoT 是"一条路走到底",ToT 是"多路探索 + 评估剪枝"。  *图:CoT 链式推理与 ToT 树状推理对比* ```text CoT(链式): A → B → C → D → 答案 (一条路走到底) ToT(树状): ┌→ B1 → C1 ✓(有前景,继续) A ──────┤ ├→ B2 → C2 ✗(死胡同,剪枝) │ └→ B3 → C3 ✓ → D → 答案 (最优路径) ``` 关键差异: - **CoT 没有"回头"能力**:一旦某一步走错,后面全错。 - **ToT 会评估并在错误路径上剪枝**:这需要额外的"评估"步骤(通常也是让模型打分)。 - **ToT 的成本高得多**:每个节点都要生成多个候选 + 评估,调用次数是 CoT 的数倍。 ### Q:ToT 的实际示例(24 点游戏)说明了什么? A:结论先行——示例展示了"提出思路 → 评估前景 → 剪枝或深入"的循环,并且它既可能找到解,也可能帮助我们确认某组数字无解。 ```text 【Tree-of-Thought 示例】 Prompt: 用 1, 5, 6, 7 四个数字和加减乘除运算得到 24。 请用树状思维探索多种可能的组合方式。 对于每种尝试: 1. 提出一个运算思路 2. 评估这个思路是否有前景(能否接近 24) 3. 如果有前景就继续深入,否则换一条路 ``` 示例中模型逐条尝试并评估(节选): ```text 思路 1:尝试用乘法得到接近 24 的数 - 6 × 7 = 42,太大了,需要减去 18 - 42 - 18 = 24,但 1 和 5 能得到 18 吗? - 5 - 1 = 4,不是 18 ❌ - 评估:这条路不太行,换方向 思路 3:尝试构造 4 × 6 - 4 × 6 = 24 ✓ - 能用 1, 5, 7 得到 4 吗? - 5 - 1 = 4 ✓,但还剩 7 没用 ❌ - 7 - 5 + 1 = 3,不是 4 ❌ ``` 关键点解读: - **每个思路都有"评估"这一步**,这是 ToT 区别于"多试几次"的关键。没有评估就没有剪枝,那只是穷举。 - **评估是相对的**:"接近 24"就算有前景,不要求直接得到答案。这降低了每一步的判断难度。 - **可能得出"无解"结论**:示例最后还进行了系统搜索。这说明 ToT 的价值不只是"找到解",也包括"更可信地确认找不到解"。 重要提示:示例里模型用手写式的穷举罗列了大量尝试,这**不是 ToT 的标准形态**,而更像"让模型自己模拟搜索"。真正的 ToT 需要外部框架控制(生成候选、评估、剪枝、选择),而不完全依赖模型在一次输出里"想清楚"。 ### Q:ToT 的代码框架是怎样的? A:结论先行——由"生成候选思路、评估打分、剪枝保留 top-K、循环深入"四步构成,本质是一个带启发式评估的 BFS + 剪枝。 ```python class TreeOfThought: def __init__(self, client, model="gpt-4"): self.client = client self.model = model def generate_thoughts(self, state: str, k: int = 3) -> list[str]: """在当前状态下生成 k 个可能的思路""" prompt = f""" 当前状态:{state} 请生成 {k} 个不同的下一步思路,每个思路用 [思路X] 标记。 """ response = self._call_llm(prompt) return self._parse_thoughts(response) def evaluate_thought(self, state: str, thought: str) -> float: """评估某个思路的前景,返回 0-1 的分数""" prompt = f""" 当前状态:{state} 提出的思路:{thought} 请评估这个思路能否最终解决问题,给出 0-1 的分数: - 0.0-0.3:基本没有前景 - 0.3-0.6:有一定可能 - 0.6-1.0:很有前景 只输出分数,如:0.7 """ response = self._call_llm(prompt) return float(response.strip()) def solve(self, problem: str, max_depth: int = 5, beam_width: int = 3): """使用 BFS + 剪枝的 ToT 求解""" current_states = [problem] for depth in range(max_depth): candidates = [] for state in current_states: thoughts = self.generate_thoughts(state) for thought in thoughts: score = self.evaluate_thought(state, thought) if score > 0.3: # 剪枝:只保留有前景的思路 new_state = f"{state}\n步骤{depth+1}:{thought}" candidates.append((new_state, score)) # 保留得分最高的 beam_width 个状态 candidates.sort(key=lambda x: x[1], reverse=True) current_states = [c[0] for c in candidates[:beam_width]] # 检查是否已找到答案 for state in current_states: if self._is_solved(state): return state return current_states[0] if current_states else "未找到解" ``` 关键点解读: - **两阶段调用**:`generate_thoughts` 生成候选,`evaluate_thought` 打分评估。**评估是一个独立的模型调用**,这也是 ToT 贵的原因。 - **剪枝阈值 0.3**:低于阈值的思路直接丢弃,避免搜索空间爆炸。 - **beam_width**:类似束搜索(Beam Search),每层只保留得分最高的 K 个状态。K 越大探索越充分、成本越高。 - **`_call_llm` 与 `_parse_thoughts` 未实现**:这是框架骨架,实际落地还需要考虑解析失败、打分不是纯数字(如模型输出"0.7 分")等异常情况——**生产实现必须做容错。** ## 六、技巧对比与实战组合 ### Q:五种技巧的对比一览? A:结论先行——见下表,核心权衡是"复杂度 / 调用次数 / 适用任务 / 效果提升"。 | 技巧 | 复杂度 | API 调用次数 | 适用任务 | 效果提升 | |------|--------|-------------|----------|----------| | Zero-Shot | ⭐ | 1 | 简单分类、翻译 | 基准 | | Few-Shot | ⭐⭐ | 1 | 格式化输出、模式学习 | +10-20% | | CoT | ⭐⭐ | 1 | 数学、逻辑推理 | +20-40% | | Self-Consistency | ⭐⭐⭐ | N (5-10) | 需要高准确率的推理 | +10-15% (在 CoT 基础上) | | ToT | ⭐⭐⭐⭐ | 多次 | 复杂搜索、规划问题 | 视问题而定 | 读表说明:表中的百分比是原文给出的**示意性量级**,用于说明"哪一类技巧在什么任务上收益更大",而不是可直接套用到你业务上的预期收益。**真实增益必须用你自己的测试集实测确认。** ### Q:什么任务该选哪个技巧? A:结论先行——按"任务特征 → 技巧"直接映射。  *图:任务特点到提示技巧的选型* ```text 任务简单、格式明确 → Zero-Shot 需要特定格式或风格 → Few-Shot 涉及推理和计算 → CoT 需要高可靠性 → CoT + Self-Consistency 复杂规划/搜索问题 → ToT ``` 补充提醒:这张映射是"默认推荐"。实际选型还要考虑成本约束(Self-Consistency 是 N 倍成本)和延迟约束(ToT 可能慢到用户无法接受)。 ### Q:这些技巧怎么组合使用? A:结论先行——最常用的是"Few-Shot + CoT"组合:用示例锁定格式,用 CoT 引导推理。 ```text 【Few-Shot + CoT 组合】 Prompt: 请判断以下代码是否有 bug,如果有请指出并修复。 示例: 代码: def add(a, b): return a - b 分析过程: 1. 函数名是 add,意图是做加法 2. 但函数体用了减法运算符 - 3. 函数名和实际行为不一致,这是一个 bug 结论:有 bug,return a - b 应改为 return a + b --- 现在请分析以下代码: 代码: def find_max(arr): max_val = 0 for num in arr: if num > max_val: max_val = num return max_val 请按照示例的分析过程,一步一步思考。 ``` 模型输出: ```text 分析过程: 1. 函数名是 find_max,意图是找数组中的最大值 2. max_val 初始化为 0 3. 如果数组中所有元素都是负数,比如 [-3, -1, -5], 那么没有元素会大于 0,max_val 始终为 0 4. 返回 0 而不是实际的最大值 -1,这是一个 bug 结论:有 bug,max_val 应初始化为 float('-inf') 或 arr[0] 修复后: def find_max(arr): if not arr: return None max_val = arr[0] for num in arr[1:]: if num > max_val: max_val = num return max_val ``` 关键点解读: - **示例教了"分析结构"**(1. 意图 2. 实现 3. 矛盾 4. 结论),模型完全复刻了这个结构。 - **示例还教了"边界思维"**:模型能发现"全负数"这个边界,正是因为它在模仿示例的"找矛盾"思路——注意示例本身只演示了"命名与实现不符",而模型把这种"找不一致"的思路迁移到了"初始值与数据范围不符"上。这是 In-Context Learning 的典型体现。 - **`max_val = 0` 这个 bug 很经典**:它是"看起来没问题、遇到边界才暴露"的典型,也正好证明了 CoT 对这类"需要构造反例"的任务有帮助。 ### Q:这些技巧在面试中最容易被追问的"边界"是什么? A:结论先行——最常被追问的是"成本与收益的边界":Self-Consistency 为什么必须多次采样、CoT 为什么不是所有任务都适用、ToT 的评估环节本身是否可靠。 - **CoT 的边界**:简单任务加 CoT 只增加成本、不提升准确率;推理过程好看但可能错。 - **Self-Consistency 的边界**:成本是 N 倍;没有确定答案的任务不适用;答案不可提取时无法投票。 - **ToT 的边界**:调用次数最多、评估环节本身可能出错、剪枝阈值与 beam_width 需要调参。 - **共同边界**:所有技巧都建立在一个前提上——模型的输出格式能被稳定解析。格式不稳时,先解决格式问题,再谈技巧。 ### Q:这些技巧能不能组合成一条"流水线"? A:结论先行——可以,但要按"先解决格式、再解决推理、最后解决可靠性"的顺序叠加,而不是把技巧一股脑堆上去。 一个可用的叠加顺序: 1. **先固化输出格式**(Few-shot 或原生结构化输出)——格式不可解析,后面所有技巧都无从评估。 2. **再加入推理引导**(CoT)——在格式稳定的前提下提升推理准确率。 3. **最后加可靠性**(Self-Consistency 投票 / ToT 探索)——只对高价值、高难度的请求启用。 判断标准:每一层都要能回答"加上它,指标提升了多少、成本增加了多少"。如果答不上来,说明这一层不该加。 ## 小结 - 提示技巧谱系从 Zero-Shot 到 ToT,复杂度与成本递增,选择依据是"任务难度 + 准确率要求 + 成本预算"。 - Zero-Shot 简单省 token,但复杂任务效果差、格式不稳;Few-Shot 用 3-5 个多样且格式一致的示例锁定模式,最相关的示例放最后。 - CoT 的本质是给模型"演算草稿纸",Zero-Shot CoT 靠一句"让我们一步一步思考",Few-Shot CoT 靠带推理的示例;它提升准确率与可解释性,但增加输出成本,且推理过程本身不保证正确。 - Self-Consistency 是"CoT + 多次采样 + 多数投票",前提是温度大于 0 且答案可被提取;适合有确定答案的任务,成本是 N 倍。 - ToT 是"多路径探索 + 评估剪枝",由生成、评估、剪枝、循环四步构成,适合复杂搜索与规划,但调用次数多、成本最高,且必须做解析容错。 - 最实用的组合是 Few-Shot + CoT:示例锁格式、CoT 引导推理。 ## 思考题 1. 为什么 Self-Consistency 必须把 temperature 设成大于 0?如果设成 0,投票会退化成什么? 2. Few-Shot 里"最后一个示例影响最大",这个现象背后的机制是什么?它会带来什么风险? 3. CoT 的推理过程看起来合理但结论错误,这种情况可能发生吗?在这种情况下 CoT 的价值体现在哪里? 4. ToT 里评估分数是"让模型自己打分",这会不会引入新的不可靠因素?有什么缓解办法? 5. 为什么表格里的"效果提升"百分比不能直接套用到你的业务上?你会怎么验证某个技巧对你是否有效? 6. 如果要把"Few-Shot + CoT"用于线上生产,你会怎么设计答案提取逻辑,让程序能稳定拿到最终结论? 7. 在什么情况下你会刻意**不用** CoT?请从成本和产品形态两个角度说明。
预览
发布文章
添加摘要让读者更快了解文章内容
取消
确认发布
AI 写作助手
输入一个主题,AI 将为你生成一篇 Markdown 博客文章
AI 正在写作中...
取消
开始生成
AI 优化助手
描述你的修改需求,AI 将在原文基础上进行补充或微调
AI 正在优化中...
取消
开始优化
画布
从已有图里选
✕
图名
保存后生成 /images/excalidraw/<图名>.svg(只能用字母、数字、短横线、下划线、点)
取消
保存并插入