知序
返回
保存草稿
发布
H1
H2
H3
1
2
3
Excalidraw 图
AI 写作
AI 优化
目录
输入内容后显示目录
Markdown
# 08 - RAG 评估与优化 > 导读:本文从"RAG 上线后老板问效果怎么样,你答'感觉还行'为什么会被打回"这个具体痛点出发,把 RAG 评估的两个维度、五类检索指标、四类生成指标、RAGAS 框架用法,以及检索/生成两路优化策略和系统化调优流程讲透,最后给出工程实践与踩坑。适合正在做 RAG 项目、需要向团队量化证明效果的同学。 ## 一、先建立全局认知 ### Q:为什么 RAG 一定要做评估?"感觉还行"为什么不够? A:结论先行——因为"感觉还行"无法量化、无法对比、无法定位问题,而 RAG 是一串多环节串联的系统,任何一环退化都会让整体效果崩塌。 为什么单靠直觉不够,有三个现实原因: 1. **不可对比**:你换了 Embedding(向量化)模型、调了 chunk_size、加了 Reranker(重排序器),到底变好了还是变差了?没有指标就只能靠零星的试问,样本偏差极大。 2. **不可定位**:用户反馈"答错了",可能是没检索到、可能是检索到了但 LLM(大语言模型)没用对、也可能是 LLM 编造。没有分环节的指标,你根本不知道该修哪。 3. **不能回归**:每次改动都可能悄悄破坏之前正常的一批 case(用例),没有固定评估集就无法做回归测试。 所以评估不是"锦上添花",而是 RAG 工程化的地基。 ### Q:RAG 的评估分成哪几个维度? A:结论先行——**两个维度:检索质量与生成质量**;如果再细一点,还要加上"检索与生成的衔接"这一环。 原文给出的分法: ```text RAG 的评估分两个维度: 1. 检索质量:找到的文档相关吗? 2. 生成质量:回答正确吗?有幻觉吗? ``` 用一个类比:检索是"开卷考试时翻到的那几页书对不对",生成是"照着这几页书答题答得对不对"。翻错页了,答题再强也白搭;翻对页了,也可能答题跑偏。 原文还给了一张以"从检索、生成和上下文衔接三方面定位质量问题"为意的框架图。这里用文本重新表达这个定位逻辑: ```text 质量问题定位: 检索环节出问题 → 召回率 / 精确率 / 上下文召回 低 生成环节出问题 → 忠实度 / 回答相关性 低 衔接环节出问题 → 检索到了但 LLM 没用,或检索到的文档互相矛盾 ```  *图:RAG 评估框架:从检索、生成和上下文衔接三方面定位质量问题* ### Q:一套完整的评估要回答哪些具体问题? A:结论先行——至少要能回答四个问题:**找没找到、找得准不准、答得忠不忠实、答得切不切题**。 这四个问题分别对应下面几组指标,后面的章节会逐个拆开讲。先建立这张全局地图: | 要回答的问题 | 对应指标 | 属于哪个环节 | |---|---|---| | 该找的找到了吗 | Recall@K、Context Recall、Hit Rate | 检索 | | 找得准不准 | Precision@K、Context Relevancy | 检索 | | 排得好不好 | MRR、NDCG | 检索排序 | | 答得忠不忠实 | Faithfulness | 生成 | | 答得切不切题 | Answer Relevancy | 生成 | ### Q:不做评估直接上线,通常会发生什么? A:结论先行——通常会出现三种典型症状:**越改越乱、无法回归、争议无法裁决**。 1. **越改越乱**:今天有人说"回答太啰嗦",于是改 Prompt 要求简洁;明天有人说"信息不全",于是增大 Top-K。几次下来,没人说得清当前配置到底是好是坏,改动之间互相覆盖。 2. **无法回归**:修复了一个 case,却悄悄破坏了之前正常的三个 case。因为没有固定的评估集,这种"回退"直到用户投诉才会被发现。 3. **争议无法裁决**:产品说"新方案更好",算法说"没感觉",双方都无法用数据说服对方,最后只能靠"谁嗓门大"。 这三种症状的根因是同一个:**没有可量化的基线**。评估就是把"我觉得"变成"数据显示"。 ### Q:为什么说"检索是根基"? A:结论先行——因为检索决定了信息的**上限**,生成只能在此基础上"表达",无法凭空创造正确信息。 用一个极端例子想清这个因果:如果检索回来的 5 篇文档里压根没有答案,那么无论你用多强的 LLM、写多好的 Prompt,它要么答"不知道",要么开始编。也就是——**生成的天花板 = 检索到的信息量**。 所以优化顺序一定是"先检索、后生成": ```text 检索没做好:改 Prompt 效果有限,甚至无效果 检索做好了:改 Prompt 才会明显见效 ``` 这也是为什么各种评估框架里,Context Recall 这类"检索是否漏信息"的指标如此关键——它直接决定了下游的发挥空间。 ## 二、理解核心机制:检索评估指标 ### Q:Recall@K 和 Precision@K 分别衡量什么?怎么算? A:结论先行——**Recall@K 衡量"找全了没有",Precision@K 衡量"找得准不准"**,两者是一对必须搭配看的指标。 **召回率(Recall@K)**:Top-K 结果中包含了多少个相关文档 / 总共有多少个相关文档。 ```text Recall@5 = 0.8 → Top-5 中找到了 80% 的相关文档 ``` 直觉:知识库里真有 10 篇相关文档,你只捞出 8 篇,召回就是 0.8。它衡量的是"漏没漏"。 **精确率(Precision@K)**:Top-K 结果中有多少个是相关的 / K。 ```text Precision@5 = 0.6 → Top-5 中 60% 是相关的 ``` 直觉:你捞回 5 篇,里面只有 3 篇有用,精确率就是 0.6。它衡量的是"掺水没掺水"。 为什么两个都要看?因为存在典型的"跷跷板":把 K 调大,召回率上去了,但精确率通常掉下来(塞进来一堆不相关的);把 K 调小,精确率好看,但可能漏掉关键文档。RAG 的常见取舍是"先保召回,再加 Reranker 提精确"。 ### Q:MRR 是什么?为什么光有 Recall/Precision 还不够? A:结论先行——MRR(Mean Reciprocal Rank,平均倒数排名)衡量的是"第一个相关结果排在第几位",它专门惩罚"相关文档被排到很后面"的情况。 计算方式很简单:**第一个相关文档排名的倒数**。 ```text MRR = 1 / rank_of_first_relevant 第一个相关文档排第 1 → MRR = 1 第一个相关文档排第 3 → MRR = 0.33 ``` 为什么需要它?因为 Recall@K 是"无序"的:只要相关文档在 Top-5 里,不管是第 1 位还是第 5 位,Recall@5 都一样。但对 LLM 来说位置很重要——排在第 1 位和第 5 位的文档,被注意到的概率不同(这正是"Lost in the Middle",中段信息丢失现象)。MRR 正好补上这个"位置敏感"的视角。 MRR 里的 M 是 Mean:对每个问题先算一次倒数排名,再对所有问题求平均。它只关心**第一个**相关结果,不关心后面还有没有,所以更适合"只有一个标准答案"型的问题。 ### Q:NDCG 和 Hit Rate 又是干什么的? A:结论先行——**NDCG 是考虑"相关性程度 + 排名位置"的综合指标,Hit Rate 是最简单的"有没有命中"指标**。 **NDCG(Normalized Discounted Cumulative Gain,归一化折损累计增益)**:考虑相关性程度和排名位置的综合指标,排名越靠前的相关文档贡献越大。 注意原文强调的"考虑相关性程度"——也就是相关性不是非 0 即 1,而是可以分级(比如高度相关、一般相关、不相关)。再乘以位置折损(越靠后权重越低),最后做归一化,得到一个可横向比较的分值。适合需要区分"非常相关"和"勉强相关"的场景。 **Hit Rate(命中率)**:Top-K 中至少有一个相关文档的比例,是最简单的指标。 ```text 10 个问题里有 8 个,Top-5 中至少命中一篇相关文档 → Hit Rate = 0.8 ``` 为什么要有这么"粗"的指标?因为它直接对应产品体感:只要检索结果里有一篇能回答问题,用户就可能满意。它在快速排查"是不是整条检索链路都失效了"时特别快。 ### Q:这么多检索指标,实际怎么选、怎么用? A:结论先行——按目标选:要"别漏"看 Recall,要"别掺水"看 Precision,要"第一名靠谱"看 MRR,要"分级相关性"看 NDCG,要"快速体检"看 Hit Rate。 一个实用的组合是: | 指标 | 一句话作用 | 典型用法 | |---|---|---| | Recall@K | 有没有漏掉相关文档 | 主指标,优先保住 | | Precision@K | 返回结果里掺了多少噪声 | 配合 Reranker 看提升 | | MRR | 第一个相关结果排得靠不靠前 | 观察排序质量 | | NDCG | 分级相关性 + 位置的综合质量 | 精细评估排序模型 | | Hit Rate | 有没有至少命中一篇 | 快速体检 / 兜底 | 工程上不要"五个都要",而是先定 1~2 个主指标(通常是 Recall@K + Precision@K),其余作为辅助观察。指标太多反而没人看。 ### Q:能举一个"Recall 高但 Precision 低"的具体场景吗? A:结论先行——把 Top-K 从 5 调到 50 就是最典型的例子。 假设知识库里有 10 篇与问题相关的文档,共切出约 500 个 chunk。两种配置下的表现大致是: | 配置 | Recall@K | Precision@K | 现象 | |---|---|---|---| | K=5 | 偏低 | 高 | 只找到部分相关文档,但找到的都很准 | | K=50 | 很高 | 很低 | 相关文档基本都在,但掺入大量噪声 | 为什么会这样?因为 K 越大,检索器"宁可错杀一千"地网罗候选,召回自然上去;但候选池里不相关文档的比例也同步上升,精确率掉下来。 **工程解法**:用"粗排 + 精排"两段式——粗排把 K 开大(比如 20~50)保召回,再用 Reranker 精排到 Top-5 保精确。这样两个指标可以同时好看,代价是增加了一次 Reranker 的耗时(量级见后文,**需结合版本确认**)。 ### Q:评估指标之间会不会"打架"?怎么处理这种矛盾? A:结论先行——会,最常见的三对矛盾是:Recall 与 Precision、质量与延迟、质量与成本。  *图:RAG 三对矛盾:召回率与精确率、质量与延迟、质量与成本* ```text 矛盾一:Recall ↔ Precision 调大 K:Recall 升、Precision 降 → 用 Reranker 缓解 矛盾二:质量 ↔ 延迟 加 Reranker、加 Query 改写 → 质量升、延迟升 → 只对"值得"的请求启用 矛盾三:质量 ↔ 成本 塞更多上下文 → 质量可能升、Token 成本升 → 上下文压缩 / 模型路由 ``` 正确的心态不是"消灭矛盾",而是**明确当前阶段优先保谁**:冷启动阶段保召回,成熟阶段保精确与成本。 ## 三、理解核心机制:生成评估指标 ### Q:Faithfulness(忠实度)为什么被称为"最重要的指标"? A:结论先行——因为 Faithfulness 直接量化幻觉:回答到底有多少是基于检索到的文档,有多少是 LLM 自己编的。 原文定义:Faithfulness(忠实度)指"回答是否基于检索到的文档,有没有编造信息",并明确标注它是"最重要的指标,直接衡量幻觉程度"。 为什么它最重要?因为在企业知识库、法律、医疗这些场景里,"答得漂亮但编了事实"比"答得不好"危险得多——前者会误导决策。所以很多团队的验收顺序是:先保 Faithfulness,再谈其他。 一个直观理解:如果回答里 10 个事实点有 9 个能在检索文档里找到依据,Faithfulness 就接近 0.9;如果一半是凭空发挥,就会掉到 0.5 附近。它是"反幻觉"的第一道度量。 ### Q:Answer Relevancy(回答相关性)和 Faithfulness 到底有什么区别? A:结论先行——**Faithfulness 看"是不是基于文档",Answer Relevancy 看"是不是在回答这个问题"**,两者衡量的失败模式完全不同。 - **Answer Relevancy(回答相关性)**:回答是否切题,有没有答非所问。 - **Faithfulness(忠实度)**:回答是否基于检索到的文档,有没有编造信息。 把两者组合成四个象限,会非常清楚: | Faithfulness | Answer Relevancy | 含义 | 危险程度 | |---|---|---|---| | 高 | 高 | 好答案 | 理想 | | 低 | 高 | 幻觉但切题——编造内容正好回答了问题 | 最危险 | | 高 | 低 | 真实但偏题——内容没编,但没答到点上 | 中等 | | 低 | 低 | 完全失败 | 明显 | 所以只报一个指标会误判:一个"切题但全编"的回答,Answer Relevancy 可能很高,只有 Faithfulness 能把它揪出来。 ### Q:Context Relevancy 和 Context Recall 又不是一回事? A:结论先行——**Context Relevancy 看"检索来的文档相关不相关(有没有噪声)",Context Recall 看"回答需要的信息是否都在检索文档里(有没有缺)"**,一个管"多",一个管"少"。 - **Context Relevancy(上下文相关性)**:检索到的文档和问题是否相关;不相关的文档会引入噪声。 - **Context Recall(上下文召回)**:回答所需的信息是否都在检索到的文档中;如果关键信息没检索到,回答必然不完整。 这两者的组合诊断很有价值: ```text Context Relevancy 低 → 检索结果里噪声多 → Top-K 太大 / 分块质量差 Context Recall 低 → 关键信息没检索到 → 分块太小 / 检索策略有问题 ``` 注意一个常见的困惑点:Context Recall 低但 Faithfulness 高,意味着"LLM 确实老实基于检索内容回答,但检索本身没找到关键信息"——这是**检索阶段**的问题,改 Prompt 没用,得改检索。 ### Q:把四个生成指标放在一起,怎么一眼定位问题出在哪一环? A:结论先行——把它们当成"两个环节 × 两个方向"的交叉表:Faithfulness 和 Answer Relevancy 看生成,Context Relevancy 与 Context Recall 看检索。  *图:检索与生成环节的四个评估指标* ```text 检索环节 生成环节 ┌──────────────────┬──────────────────┐ "别掺水" │ Context Relevancy│ Answer Relevancy │ ├──────────────────┼──────────────────┤ "别漏" │ Context Recall │ Faithfulness* │ └──────────────────┴──────────────────┘ * Faithfulness 的"漏"指"没依据就编",实质是生成对检索的忠实度 ``` 诊断流程:  *图:RAG 效果诊断——逐层定位该改哪一环* ```text Context Recall 低? ├─ 是 → 检索漏信息 → 改分块 / Embedding / 混合检索(改 Prompt 无用) └─ 否 ↓ Context Relevancy 低? ├─ 是 → 检索掺噪声 → 减小 Top-K / 加 Reranker / 元数据过滤 └─ 否 ↓ Faithfulness 低? ├─ 是 → 生成不忠实 → 强化 Prompt 约束 / 降 temperature / 加引用 └─ 否 ↓ Answer Relevancy 低? └─ 是 → 生成跑题 → 在 Prompt 里明确"直接回答用户问题" ``` 按这个顺序排查,能保证"每次只改一个环节",避免病急乱投医。 ## 四、RAGAS 评估框架怎么用? ### Q:RAGAS 是什么?为什么大家一上来就用它? A:结论先行——RAGAS 是目前最流行的 RAG 自动评估框架,它用 LLM 当"考官"给 RAG 输出打分,省去了大量人工标注。 它的价值在于:上面那些指标如果全靠人工算,成本高到无法持续;RAGAS 把这些指标实现成开箱即用的函数,你只要准备好数据(问题、回答、检索到的上下文),就能一次跑出 faithfulness、answer_relevancy、context_precision、context_recall 等分数。装起来也就一行: ```bash pip install ragas ``` ### Q:怎么用 RAGAS 跑一次最小可用的评估? A:结论先行——准备一个含 `question / answer / contexts / ground_truth` 的字典,转成 Dataset,调 `evaluate()` 即可。 ```python # RAGAS 是最流行的 RAG 评估框架 # pip install ragas from ragas import evaluate from ragas.metrics import ( faithfulness, answer_relevancy, context_precision, context_recall, ) from datasets import Dataset # 准备评估数据 eval_data = { "question": ["什么是 RAG?", "RAG 和微调的区别?"], "answer": ["RAG 是检索增强生成...", "RAG 不需要重新训练..."], "contexts": [ ["RAG 全称 Retrieval-Augmented Generation..."], ["微调需要标注数据和 GPU...", "RAG 通过检索外部知识..."] ], "ground_truth": ["RAG 是一种结合检索和生成的技术...", "RAG 成本低..."] } dataset = Dataset.from_dict(eval_data) result = evaluate( dataset, metrics=[faithfulness, answer_relevancy, context_precision, context_recall], ) print(result) # {'faithfulness': 0.92, 'answer_relevancy': 0.88, # 'context_precision': 0.85, 'context_recall': 0.90} ``` 关键点解读: - `contexts` 是"检索到的文档片段列表",**每个问题对应一个列表**,不是单个字符串,因为一个问题通常召回多段。 - `ground_truth` 是人工标注的标准答案;只有算 Context Recall 这类"和标准答案对比"的指标时才需要。 - 输出是一个分数字典:`faithfulness` 为 0.92,表示"92% 的断言能在检索文档里找到依据"。 需要说明的是:不同 RAGAS 版本对 `evaluate()` 的参数名、指标导入路径有过调整(例如是否显式传 `llm=`、`embeddings=`),实际使用时**需结合你安装的版本确认**,以官方文档为准。 ### Q:评估集里的问题应该怎么配比,才不是"只测简单题"? A:结论先行——**至少覆盖四类问题:事实查询、解释说明、对比分析、多步推理**,难度要成阶梯分布。 ```text 事实查询:XX 的截止日期是什么? → 考检索命中 解释说明:XX 是什么、为什么这样设计? → 考上下文组织 对比分析:XX 和 YY 有什么区别? → 考多文档整合 多步推理:如果 XX 成立,YY 会怎样? → 考链路上限 ``` 为什么配比重要?因为如果评估集全是"什么是 XX"这类简单事实题,Faithfulness 和 Answer Relevancy 会**虚高**——模型只要抄上下文就能拿高分,掩盖了真实场景中的困难提问。而线上用户恰恰会问对比、问流程、问例外。 一个可用的配比经验:事实查询占多数(因为它在真实流量中最多),但对比分析与多步推理必须各留出一部分,否则你无法发现"检索到多篇文档后整合能力差"这类问题。(具体比例需结合你的业务场景确定。) ### Q:跑一次 RAGAS 评估要花多少时间与成本? A:结论先行——**成本与数据量、指标数量、打分模型三者成正比**,因为每条数据、每个指标都要多次调用打分 LLM。 粗略理解:一条数据的 Faithfulness 就要一次"拆断言" + 若干次"验证断言";再叠加 Answer Relevancy 的"生成反向问题 + 算相似度",一条数据的 LLM 调用次数是"个位数到十几次"这个量级。所以: ```text 50 条 × 5 个指标 → 几百次 LLM 调用 200 条 × 5 个指标 → 上千次 LLM 调用 ``` 这直接带来两条实践建议: 1. **日常迭代用 50 条**:够快,能在几分钟内跑完并给出方向。 2. **只在发布前跑全量指标**:把昂贵的 Context Recall(需要 GT、需要拆解)留给关键节点。 注意:具体调用次数与耗时随 RAGAS 版本、指标实现不同而变化,**需结合版本确认**。 ## 五、人工评估与优化策略 ### Q:自动指标够用吗?为什么还需要人工评估? A:结论先行——**不够**,自动指标不能完全替代人工评估,尤其在"正确性、完整性"这类需要领域判断的维度上。 原文给了五个人工评估维度和三种方法: ```text 人工评估维度: 1. 正确性:回答是否事实正确 2. 完整性:是否回答了问题的所有方面 3. 简洁性:是否有冗余信息 4. 可读性:表达是否清晰 5. 引用准确性:引用的来源是否正确 方法: A/B 测试:两个方案对比 评分量表:1~5 分打分 盲评:评估者不知道哪个是哪个方案 ``` 为什么人工不可省?两个原因:一是 LLM 打分本身有偏差(弱模型打分更离谱),二是有些错误(专业事实错误、引用张冠李戴)只有领域专家能看出来。实践做法是:日常用 RAGAS 快速迭代,发布前抽一批人工复核。 ### Q:人工评估该抽多少条、由谁来评? A:结论先行——**发布前抽 20~30 条、由"懂业务的人"评**,而不是抽一大堆由算法同学自评。 ```text 抽样量:20~30 条(覆盖前文四类问题) 评估人:领域专家 / 业务方(不是写代码的人) 方式:盲评(不知道哪条来自哪个版本) ``` 为什么强调"不由算法同学自评"?因为写代码的人会不自觉地替自己的方案找理由(确认偏误);而领域专家关心的是"这条回答在业务上说得通吗",更接近真实用户视角。 ### Q:检索效果差,怎么对症下药? A:结论先行——先把"检索问题"分成三类:**找不到、找得到但排名靠后、找到了但不相关**,三类对应完全不同的解法。 原文给出的分类非常清晰,直接照搬:  *图:检索不到、排名靠后、不相关三类检索问题的对策* ```text 问题:检索不到相关文档 → 调整 Chunk 大小(太大或太小都不好) → 换更好的 Embedding 模型 → 加入混合检索(BM25 + 向量) → 尝试 Query 改写 / Multi-Query 问题:检索到了但排名靠后 → 增大 Top-K → 加入 Reranker → 微调 Embedding 模型 问题:检索到了不相关的文档 → 加入元数据过滤 → 调整相似度阈值 → 优化分块策略 ``` 关键点:这三类的根因不同——"找不到"多半是表征问题(Embedding / 分块 / 查询表述),"排名靠后"是排序问题(需要 Reranker),"不相关"是精度问题(过滤与阈值)。照抄别人的方案前,先判断自己属于哪一类。 ### Q:生成质量差,又该怎么优化? A:结论先行——生成问题主要是三类:**幻觉、不完整、太啰嗦**,分别用"约束 Prompt"、"补上下文"、"压输出"来治。  *图:幻觉、回答不完整、回答太啰嗦的生成侧对策* ```text 问题:幻觉(编造信息) → Prompt 中强调"只基于文档回答" → 降低 temperature → 加入引用要求 → 使用 Self-RAG 问题:回答不完整 → 增大 Top-K,提供更多上下文 → 检查是否有 Lost in the Middle 问题 → 使用 Map-Reduce 处理多文档 问题:回答太啰嗦 → Prompt 中要求简洁 → 加入字数限制 → 后处理压缩 ``` 这里有个容易被忽视的点:**"回答不完整"不一定是检索没找到**。如果内容检索到了但分散在多个 chunk、或被放在长上下文的中间位置(Lost in the Middle),LLM 也可能漏用。所以要先看 Context Recall,再看位置。 ### Q:有没有一套系统化的调优流程,避免"乱改一通"? A:结论先行——有,核心原则是"**一次只改一个变量,先修检索再修生成**"。 原文给的是六步: ```text 1. 建立评估数据集(50~200 条 QA 对) 2. 跑基线(Naive RAG),记录各项指标 3. 每次只改一个变量,对比效果 4. 优先优化检索(检索是根基) 5. 检索稳定后再优化生成 6. 持续收集 bad case,针对性优化 ``` 为什么"一次只改一个变量"是铁律?因为同时改 chunk 大小和 Embedding,你无法归因到底是哪个起了作用,甚至可能一个变好一个变坏互相抵消。而"先检索后生成"是因为检索是地基——地基不稳,Prompt 调得再花哨也救不回来。 ## 六、工程实践与踩坑 结论先行:评估落地最容易翻车的不是指标算错,而是"没建数据集就开始调参"和"只看平均值不看分布"。 几个实战经验: 1. **先建 50 条评估集再动手调优**。没有基线(baseline),后面所有"改善"都无法证明。 2. **区分"检索问题"和"生成问题"**。Faithfulness 低但 Context Recall 高 → 大概率是 Prompt 没约束好;Context Recall 低 → 是检索的问题,改 Prompt 无用。 3. **关注指标间的跷跷板**。增大 Top-K 常常是"Recall 涨、Precision 跌、延迟涨",要一起看,不能只盯一个。 4. **评估 LLM 的打分温度要固定**(通常设 0),否则同一批数据两次结果不同,无法追踪改进。 5. **小样本别下大结论**。50 条评估集上 1~2 个百分点的波动,很多时候是噪声,不足以支撑"方案更优"的结论。  *图:评估调优六步:建数据集到钻 bad case 的循环* ```text 评估调优的正确姿势: 建立数据集 → 跑基线 → 单变量改动 → 对比指标 → 钻 bad case → 再改 (循环往复,而不是一次性调完) ``` ### Q:优化时最容易犯的三个错误是什么? A:结论先行——**一次改多个变量、跳过检索直接调 Prompt、只看均值不看分布**。 1. **一次改多个变量**:同时换 Embedding 又改 chunk 大小,指标涨了你也不知道该归功于谁;一旦某个改动是负面的,还会被另一个正向改动掩盖。铁律是单变量对照。 2. **跳过检索直接调 Prompt**:这是最常见的路径依赖——因为改 Prompt 最省事。但如果 Recall 本身低,Prompt 调得再巧也无济于事。 3. **只看均值不看分布**:均值 0.85 掩盖了 10% 的灾难 case,而线上用户恰恰最容易撞上这些 case。必须下钻到单条 bad case。 ```text 三条铁律: 单变量改动 / 先检索后生成 / 均值必配分布 ``` ## 小结 - 评估分**检索**和**生成**两个维度,进一步还要看"检索与生成的衔接"。 - 检索指标:Recall@K(别漏)、Precision@K(别掺水)、MRR(第一名靠前)、NDCG(分级 + 位置)、Hit Rate(快速体检)。 - 生成指标:Faithfulness(反幻觉,最重要)、Answer Relevancy(切题)、Context Relevancy(上下文别掺噪声)、Context Recall(上下文别缺关键信息)。 - RAGAS 是最常用的自动评估框架,配合少量人工评估使用。 - 优化顺序:**分块 → Embedding → 检索策略 → Prompt → 生成**;先检索后生成。 - 建立评估数据集(50~200 条)是持续优化的基础,没有基线就没有改进。 ## 思考题 1. Faithfulness 和 Answer Relevancy 有什么区别?为什么"Faithfulness 低 + Answer Relevancy 高"是最危险的组合? 2. 如何高效地构建 RAG 的评估数据集?真实用户日志和合成数据各有什么利弊? 3. 如果 Recall@5 很高但 Faithfulness 很低,你应该先改检索还是先改 Prompt?为什么? 4. 你的 RAG 系统上线后,老板问"效果比上个月好了多少",你会用哪三个指标回答,为什么选它们?
预览
发布文章
添加摘要让读者更快了解文章内容
取消
确认发布
AI 写作助手
输入一个主题,AI 将为你生成一篇 Markdown 博客文章
AI 正在写作中...
取消
开始生成
AI 优化助手
描述你的修改需求,AI 将在原文基础上进行补充或微调
AI 正在优化中...
取消
开始优化
画布
从已有图里选
✕
图名
保存后生成 /images/excalidraw/<图名>.svg(只能用字母、数字、短横线、下划线、点)
取消
保存并插入