知序
返回
保存草稿
发布
H1
H2
H3
1
2
3
Excalidraw 图
AI 写作
AI 优化
目录
输入内容后显示目录
Markdown
# 11 - RAGAS 评估框架详解 > 导读:本文从"RAG 的三个组件各自都可能出问题,可你只盯着最终输出怎么定位"这个具体痛点出发,把 RAGAS(RAG Assessment,RAG 评估框架)的核心思想、五个核心指标的计算过程、评估数据集的构建、完整评估脚本、结果解读闭环,以及七个常见坑讲透,最后给出工程实践。适合需要为 RAG 建立量化评估体系的同学。 ## 一、先建立全局认知 ### Q:为什么需要 RAGAS?RAG 的三个组件为什么会各自出问题? A:结论先行——因为 RAG 系统由**检索、生成、检索与生成的衔接**三个独立组件构成,每个都可能出问题,所以必须分别衡量,而不能只看最终输出。 原文用一张对照表把三个环节的失败模式列得很清楚:  *图:检索阶段、生成阶段与衔接问题* ```text 检索阶段 生成阶段 衔接问题 ───────── ───────── ────────── - 没检索到相关文档 - 编造信息(幻觉) - 检索到了但 LLM 没用 - 检索到不相关的 - 回答不完整 - 检索到的文档互相矛盾 - 排名不合理 - 回答答非所问 - 关键信息被截断 评估需要分别衡量每个环节的质量,而不是只看最终输出。 ``` 为什么"只看最终输出"不够?举个典型例子:最终回答错了,可能是三种完全不同的原因——(1)压根没检索到正确文档;(2)检索到了但 LLM 没采用;(3)检索到了、LLM 也用了,但自己加了料。这三种原因对应三种完全不同的修法,只看"答对了/答错了"这一个信号,无从判断。 ### Q:RAGAS 的核心思想是什么? A:结论先行——**用 LLM 评估 LLM 的输出**:指标不是写死的规则,而是让 LLM 阅读问题、上下文、回答后打分。 原文的表述: ```text RAGAS 的核心思想:用 LLM 评估 LLM 的输出 - 指标不是写死规则,而是让 LLM 阅读问题、上下文、回答后打分 - 类似于让一个"考官"判断答案好不好 - 虽然 LLM 评分不如人工精准,但方向一致、成本极低、可大规模使用 ``` RAGAS(RAG Assessment)是目前最流行的开源 RAG 评估框架,用 LLM 自动打分,无需大量人工标注。 理解它的定位:它不是"替代人工",而是"替代你手工跑几十条样本的重复劳动"。它给你的是一个**方向一致的信号**——某个改动让指标从 0.72 涨到 0.85,通常确实变好了;至于绝对值准不准,不必过度苛求。 ## 二、安装与基础使用 ### Q:RAGAS 怎么装?最小用法长什么样? A:结论先行——`pip install ragas datasets` 即可,然后把"问题 / 回答 / 上下文(+ 标准答案)"准备好,调一次 `evaluate()`。 ```bash pip install ragas datasets ``` ```python from ragas import evaluate from ragas.metrics import ( faithfulness, # 忠实度:回答是否基于检索内容 answer_relevancy, # 答案相关性:是否切题 context_precision, # 上下文精确率:检索结果中有多少相关 context_recall, # 上下文召回率:应该检索到的都检索到了吗 context_relevancy, # 上下文相关性(新指标) ) from datasets import Dataset # 准备评估数据(至少需要 question, answer, contexts) data = { "question": [ "RAG 和微调的区别是什么?", "什么是向量数据库?" ], "answer": [ "RAG 不需要重新训练模型,通过检索外部知识增强生成;微调需要标注数据重新训练。", "向量数据库是专门存储和检索向量数据的数据库。" ], "contexts": [ [ "RAG 全称 Retrieval-Augmented Generation,在生成时检索外部知识库...", "微调(Fine-tuning)需要准备标注数据集重新训练模型参数..." ], [ "向量数据库通过向量索引算法实现高效的相似度搜索...", "数据库是存储和管理数据的软件系统..." ] ], "ground_truth": [ # 可选:人工标注的标准答案 "RAG 通过检索外部知识增强生成,不需要重训模型;微调需要标注数据重新训练参数。", "向量数据库是专门存储向量数据并通过相似度算法进行高效检索的数据库系统。" ] } dataset = Dataset.from_dict(data) result = evaluate( dataset, metrics=[ faithfulness, answer_relevancy, context_precision, context_recall, ], llm=evaluator_llm, # 用于打分的 LLM(如 GPT-4) embeddings=evaluator_emb, # 用于计算语义相似度的 Embedding 模型 ) print(result) # 输出: {'faithfulness': 0.92, 'answer_relevancy': 0.88, ...} ``` 关键点解读: - **数据格式**:`question`、`answer`、`contexts` 是必需的三项,`ground_truth` 可选(但算 `context_recall` 必须有)。 - **`contexts` 是"列表的列表"**:一个问题对应一组召回文档片段,顺序有意义(影响 Precision 的位置权重)。 - **要显式传评分模型**:`llm` 负责"判断/拆解断言",`embeddings` 负责"算语义相似度",两者可以都接 OpenAI,也可以换成别的。 - **不同版本的参数名有差异**:`evaluate()` 是否必须显式传 `llm=` / `embeddings=`、指标从 `ragas.metrics` 还是别处导入,在各版本间有调整,**需结合你安装的版本确认**。 ## 三、核心指标详解 ### Q:Faithfulness(忠实度)是怎么算的?阈值怎么定? A:结论先行——**分两步:先把回答拆成原子断言,再逐个验证断言能否在检索上下文中找到依据;Faithfulness = 有依据的断言数 / 总断言数**。 Faithfulness(忠实度)衡量的就是"回答有百分之几基于检索到的文档",是**最重要的指标**。  *图:Faithfulness 两步计算:拆解断言再逐条验证依据* ```text 计算过程(分两步): Step 1 — 拆解断言(Claim Extraction): 用 LLM 把回答拆成原子级的事实断言 回答: "RAG 不需要重训模型,微调需要标注数据" → 断言: 1. "RAG 不需要重新训练模型" 2. "微调需要标注数据" Step 2 — 验证断言(Claim Verification): 逐个检查每个断言是否能在检索到的上下文中找到依据 断言 "RAG 不需要重新训练模型" → 查上下文: 上下文中有 "RAG 在生成时检索外部知识库,不修改模型参数" → 有依据 ✓ 断言 "微调需要标注数据" → 查上下文: 上下文中有 "微调需要准备标注数据集..." → 有依据 ✓ Faithfulness = 有依据的断言数 / 总断言数 = 2/2 = 1.0 ``` 再看一个反例——全是幻觉时会怎样:  *图:Faithfulness 为 0 的反例:两条断言都无依据* ```text 常见低 Faithfulness 场景: 回答: "RAG 由 Facebook 在 2023 年提出,效果远好于微调" 上下文: "RAG 是一种结合检索和生成的技术..." 拆解: 1. "RAG 由 Facebook 在 2023 年提出" → 上下文没有提及 → 无依据 ✗ 2. "RAG 效果远好于微调" → 上下文没有比较结论 → 无依据 ✗ Faithfulness = 0/2 = 0.0 ← 完全是幻觉! ``` 为什么"拆断言"这一步很关键?因为它把"整段回答好不好"这种模糊判断,转化成了可计数的小事实点,避免了一个小错误把整段回答判死、或一个正确事实掩盖其余编造的问题。 阈值建议: ```text Faithfulness 的阈值建议: > 0.90 — 优秀,幻觉很少 > 0.80 — 可接受 < 0.70 — 需要排查:Prompt 是否强调了只能基于文档回答?Top-K 的文档质量如何? ``` 注意低分时的排查方向提示:**先查 Prompt,再查 Top-K 文档质量**——这正好对应"生成"和"检索"两个环节。 ### Q:Answer Relevancy(答案相关性)怎么算?有什么陷阱? A:结论先行——**用"反向问题"与原始问题的语义相似度衡量切题度;最大的陷阱是它不等于正确性**。 ```text 计算过程: 1. 对原始回答,让 LLM 生成"反向问题"(reverse questions) → 如果看到这个回答,你会觉得它在回答什么问题? 2. 计算反向问题与原始问题的语义相似度(用 Embedding) 3. Answer Relevancy = 反向问题与原始问题的平均相似度 ``` 看两个例子,直观感受:  *图:Answer Relevancy:反向问题相似度 0.95 与 0.35* ```text 示例: 问题: "RAG 的优缺点是什么?" 回答 A: "RAG 的优点是不需要重训模型、能利用外部知识; 缺点是检索可能不准、会增加延迟。" → 反向问题: "RAG 有什么优点和缺点?"(高度重合) → 相似度: 0.95 ← 高,回答切题 回答 B: "大语言模型是近年来 AI 领域的重要突破,OpenAI 的 GPT 系列模型展示了强大的能力..." → 反向问题: "大语言模型的发展历程是怎样的?"(偏离了) → 相似度: 0.35 ← 低,跑题了 ``` 关键提醒——**Answer Relevancy ≠ 正确性**: ```text 注意:Answer Relevancy ≠ 正确性! - 一个完全错误的答案,只要它"在回答这个问题",得分也可能高 - 需要配合 Faithfulness 一起看: Faithfulness 高 + Answer Relevancy 高 → 好答案 Faithfulness 低 + Answer Relevancy 高 → 幻觉但切题(最危险) Faithfulness 高 + Answer Relevancy 低 → 真实但偏题 Faithfulness 低 + Answer Relevancy 低 → 完全失败 ``` 这也是为什么单看 Answer Relevancy 会导致误判:一个"切题但全编"的回答,它确实在回答问题,所以这项得分高,但 Faithfulness 会暴露它。**"Faithfulness 低 + Answer Relevancy 高"是最危险的组合**。 ### Q:Context Precision(上下文精确率)怎么算?为什么位置很重要? A:结论先行——**对每个检索文档判断是否相关,再用带位置权重的 Precision@K 公式计算;排名越靠前,权重越大**。  *图:Context Precision 计算:位置越靠前权重越大* ```text 计算过程: 1. 对每个检索到的文档,用 LLM 判断它是否和问题相关 2. 对判断结果用 Precision@K 公式,排名靠前的权重更高 检索结果(Top 5): 位置 1: Doc A → 相关 ✓ 位置 2: Doc B → 相关 ✓ 位置 3: Doc C → 不相关 ✗ 位置 4: Doc D → 相关 ✓ 位置 5: Doc E → 不相关 ✗ Context Precision = (1/1 + 2/2 + 2/3 + 3/4 + 3/5) / 5 = 0.72 解释: - 位置越靠前,权重越大 - 前面的文档不相关比后面不相关惩罚更重 - 理想情况:前面全是相关,后面可以有不相关 ``` 怎么读这个公式?它算的是"在每个位置上的累计精确率"的平均,前面的位置累积得早、权重自然高。所以同样的"相关文档数",**前面不相关比后面不相关的得分更低**。这符合直觉:LLM 更容易受排在前面的文档影响,前面掺噪声危害更大。 ### Q:Context Recall(上下文召回率)怎么算?它必须有标准答案吗? A:结论先行——**是的,必须有 `ground_truth`;它的算法是把标准答案拆成断言,再看这些断言有多少能在检索上下文里找到**。 Context Recall(上下文召回率)衡量"标准答案中涉及的信息,检索到的文档中覆盖了多少",管的是检索"全不全"。  *图:Context Recall 计算:2 条断言只覆盖 1 条* ```text 计算过程: 1. 将 ground_truth(标准答案/预期答案)拆成原子断言 2. 检查每个断言在检索到的上下文中是否能找到 Ground Truth: "RAG 通过检索外部知识增强 LLM 生成,不需要重训模型参数。" → 断言: 1. "RAG 通过检索外部知识增强 LLM 生成" 2. "RAG 不需要重新训练模型参数" 检索到的上下文: "RAG 是一种结合检索和大语言模型的技术..." 检查: 断言 1 → 上下文有提及 → 覆盖 ✓ 断言 2 → 上下文没有提到不重训 → 未覆盖 ✗ Context Recall = 1/2 = 0.5 ``` 三个关键注意点: ```text 注意: - Context Recall 必须有 ground_truth 才能计算 - 如果 recall 低但 Faithfulness 高 → 说明回答确实基于检索内容,但检索本身没找到关键信息 - 这是检索阶段的问题,不是生成阶段的问题 ``` 最后一点是诊断的核心价值:**Context Recall 低 + Faithfulness 高 = 检索漏了关键信息**,此时改 Prompt 是白费力气,得回到检索环节(分块、Embedding、混合检索)。 ### Q:Context Relevancy(上下文相关性)和 Context Precision 有什么区别? A:结论先行——**Precision 是逐文档判断(粒度粗),Relevancy 是从整体看这段上下文对回答有没有用(粒度细)**。 ```text 与传统 Precision 的区别: - Precision:每个文档单独判断是否相关(粒度粗) - Relevancy:从整体看这段上下文对回答问题有没有用(粒度细) 例:检索到 3 段文档 Doc A: "RAG 是一种技术架构..." ← 核心相关 Doc B: "RAG 最早由 Lewis 等人提出..." ← 相关但次要 Doc C: "大语言模型使用 Transformer..." ← 不相关(背景知识) Context Precision = 2/3 = 0.67 Context Relevancy 可能更低,因为 Doc C 甚至 Doc B 都是冗余的 ``` 理解差异的关键:Precision 问的是"这篇相不相关"(二值),Relevancy 问的是"整段上下文里有多少是真正有用的信息"(更细)。所以同一组文档,Relevancy 往往更低,因为它会把"相关但冗余"的文档也算作浪费。 ### Q:有没有一张指标速查表,能一眼看清该看哪个指标? A:结论先行——有,下面这张表覆盖了指标的含义、依赖和低分诊断,是最实用的"随身卡片"。  *图:RAGAS 六个指标的衡量对象与低分信号* ```text ┌─────────────────────┬──────────────────┬──────────┬──────────────────────────┐ │ 指标 │ 衡量什么 │ 需要什么 │ 低分意味什么 │ ├─────────────────────┼──────────────────┼──────────┼──────────────────────────┤ │ Faithfulness │ 回答有幻觉吗 │ 无 │ Prompt 太弱/检索质量差 │ │ Answer Relevancy │ 回答跑题了吗 │ 无 │ Prompt 理解偏差 │ │ Context Precision │ 检索结果准不准 │ 无 │ 检索策略/Embedding 需要调整 │ │ Context Recall │ 检索结果全不全 │ GT │ Chunk 太小或检索漏了关键信息 │ │ Context Relevancy │ 检索结果有冗余吗 │ 无 │ Top-K 太大/Chunk 质量差 │ │ Answer Correctness │ 答案事实正确吗 │ GT │ 检索或生成有严重问题 │ └─────────────────────┴──────────────────┴──────────┴──────────────────────────┘ GT = Ground Truth(标准答案,需要人工标注或从已有数据获取) ``` 读表要诀:**看"需要什么"列**——只有 `Context Recall` 和 `Answer Correctness` 需要 GT(Ground Truth,标准答案),其余四个可以"零标注"直接跑。这也是 RAGAS 能低成本普及的重要原因。 ### Q:五个指标里,如果只能先算一个,算哪个? A:结论先行——**先算 Faithfulness**,因为它不依赖人工标注、直接量化最危险的失败模式(幻觉),且对绝大多数改动都敏感。 排序思路: ```text 第一优先:Faithfulness → 无需 GT,管幻觉,验收必看 第二优先:Context Recall → 需要 GT,但它是"检索是否漏信息"的唯一窗口 第三优先:Context Precision / Relevancy → 无 GT,管检索噪声 第四优先:Answer Relevancy → 无 GT,多用于判断 Prompt 是否跑偏 ``` 为什么 Faithfulness 排第一?三个原因: 1. **零标注成本**:不需要 `ground_truth` 就能算,冷启动阶段唯一能立刻上手的指标。 2. **风险最高**:幻觉在知识库 / 法律 / 医疗场景是"杀伤性"错误。 3. **敏感度高**:换 Prompt、调 temperature、改检索质量,它通常都会有反应,能当作"改动是否有用"的第一信号。 但要注意:**只算 Faithfulness 是不完整的**。它无法告诉你"检索漏没漏"(那要 Context Recall),也无法告诉你"有没有答非所问"(那要 Answer Relevancy)。所以它是"起点",不是"终点"。 ### Q:RAGAS 的分数是绝对真理吗? A:结论先行——不是。它是"用 LLM 打分"得出的**相对信号**,适合用来比较不同版本,不适合当作绝对质量标尺。 这带来两个实用推论: 1. **同一打分模型、同一份数据、同一版本跑出来的分数才可以互相比**。换了打分模型(比如换成更弱的模型),分数的绝对值会变,**需保持打分配置不变**才能追踪改进。 2. **分数变化要结合 bad case 一起看**。均值涨了但某几条关键 case 退化了,也未必是好事;反过来,均值没动但关键 case 修好了,可能比涨分更有价值。 换句话说,RAGAS 的定位是"**帮你把改动方向找对**",最终的质量判断仍要回到人工与业务指标。 ## 四、构建评估数据集 ### Q:评估数据集最小需要哪些字段?从哪里来? A:结论先行——**最小三项 `question / answer / contexts`,要算 Context Recall 再加 `ground_truth`;数据来源推荐"真实用户日志为主 + 合成数据为辅"**。 ```python # 最少需要这些字段 eval_data = { "question": [...], # 问题列表 "answer": [...], # RAG 系统生成的回答 "contexts": [...], # 检索到的文档片段(每个问题对应一个列表) } # 如果要算 Context Recall 和 Answer Correctness,还需要: eval_data["ground_truth"] = [...] # 标准答案 ``` 来源方式有三种: ```text 方式 1:从真实用户日志提取(推荐) 优点:最真实,覆盖真正的用户场景 缺点:需要一定量级才能筛选出有代表性的问题 做法: 1. 收集 1-2 周的用户问题日志 2. 去重、筛选出有代表性的 100-200 条 3. 人工标注 ground_truth 4. 每次改 RAG 配置后,用同一批数据跑评估 方式 2:从知识库文档自动生成 优点:不需要真实用户数据 缺点:生成的问题可能不自然 做法: {"context": "RAG 全称检索增强生成..."} → LLM 生成问题: "RAG 的全称是什么?" → LLM 生成答案: "RAG 全称是检索增强生成..." 方式 3:混合(推荐) - 80% 真实用户日志(代表真实场景) - 20% 合成数据(覆盖边缘 case) ``` 为什么推荐混合?**真实日志代表"用户真的会怎么问",合成数据负责"补上真实日志里稀缺的边缘 case"**。纯真实日志可能缺少某些少见但重要的提问;纯合成数据则容易"自问自答式地过于工整",掩盖真实场景里的口语化和表述差异。 ### Q:评估数据量多少合适? A:结论先行——**日常迭代 50 条、发布前 100~200 条、重大架构变更 200+ 条**,不要一上来就追求上千条。 ```text 日常开发迭代: 50 条 ← 快速验证改动能不能用 版本发布前: 100-200 条 ← 比较全面的质量评估 重大架构变更: 200+ 条 ← 确保没有大范围回退 数据量的权衡: - 太少:统计不显著,偶然波动掩盖真实变化 - 太多:每次跑评估都慢(RAGAS 每条数据都要调 LLM) - 建议:先搞 50 条跑通流程,再逐步扩充到 200 条 ``` 这里的权衡非常实际:RAGAS 每条数据都要多次调用 LLM(拆断言、验证、生成反向问题),1000 条可能要跑很久且成本不低。所以"够用即可",把精力放在数据**代表性**上,而不是数量上。 ## 五、完整评估示例 ### Q:一份可直接复用的完整评估脚本长什么样? A:结论先行——**分三步:配置评估模型 → 定义你自己的 RAG 函数 → 批量收集输出并评估**。 ```python import os from datasets import Dataset from ragas import evaluate from ragas.metrics import ( faithfulness, answer_relevancy, context_precision, context_recall, context_relevancy, ) from ragas.llms import LangchainLLMWrapper from ragas.embeddings import LangchainEmbeddingsWrapper from langchain_openai import ChatOpenAI, OpenAIEmbeddings # ── 1. 配置评估模型 ── evaluator_llm = LangchainLLMWrapper(ChatOpenAI( model="gpt-4o", # 用最强模型打分,更准 temperature=0, # 打分任务需要确定性 )) evaluator_emb = LangchainEmbeddingsWrapper(OpenAIEmbeddings( model="text-embedding-3-small" )) # ── 2. 准备你的 RAG Pipeline ── def run_rag(question: str) -> dict: """ 你的 RAG 系统返回格式: {"answer": "...", "contexts": ["...", "..."]} """ # 这里替换成你自己的 RAG pipeline ... # ── 3. 批量评估 ── questions = [ "公司年假政策是什么?", "报销流程需要哪些材料?", # ... ] answers = [] contexts_list = [] for q in questions: result = run_rag(q) answers.append(result["answer"]) contexts_list.append(result["contexts"]) dataset = Dataset.from_dict({ "question": questions, "answer": answers, "contexts": contexts_list, }) scores = evaluate( dataset, metrics=[faithfulness, answer_relevancy, context_precision, context_relevancy], llm=evaluator_llm, embeddings=evaluator_emb, ) print(scores) ``` 关键点解读: - **评估模型与业务模型分离**:`evaluator_llm` 只负责打分,绝不要用你正在评测的那个模型来打分(等于让考生自己批卷)。 - **`temperature=0`**:打分是"判断"任务,必须确定、可复现;温度不为 0 会导致同一份数据两次结果不同。 - **`run_rag` 是唯一需要你填的地方**:只要它返回 `{"answer", "contexts"}` 两个字段,其余流程完全通用。 - **`LangchainLLMWrapper` / `LangchainEmbeddingsWrapper`** 是 RAGAS 对 LangChain 模型的适配层,用于把外部模型接入 RAGAS 的打分流程;这类包装类在不同 RAGAS 版本中位置有变动,**需结合版本确认**。 ## 六、结果解读与优化闭环 ### Q:评估结果怎么解读?怎么形成优化闭环? A:结论先行——**把评估做成"基线 → 改一个变量 → 重新评估 → 看变化 → 钻 bad case"的循环,而不是一次性打分**。  *图:评估 → 分析 → 优化 → 再评估 的闭环* ```text 评估 → 分析 → 优化 → 再评估 的闭环: ┌──────────────────────────────────────┐ │ 1. 设定基线(Baseline) │ │ Naive RAG,记录所有指标 │ └──────────────┬───────────────────────┘ │ ┌──────────────▼───────────────────────┐ │ 2. 改一个变量,重新评估 │ │ 改 Chunk size / embedding / Top-K │ └──────────────┬───────────────────────┘ │ ┌──────────────▼───────────────────────┐ │ 3. 看指标变化 │ │ - Recall 提升了但 Precision 降了? │ │ → 调大 Top-K 同时加 Reranker │ │ - Faithfulness 还是低? │ │ → 改 Prompt 强调"只能基于文档回答" │ └──────────────┬───────────────────────┘ │ ┌──────────────▼───────────────────────┐ │ 4. 钻到单条 bad case 里看 │ │ 看哪条问题得分最低 → 查原因 → 修复 │ └──────────────┬───────────────────────┘ │ └────→ 回到步骤 2 ``` "Naive RAG"指最朴素的基础实现(固定分块 + 向量检索 + 简单 Prompt),用它做基线,才能量化每一个优化到底带来了多少提升。 ### Q:优化优先级怎么排? A:结论先行——**检索(Context Recall / Precision)> 幻觉控制(Faithfulness)> 切题度(Answer Relevancy)> 答案正确性**。 ```text 按重要性排序,优化精力分配: 1. 检索(Context Recall / Context Precision) 检索是根基。如果关键文档没检索到,生成再强也没用。 → 如果 Recall < 0.7,优先优化检索(换 Embedding、调整 Chunk、加混合检索) 2. 幻觉控制(Faithfulness) 即使检索到了,LLM 也可能不遵守"基于文档回答"的要求。 → Prompt 加限制、降低 temperature、加引用强制 3. 切题度(Answer Relevancy) 相对容易解决,通常是 Prompt 的问题。 → 在 Prompt 中明确要求"简洁、直接回答用户问题" 4. 答案正确性(Answer Correctness) 综合指标,前面三个好了这个自然好。 ``` 为什么检索排第一?因为它是**上游**:检索没找到,下游无论怎么优化都无法凭空生出正确信息。原文给了一个明确的动作阈值——**Recall < 0.7 时优先优化检索**。 ### Q:不同场景的指标侧重有什么不同? A:结论先行——**企业知识库 / 法律医疗 / 代码助手最看重 Faithfulness,客服机器人看重 Answer Relevancy,学术文献检索看重 Recall**。  *图:不同场景下的指标优先级* ```text 场景 最重要的指标 次重要 不需要太关注 ────────────────────────────────────────────────────────── 企业知识库问答 Faithfulness Recall Precision 客服机器人 Answer Relevancy Faithfulness Recall 法律/医疗文档 Faithfulness Recall 速度 代码助手 Faithfulness Precision Recall 学术文献检索 Recall Precision Answer Relevancy ``` 规律很明显:**凡是"说错代价高"的场景(企业制度、法律、医疗、代码),Faithfulness 都是第一优先级**;而"检索型"场景(学术文献)更关心"别漏"(Recall),因为最终由人来判断和取舍。 ### Q:RAGAS 和其他评估方式怎么比?该只用一种吗? A:结论先行——**不该只用一种;RAGAS 管日常迭代,人工评估管发布前,规则匹配管结构化输出,用户反馈管线上监控**。  *图:四种评估方法的优缺点与适用场景* ```text 方法 优点 缺点 适用场景 ────────────────────────────────────────────────────────────────── RAGAS (LLM 自动) 可大规模、低成本 不是 100% 准确 日常开发迭代 人工评估 最准确 耗时、贵、不可重复 重大发布前 规则匹配 100% 准确、快 只能衡量表面特征 结构化输出 用户反馈 最真实 收集慢、有偏差 线上持续监控 ``` ```text 最佳实践:三种方式组合 - 日常开发迭代:RAGAS 自动评估(50-200 条) - 版本发布前:抽 30 条人工评估 - 上线后:收集用户👍👎反馈,定期 bad case 分析 ``` 每种方式各补一块短板:RAGAS 便宜但不绝对准,人工准但贵且不可复现,规则快但只看表面,用户反馈真实但来得慢。三者组合才能覆盖"开发期、发布期、运行期"三个阶段。 ## 七、常见坑 结论先行:RAGAS 用得不好,往往不是公式不会,而是"打分模型太弱"和"数据集太单一"这两个源头问题。  *图:RAGAS 评估的五个常见坑与改进建议* ```text 1. 评估 LLM 太弱 用 GPT-3.5 打分和 GPT-4 打分,结果可能差 0.15 打分模型至少用 GPT-4 / GPT-4o / Claude 3.5 级别 弱模型本身理解能力不行 → 打分不靠谱 2. 评估数据太单一 全是"什么是 XX"类问题 → 指标虚高 需要覆盖:事实查询、解释说明、对比分析、多步推理 3. 只看平均值不看分布 Faithfulness 均值 0.85 看起来不错 但有 10% 的问题得分 0.3 → 需要 drill down 4. Context Recall 缺少 Ground Truth 没有 GT 就跳过 Context Recall → 漏掉检索质量问题 建议:至少标注 50 条 GT 5. 温度设置不一致 评估 LLM 的 temperature 必须设为 0 否则同一份数据跑两次结果不一样 → 无法追踪改进 ``` ### Q:为什么"温度设置不一致"会毁掉整个评估? A:结论先行——因为评估的全部意义在于"**可比**";温度不为 0 时,同一份数据两次结果不同,改进与噪声就无法区分。 ```text 温度 = 0: v1 跑出 0.82,v2 跑出 0.87 → 结论:改进了 0.05 ✅ 温度 > 0: v1 跑出 0.82,v1 再跑一次 0.79(同一版本!) v2 跑出 0.84 → 无法判断 0.84 是改进还是波动 ❌ ``` 这也是"单变量验证"能否成立的前提:如果连"同一版本重复跑"都不稳定,那么任何跨版本的对比都是自欺欺人。 逐条理解这五个坑的危害: - **坑 1(打分模型太弱)**:这是"用尺子量尺子"的问题——尺子本身不准,测什么都是错的。原文给出的量级是"弱模型与强模型打分可能差 0.15",这个差值足以掩盖一个真实的改进。 - **坑 2(数据单一)**:全是"什么是 XX"的简单事实题,会让指标虚高,掩盖真实场景中的困难提问。 - **坑 3(只看均值)**:均值好看不代表没有灾难 case。要 drill down(下钻)到分布,看尾部。 - **坑 4(缺 GT)**:没有标准答案就跳过 Context Recall,等于放弃了"检索是否漏信息"这个关键诊断维度。 - **坑 5(温度不一致)**:温度不为 0 时,同一份数据两次结果不同,那你根本无法判断指标变化是"改进"还是"随机噪声"。 ## 小结 - RAGAS 是用 LLM 自动评估 RAG 系统的开源框架,核心指标分**检索**和**生成**两个维度。 - **Faithfulness 是"反幻觉"指标,最重要**;Context Recall / Precision 用来定位检索问题。 - 评估数据集质量决定评估结论可信度,推荐 50~200 条,混合真实用户数据 + 合成数据。 - 评估是持续闭环:**基线 → 改一个变量 → 重新评估 → 看变化 → 再改**。 - 优化优先级:**检索 Recall → Faithfulness → Answer Relevancy**。 - 日常 RAGAS + 发布前人工 + 线上用户反馈,三者组合。 - 五个常见坑:打分模型太弱、数据太单一、只看均值、缺 GT、评估温度不一致。 - 评估 LLM 的 temperature 必须设为 0,否则同一份数据两次结果不同,改进无法被追踪。 ## 思考题 1. Faithfulness 高但 Context Recall 低意味着什么?该怎么优化? 2. 为什么评估 LLM 的 temperature 必须设为 0? 3. 你的评估数据只有"什么是"类简单问题,这意味着什么风险? 4. 如果中途换了评分模型(比如从 GPT-4 换成更弱的模型),此前的历史分数还能直接对比吗?为什么?
预览
发布文章
添加摘要让读者更快了解文章内容
取消
确认发布
AI 写作助手
输入一个主题,AI 将为你生成一篇 Markdown 博客文章
AI 正在写作中...
取消
开始生成
AI 优化助手
描述你的修改需求,AI 将在原文基础上进行补充或微调
AI 正在优化中...
取消
开始优化
画布
从已有图里选
✕
图名
保存后生成 /images/excalidraw/<图名>.svg(只能用字母、数字、短横线、下划线、点)
取消
保存并插入