知序
返回
保存草稿
发布
H1
H2
H3
1
2
3
Excalidraw 图
AI 写作
AI 优化
目录
输入内容后显示目录
Markdown
# 05 - 检索策略 > 导读:本文从"知识库里明明有答案,为什么模型就是答不出来"这个最常见的线上问题出发,把稠密检索与稀疏检索的差异、BM25 的原理、混合检索与 RRF 融合、两阶段重排序(Bi-Encoder 与 Cross-Encoder)、元数据过滤以及检索策略对比与踩坑讲透,最后给出推荐架构。适合正在调优 RAG 召回效果、或面试中被追问"混合检索与重排序怎么做"的同学。 ## 一、先建立全局认知 ### Q:为什么说检索是 RAG 的核心? A:结论先行——因为检索质量直接决定生成质量;检索不到相关文档,LLM 再强也没用。 这个结论可以从"信息流"的角度证明:生成阶段唯一的外部信息来源就是检索结果。如果正确答案没有被召回,模型面对的就是"没有依据的问题",它只有两种出路——承认不知道,或者编一个答案。前者是可用性差,后者是幻觉。二者都不是调 Prompt 能解决的。 所以检索的目标可以用两个指标刻画: ```text 检索的目标: 高召回率(Recall):相关文档尽量都找到 高精确率(Precision):找到的文档尽量都相关 两者通常需要权衡 ``` ### Q:召回率和精确率为什么会冲突?怎么权衡? A:结论先行——因为"多找一些"必然带来更多无关内容,"只找最相关的"必然会漏掉一些边缘相关内容,二者的调节方向相反。 用直觉理解这对矛盾: - **追求高召回**(宁滥勿缺):把 K 调大、把阈值放松,相关文档基本都能捞到,但 Top-K 里混进了大量无关片段,噪声进了 Prompt。 - **追求高精确**(宁缺毋滥):把 K 调小、把阈值收紧,返回的基本都相关,但真正有用的那条可能排在第 8 位被截掉。 在 RAG 里,**通常优先保证召回**。原因很直接:召回不足是"信息缺失",模型不可能凭空补上;而精确不足只是"信息冗余",模型通常还能从噪声里挑出有用的部分(尤其当上下文管理得当时)。这也正是"粗召回、精排序"两阶段架构的理论依据——**第一阶段全力保召回,第二阶段专注提精确**。 需要提醒的是,这个优先级不是绝对的。如果上下文窗口很紧张、或者模型对噪声特别敏感,那精确率的重要性就会上升。工程上要结合已发生的问题类型来判断:如果线上常出现"资料里明明有却说不知道",先修召回;如果常出现"答非所问、被无关内容带偏",先修精确。 ## 二、两种基础检索范式 ### Q:什么是稠密检索?它的强项和短板分别是什么? A:结论先行——稠密检索就是向量检索:把 Query 和文档都变成稠密向量,算相似度。它擅长语义匹配,但不擅长精确匹配专有名词和编号。 ```text 优点:理解语义("汽车" 能匹配 "轿车") 缺点:对专有名词、编号等精确匹配不擅长 ``` 强项的来源是向量空间的"泛化能力":同义、近义、上下位关系在训练中被编码进了向量距离,所以表述不同但意思相同的文本能互相命中。这是关键词检索做不到的。 短板的来源则在于"语义相近"不等于"用户要的那个": - 搜 `GPT-4` 时,`GPT-3`、`GPT-3.5` 在向量空间里可能非常接近,容易被一起召回,甚至压过真正要的那条。 - 搜某个具体编号、合同条款号、产品型号时,向量无法保证唯一性——因为对模型来说,这些字符串的"语义"差别极小。 所以稠密检索的定位是"**语义召回的主力,但不是万能的**",它需要稀疏检索来补齐精确匹配这一块。 ### Q:什么是稀疏检索?BM25 为什么有效? A:结论先行——稀疏检索基于关键词做传统检索(如 BM25、TF-IDF),它在精确匹配上很强,但完全不理解语义。 ```text BM25 原理(简化版): 对 Query 中的每个词,计算它在文档中的重要性 词频高 + 文档频率低 = 重要(类似 TF-IDF) 考虑文档长度归一化 优点:精确匹配强(搜 "GPT-4" 就找 "GPT-4") 缺点:不理解语义(搜 "汽车" 找不到 "轿车") ``` 把 BM25 的三个设计点逐个讲清楚,就能理解它为什么经久不衰: - **词频(TF)越高越重要**:一个词在文档里出现得多,说明文档更可能围绕它展开。但 BM25 做了"饱和"处理——出现次数多到一定程度后,边际收益递减,避免"堆词"的文档靠重复刷分。 - **文档频率(DF)越低越重要**:像"的""是"这类几乎每篇都出现的词,区分度为零,权重应被压低;而"心肌梗死"这种只在少数文档出现的词,一旦命中就是强信号。这就是 IDF(逆文档频率)的作用。 - **文档长度归一化**:长文档天然更容易"碰巧包含"某个词,如果不做归一化,长文档会占便宜。归一化让长短文档在同一个尺度上比较。 BM25 的工程价值在于:**它不需要训练、不需要 GPU、结果可解释、对精确匹配近乎完美**。所以在混合检索里,它常常不是"被替代的旧技术",而是"负责精确匹配那一半的关键组件"。 ### Q:BM25 在代码里怎么用? A:结论先行——用 `BM25Retriever.from_documents` 直接从现有文档块构建,`k` 指定返回条数,之后 `invoke` 即可检索。 ```python # BM25 检索 from langchain_community.retrievers import BM25Retriever bm25_retriever = BM25Retriever.from_documents(chunks) bm25_retriever.k = 5 results = bm25_retriever.invoke("RAG 的检索策略") ``` 三个要点: - **它复用同一批 `chunks`**:这意味着你不需要为 BM25 重新分块或重建数据,只要在已有的分块结果上再建一个关键词索引即可,成本极低。 - **`k = 5` 与稠密检索的 K 相互独立**:混合检索时二者可以取不同的 K,因为融合阶段会按排名重新排序,而不依赖绝对分数。 - **它天然需要"分词"**:BM25 是基于词项的算法,中文场景下分词质量直接影响效果。分词粒度过粗会丢失区分度,过细会产生大量无意义词项——这是中文 BM25 落地时最需要验证的一环(具体分词器选择需结合所用实现确认)。 ## 三、混合检索(Hybrid Search) ### Q:为什么说混合检索是推荐的默认方案? A:结论先行——因为稠密检索强在语义、稀疏检索强在精确,二者互补,融合后能在两类查询上都表现良好。 ```text Query: "GPT-4 的上下文窗口是多少?" 稠密检索找到:关于 LLM 上下文窗口的通用描述 稀疏检索找到:包含 "GPT-4" 关键词的精确文档 混合后:两者的结果合并,效果更好 ``` 这个例子非常典型,值得拆开看:稠密检索抓住了"上下文窗口"这个语义主题,但可能拿回一堆关于 GPT-3、Claude 的通用描述;稀疏检索锁定了"GPT-4"这个精确词项,但可能召回了所有提到 GPT-4 的文档,不区分是否讲窗口。**两者的强项恰好补上对方的短板**。 所以"混合"不是"两个都跑一遍图个心安",而是有针对性的组合:**用稠密检索保证语义覆盖,用稀疏检索保证关键词不丢**。当用户查询里既有自然语言描述、又有专有名词或编号时,这种组合的优势最明显。 ### Q:混合检索在代码里怎么实现? A:结论先行——用 `EnsembleRetriever` 把多个检索器组合起来,通过 `weights` 调整各方权重。 ```python from langchain.retrievers import EnsembleRetriever # 混合检索器 ensemble_retriever = EnsembleRetriever( retrievers=[bm25_retriever, vector_retriever], weights=[0.4, 0.6] # BM25 权重 40%,向量检索 60% ) results = ensemble_retriever.invoke("GPT-4 的上下文窗口") ``` 这里 `weights=[0.4, 0.6]` 的含义是"BM25 占 40%、向量检索占 60%"。它反映了对两种召回来源的信任分配,需要按业务数据调: - 查询里**专有名词、编号多** → 适当提高 BM25 权重。 - 查询以**自然语言描述为主** → 适当提高向量检索权重。 - **不确定就先对半**,然后用评测集对比调整。 一个必须强调的实践点:**权重不能凭感觉定,也不能一次调完就永久固定**。正确做法是准备一批代表性查询,分别测不同权重下的召回效果,选最优配置;并且当文档结构或用户提问模式变化时要重新评估。 ### Q:RRF 是怎么融合多路结果的?为什么它好用? A:结论先行——RRF(Reciprocal Rank Fusion,倒数排名融合)按"排名"而不是"分数"来融合多路结果,因此不受各路分数尺度不同的影响。 ```text 合并多个检索器结果的常用算法 RRF_score(d) = Σ 1 / (k + rank_i(d)) k 通常取 60 rank_i(d) 是文档 d 在第 i 个检索器中的排名 例:文档 A 在 BM25 排第 1,在向量检索排第 3 RRF = 1/(60+1) + 1/(60+3) = 0.0164 + 0.0159 = 0.0323 RRF 不依赖分数的绝对值,只看排名,适合合并不同类型的检索结果 ``` 为什么"只看排名"这么重要?因为**不同检索器的分数根本不可比**:BM25 的分数是没有上界的实数,向量相似度通常在固定区间内。如果直接把它们加权相加,就等于把两把不同的尺子强行对接,结果会被量纲更大的那一路主导。RRF 绕开了这个问题——它只关心"排第几"。 从公式还能读出两个性质: - **排名越靠前,贡献越大**:`1/(k + rank)` 随 rank 增大而迅速衰减,所以排第一的贡献远大于排第十。 - **`k`(原文取 60)起"平滑"作用**:它让排名之间的差距不至于被过度放大,从而让"在多个检索器里都排中游"的文档也能获得合理分数,而不是被一路第一名通吃。 RRF 的局限也很清楚:**它丢弃了分数的强度信息**。一条"极其相关"和一条"勉强相关"的文档,只要排名相同,在 RRF 里就没有区别。所以当分数本身有可比意义时,也可以采用加权融合;而当多路分数尺度不一致时,RRF 是更稳的选择。 ### Q:除了 BM25 + 向量这一路组合,还能做哪些"多路召回"? A:结论先行——多路召回的本质是"用不同视角覆盖同一批数据",常见做法包括不同检索范式、不同分块粒度、不同 Embedding 模型,最后统一融合。 几种思路: - **不同范式**:向量 + BM25,这是最经典的组合,也是"混合检索"一词最常指的形态。 - **不同粒度**:用小块检索保证定位精度,同时用大块检索保证上下文完整(这也是后续要讲的"父文档检索"思路的基础)。 - **不同模型**:用两个互补的 Embedding 模型各做一次召回,融合结果,降低单一模型的偏好带来的漏召回。 代价也很明显:**每加一路就多一份索引成本与一次在线检索开销**。所以原则是"只有当某类查询在第一路里系统性漏召回时,才补第二路",而不是把能想到的召回方式全跑一遍。 ### Q:检索结果的顺序会影响生成效果吗? A:结论先行——会。位置本身是一个强信号,把最相关的片段放在上下文的开头或结尾,通常比平均铺开效果更好。 原因在于模型对上下文的注意力分布并不均匀:位于中间位置的内容更容易被忽略。所以除了"选对片段",**"摆对位置"也是检索后处理的一环**: - **重排序之后要重新排序上下文**:Reranker 给出的分数可用于决定片段摆放顺序,把高分片段放两端。 - **去重**:混合检索容易让同一条内容经不同路径被召回两次,重复片段既浪费窗口,又会让模型误以为该信息"更重要"。 - **控制总量**:进入 Prompt 的片段总长度要留有预算,不能因为多路召回就无限膨胀。 这些细节看似琐碎,但在上下文紧张、或问题需要精确定位时,往往能带来可感知的提升。 ## 四、重排序(Reranking) ### Q:为什么要"先粗检再精排"?直接用精排模型检索不行吗? A:结论先行——因为 Cross-Encoder 精度高但不能预计算,对全库做精排的成本高到不可接受;所以先用便宜的检索做广召回,再用贵的模型对少量候选精排。 ```text 流程: 1. 初步检索 Top-20(速度优先,召回率高) 2. Reranker 对 20 个结果精排,取 Top-5(精度优先) 初步检索(Bi-Encoder): Query 和 Document 分别编码,算向量相似度 速度快,但精度有限 重排序(Cross-Encoder): Query 和 Document 拼接在一起输入模型,输出相关性分数 精度高,但速度慢(不能预计算) ``` 理解这个架构的关键,在于看清两种编码方式的本质差异: - **Bi-Encoder(双塔)**:Query 和 Document **分别**编码成向量。好处是文档向量可以**离线预计算并建索引**,在线只需编码一次 Query 再算距离,所以快。代价是——两者编码时"互不知道对方",交互信息只能靠向量空间隐式承载,精度有限。 - **Cross-Encoder(交叉编码器)**:把 Query 和 Document **拼在一起**输入同一个模型,让模型在内部做充分的注意力交互,因此精度显著更高。代价是——**每对(query, document)都要跑一次模型,无法预计算**。 把两者与数据规模放在一起看,架构的必要性就非常明显了: - **全库精排 = 每条文档都要和 Query 拼一次跑模型**。库里有百万条,就要跑一百万次,这是不可能接受的。 - **两阶段方案 = 粗检把候选从百万降到几十**,再对这几十条跑 Cross-Encoder。成本从"百万次"降到"几十次",而召回由第一阶段保证,精度由第二阶段保证。 一句话总结:**两阶段检索是"用便宜模型降数量、用昂贵模型提精度"的经典分工**,本质上是把算力花在刀刃上。  *图:混合检索与 Rerank:稠密和 BM25 广召回,再用 Cross-Encoder 精排序* ### Q:重排序在代码里怎么实现? A:结论先行——可以用托管的 Rerank 服务(如 Cohere Rerank)配合 `ContextualCompressionRetriever`,也可以用开源的 Cross-Encoder 模型(如 BGE-reranker)直接打分。 ```python # Cohere Reranker from langchain.retrievers import ContextualCompressionRetriever from langchain_cohere import CohereRerank reranker = CohereRerank(model="rerank-v3.5", top_n=5) compression_retriever = ContextualCompressionRetriever( base_compressor=reranker, base_retriever=vector_retriever # 初步检索 Top-20 ) results = compression_retriever.invoke("什么是 RAG?") # 开源 Reranker:BGE-reranker、Jina-reranker from sentence_transformers import CrossEncoder reranker = CrossEncoder("BAAI/bge-reranker-v2-m3") scores = reranker.predict([("query", "doc1"), ("query", "doc2")]) ``` 逐段解读: - **`ContextualCompressionRetriever` 的语义是"先检索、再处理"**:`base_retriever` 负责粗召回(注释里写明是 Top-20),`base_compressor` 对结果做重排序(这里是 Reranker)。`top_n=5` 表示精排后只保留 5 条。 - **两阶段的 K 应分开配置**:粗检的 K 要大(保证召回),精排后的 `top_n` 要小(保证送入 Prompt 的内容精炼)。这正是前文"召回与精确率权衡"的具体落地。 - **开源方案直接用 CrossEncoder 打分**:`reranker.predict([...])` 接收的是 (query, document) 对,输出相关性分数。注意它的调用形态就是"成对输入"——这正好对应 Cross-Encoder 的定义。 工程提醒:Rerank 会引入一次额外的模型调用,**必然增加延迟**。如果业务对延迟敏感,需要评估"重排序带来的精度收益"是否值得这笔延迟开销,或者考虑用本地小模型替代远端服务。 ## 五、元数据过滤 ### Q:元数据过滤解决什么问题? A:结论先行——它在向量相似度之外,额外施加结构化约束来缩小搜索范围,既提高精度也提高效率。 ```python # 检索时按元数据过滤,缩小搜索范围 results = vectorstore.similarity_search( "RAG 的检索策略", k=5, filter={ "source": "rag-guide.pdf", "date": {"$gte": "2024-01-01"} } ) # 适用场景: # 多租户(按用户 ID 过滤) # 时间范围(只搜最近的文档) # 文档类型(只搜技术文档) ``` 过滤的三大价值: - **精度**:把明显不该出现的内容(其他租户、过时版本、无关文档类型)在检索阶段就排除,从根上避免它们进入 Top-K。 - **效率**:搜索空间变小,检索引擎可用的计算更集中,延迟通常更低。 - **合规与安全**:多租户隔离、权限控制这类需求**必须**靠过滤实现,不能依赖"模型看到也不说"。 一个高频考点:**过滤应该发生在哪里?** 答案是"作为检索请求的一部分交给向量库",让它在下推候选集时就完成过滤。如果在应用层"取回 Top-100 再本地筛",很可能筛完只剩一两条,K 严重不足——这不是过滤的问题,而是过滤位置错了。 ## 六、检索策略对比与选型 ### Q:四种检索策略各自的适用场景是什么? A:结论先行——稠密检索用于通用语义搜索,稀疏检索用于关键词/编号搜索,混合检索是推荐默认方案,叠加重排序用于高精度要求。 ```text 策略 精确匹配 语义理解 速度 适用场景 稠密检索 弱 强 快 通用语义搜索 稀疏检索(BM25) 强 弱 快 关键词/编号搜索 混合检索 强 强 中 推荐默认方案 + 重排序 强 强 慢 高精度要求 ``` 选型建议按"成本递增"的思路推进,**每一步只在上一阶段确实构成瓶颈时才引入**: - **只有语义查询、且效果达标** → 单用稠密检索即可,别过早复杂化。 - **出现明显的精确匹配失败(编号、型号、专名)** → 加入 BM25,做混合检索。 - **召回够了但排序不够好(正确内容排在中游)** → 加入重排序,把正确内容顶上来。 - **需要隔离与时效控制** → 补上元数据过滤。 一句话原则:**推荐方案是"混合检索 + 重排序"**,但要先确认基础检索确实存在它要解决的问题。此外要强调:任何一种策略的收益都应在固定评测集上量化验证,而不是靠个别案例的感受来判断——检索调优最怕的就是"改了看着好像好了"。 ## 七、工程实践与踩坑 A:检索环节的坑集中在"融合、评测、延迟"三处: ```text √ 融合多路结果优先用 RRF,避免分数尺度不可比 √ 粗检 K 与精排 top_n 分开配置,各自服务于召回与精度 √ 中文 BM25 要验证分词质量 √ 过滤条件交给向量库执行,不要客户端后处理 √ 上线前用真实问题评测权重与 K,而不是凭感觉 × 认为向量检索万能,忽略精确匹配场景 × 无脑叠加所有策略,把延迟和复杂度推高 × 只用少量"理想提问"验证,忽略口语化、错别字等真实输入 ``` 几个值得展开的坑: - **分数不可比的融合**:把 BM25 分数和余弦相似度直接加权相加,会被量纲更大的那一路主导。要么统一归一化,要么用 RRF。 - **重排序改变了下游预期**:加入 Rerank 后,最终进入 Prompt 的片段顺序变了,Prompt 里"最重要的放开头"这类安排要跟着复核。 - **忽略"检索为空"的处理**:混合检索、重排序之后仍可能没有足够相关内容,此时必须触发兜底逻辑(如提示"资料中未找到"),而不是硬把低分结果塞给模型。 - **评测集代表性问题**:只用几条"标准提问"调权重,很容易过拟合。评测集应覆盖口语化问法、含错别字的问法、含编号的问法和多意图的复杂问题。 ### Q:相似度分数能直接当"置信度"用吗? A:结论先行——不能。分数是相对的排序依据,不是"答案正确概率",不同度量、不同模型下的分数含义并不一致。 常见的误用是拍一个固定阈值,比如"分数低于 0.8 就认为没检索到"。这样做有两个问题: - **量纲不同**:余弦相似度、L2 距离、内积的取值范围和方向都不同,"高分"甚至可能意味着"不相关"(如距离度量)。**具体含义需结合所用向量库与度量配置确认。** - **分布会漂移**:换 Embedding 模型、换分块粒度、换数据集,分数分布都会变化,昨天合适的阈值今天就可能过松或过紧。 更稳的做法是:**用相对判据而非绝对阈值**。比如观察 Top-K 分数的"落差"——如果第一名明显高于其后几名,说明定位清楚;如果 Top-5 分数挤在一起,说明检索并不确定,此时应触发澄清或兜底,而不是硬答。 ### Q:怎么评测检索效果? A:结论先行——评测检索要能回答两个问题:"该找到的找到了吗"(召回)和"找到的是不是都相关"(精确),并且必须在固定数据集上可重复。 一个不依赖复杂框架的评测做法: - **构造问答对**:为每个问题标注"答案所在的原文位置",即标准答案块。 - **测召回**:检查标准答案块是否出现在 Top-K 中,以及排在第几位。这一项直接反映"模型能不能拿到资料"。 - **测排序质量**:观察标准答案块的排名分布,配合重排序前后对比,判断精排是否真的把相关片段顶上来了。 - **按查询类型分层**:把问题分成"语义型""关键词型""混合型"三类分别统计,避免总体指标掩盖某一类的严重缺陷。 这三类分层统计尤其有用:如果总体表现尚可、但"关键词型"问题命中率极低,那说明混合检索的权重需要向 BM25 倾斜。 ### Q:检索环节的延迟怎么优化? A:结论先行——先分清延迟来自"检索"还是"重排序",再针对性优化;通常重排序和 Query 改写才是大头。 优化方向按性价比排序: - **控制候选规模**:粗检 K 不要盲目放大,精排 `top_n` 尽量小,减少进入昂贵模型的数据量。 - **重排序本地化或降级**:远端 Rerank 服务多一次网络往返;可评估本地小模型,或只对"分数接近的候选"做精排。 - **并行化多路召回**:混合检索的两路召回通常互不依赖,可以并发执行,把总延迟从"相加"变成"取最大值"。 - **缓存**:高频问题与其检索结果可缓存,尤其适合知识库更新不频繁的场景。 - **减少不必要的在线模型调用**:Query 改写等步骤若收益有限,可以考虑条件触发而非每次执行。 一句话:**延迟优化的前提是先测量**。在不知道瓶颈在哪一环之前做优化,很容易把复杂度加上去而延迟不降。 ## 小结 - 检索质量直接决定生成质量;通常优先保召回,再用重排序提精确。 - 稠密检索理解语义,稀疏检索精确匹配,混合检索取长补短,是推荐的默认方案。 - BM25 依靠词频、逆文档频率和长度归一化,无需训练,对精确匹配极强。 - RRF 按排名融合多路结果,不受分数尺度影响,适合合并异构检索器。 - 重排序用 Cross-Encoder 对少量候选精排,精度显著提升,代价是额外延迟;先粗检再精排是必然架构。 - 元数据过滤缩小搜索范围,兼顾精度、效率和合规,必须由服务端执行。 - 推荐方案:混合检索 + 重排序,但要按实际瓶颈逐步引入。 ## 思考题 1. 为什么不直接用 Cross-Encoder 做检索,而要先粗检再精排? 2. 混合检索中 BM25 和向量检索的权重怎么调? 3. RRF 的公式里 `k` 取大了或取小了,会对融合结果产生什么影响? 4. 如果业务查询里既有"报销标准是多少"这类语义问题,也有"查一下 ZX-2024-07 号文件",你会怎么设计检索链路? 5. 加入重排序后延迟上升明显,你有哪些办法在不牺牲太多精度的前提下把延迟压回来?
预览
发布文章
添加摘要让读者更快了解文章内容
取消
确认发布
AI 写作助手
输入一个主题,AI 将为你生成一篇 Markdown 博客文章
AI 正在写作中...
取消
开始生成
AI 优化助手
描述你的修改需求,AI 将在原文基础上进行补充或微调
AI 正在优化中...
取消
开始优化
画布
从已有图里选
✕
图名
保存后生成 /images/excalidraw/<图名>.svg(只能用字母、数字、短横线、下划线、点)
取消
保存并插入