知序
返回
保存草稿
发布
H1
H2
H3
1
2
3
Excalidraw 图
AI 写作
AI 优化
目录
输入内容后显示目录
Markdown
# 文档处理与分块策略 > 导读:本文从"知识库里明明有答案,检索却总是命中一段无关的话"这个高频疑难出发,把文档加载、预处理、四种主流分块策略(固定大小、递归字符、语义分块、结构化分块)、chunk_size 与 chunk_overlap 的取舍、元数据过滤以及工程踩坑讲透,最后给出选型与调优方法。适合正在搭建 RAG 知识库、或面试中被追问"你怎么做文档切片"的同学。 ## 一、先建立全局认知 ### Q:为什么 RAG 必须分块?能不能整篇文档直接入库? A:结论先行——必须分块。分块的目的是**把长文档切成语义完整的小片段,方便检索时精准匹配**,同时受限于 LLM 的上下文窗口,也不可能把整篇文档塞进去。 先从"为什么要分"讲清楚。RAG 的检索单位不是"文档",而是"片段"。如果整篇文档作为一个单位,会出现两个问题:一是相似度被"平均"了——一篇 50 页的文档里可能只有一段和问题相关,但整篇的向量是所有内容的混合,和问题的相似度反而被稀释;二是即便命中了,也会把 50 页全部塞进 Prompt,既超窗口又极端浪费。 再从"切多大"讲清楚取舍,这是本节的题眼: ```text LLM 的上下文窗口有限,不能把整篇文档塞进去。分块的目的是 把长文档切成语义完整的小片段,方便检索时精准匹配。 分块太大:检索到的内容包含太多无关信息,噪声大 分块太小:语义不完整,缺少上下文,LLM 无法理解 ``` 所以核心结论是:**分块要找到"语义完整"与"精准匹配"之间的平衡点**。这个平衡点不是拍脑袋定的,而是由文档类型、Embedding 模型最大输入长度、LLM 上下文窗口共同决定的。 ### Q:分块太大和太小,分别会带来什么后果? A:结论先行——太大导致"检索不准、噪声多、浪费窗口",太小导致"语义破碎、上下文缺失、模型看不懂"。 展开成四个具体症状,便于排查时对号入座: ```text 分块太大(如 2000+ 字符): 1. 向量被多个主题混合,相似度区分度下降 2. 命中的片段里大量内容与问题无关,噪声大 3. 几个大块就把上下文窗口占满,K 只能取得很小 4. 生成时模型要自己"大海捞针",容易看漏 分块太小(如 100 字符以下): 1. 一句话的片段缺少主语、前提、指代,语义不完整 2. 一件事被拆到多个块,单个块都答不全 3. 检索命中后,模型拿到的是"半句话" 4. 相同意思的碎块互相竞争排名,挤掉真正有用的块 ``` 一个特别容易被忽略的现象是"**指代丢失**":原文写"该方案在上文中提到的基础上做了三点改进",如果"上文"被切到了别的块里,这个小块就成了无法理解的孤岛。这也是后面要讲 `chunk_overlap`(重叠)和元数据的根本原因。 ## 二、文档加载与预处理 ### Q:常见文档格式分别怎么加载? A:结论先行——用统一的加载器接口把异构格式转换成带元数据的文档对象,PDF、Word、CSV、网页、代码仓库各有对应加载器。 ```python # 文档处理与分块策略 from langchain_community.document_loaders import ( TextLoader, # .txt PyPDFLoader, # .pdf Docx2txtLoader, # .docx CSVLoader, # .csv UnstructuredHTMLLoader, # .html WebBaseLoader, # 网页 NotionDirectoryLoader, # Notion GitLoader, # Git 仓库 ) # PDF 加载 loader = PyPDFLoader("document.pdf") pages = loader.load() # 每页一个 Document 对象 # 网页加载 loader = WebBaseLoader("https://example.com/article") docs = loader.load() ``` 解读三个关键点: - **加载单位不统一**:`PyPDFLoader` 的粒度是"页",所以 `pages` 是"每页一个 Document 对象"。这意味着 PDF 天然会被页边界切开,跨页的段落和表格需要在后续处理中拼回。这一点在面试里常被追问"PDF 分块有什么特殊困难"。 - **Document 是统一契约**:不管来源是什么格式,加载后都变成"正文 + 元数据"的对象。后续的分块、向量化、检索全部基于这个契约,因此加载层的质量直接决定下游。 - **网页加载的隐含问题**:网页里通常夹带导航栏、广告、页脚,直接加载会把大量噪声带进知识库。这也是为什么"加载"之后必须有"预处理"这一步。 ### Q:加载完为什么还要预处理?具体要做哪些清洗? A:结论先行——因为真实文档里混着大量对检索无用的结构性噪声,不清洗会污染向量,导致检索精度下降。 ```text 加载后通常需要清洗: 去除页眉页脚、页码 去除多余空白和换行 处理表格(转为文本或 Markdown) 处理图片(OCR 或多模态模型描述) 统一编码格式 ``` 逐条说明"为什么": - **去除页眉页脚、页码**:这些内容在每页重复出现,会让"同一份文档的多个页"向量高度相似,反而挤占检索结果,同时"第 3 页"这类页码对语义毫无贡献。 - **去除多余空白和换行**:PDF 解析常常在一句话中间插入换行,导致按 `\n` 切分时被误切;统一空白能让分块器看到正确的段落结构。 - **表格处理**:这是 RAG 的经典难点。把表格拍平成普通文本会丢失行列对应关系,通常的做法是转成 Markdown 表格或序列化成"字段: 值"的形式,让模型能看出结构。若表格特别复杂,也可考虑对表格单独做一次摘要再入库。 - **图片处理**:扫描件、图表、流程图里的信息必须通过 OCR(光学字符识别,Optical Character Recognition)或由多模态模型转成文字描述,否则这部分知识等于不存在。 - **统一编码**:中文文档常见 GBK 与 UTF-8 混杂,编码不统一会产生乱码,直接破坏语义。 一句话总结预处理的原则:**凡是"对理解语义没有帮助、却会出现在很多片段里"的内容,都应该在入库前清掉**。 ### Q:为什么说 PDF 是分块里最麻烦的格式? A:结论先行——因为 PDF 本质是"排版描述"而不是"语义结构",它没有段落、标题这些概念,只有坐标和字体,因此解析出来的文本顺序和语义顺序经常不一致。 具体困难包括: - 页眉页脚、页码、水印会混入正文; - 分栏排版会把左右两栏的文字交错输出,句子被打乱; - 跨页段落、跨页表格会在页边界被物理切断; - 扫描件需要先 OCR,而 OCR 还会引入识别错误。 所以处理 PDF 时,通常要先做"版面分析"再把文本重组成逻辑结构。这也解释了为什么上文的"结构化分块"对 PDF 特别标注了"需要先提取结构"——不先恢复结构,就谈不上按章节切。 ## 三、主流分块策略详解 ### Q:固定大小分块怎么用?它的本质问题是什么? A:结论先行——固定大小分块按字符数硬切,简单快速,但可能切断语义,只适合快速原型。 ```python from langchain.text_splitter import CharacterTextSplitter splitter = CharacterTextSplitter( chunk_size=500, # 每块最大 500 字符 chunk_overlap=50, # 相邻块重叠 50 字符 separator="\n" # 优先在换行处切割 ) chunks = splitter.split_documents(docs) ``` 重叠机制的作用,可以用一个最小例子说清楚: ```text 原文:[AAAA|BBBB|CCCC|DDDD|EEEE] chunk_size=4, chunk_overlap=1: Chunk 1: [AAAA] Chunk 2: [ABBB] ← 重叠 1 个字符 Chunk 3: [BCCC] Chunk 4: [CDDD] Chunk 5: [DEEE] 重叠的作用:防止关键信息被切断在两个块的边界 ``` 这里的关键点是:**重叠不是冗余,是保险**。如果某个关键句子正好横跨边界,没有重叠时它会被切成两半,两个块都无法独立表达完整意思;有了重叠,至少有一个块能包含完整句子。 但要提醒的是,固定大小分块的"本质问题"在于它只看字符数、不看语义:`separator="\n"` 会尽量在换行处切,但只要一块攒够 500 字符就切,遇到长段落时依然会从句子中间断开。所以它更适合"先把流程跑通",而不是追求效果。 ### Q:为什么递归字符分块是最推荐的默认方案? A:结论先行——因为它按"段落 → 行 → 句子 → 空格 → 字符"的优先级逐级降级切割,能在满足大小限制的同时尽量保住语义完整性。 ```python from langchain.text_splitter import RecursiveCharacterTextSplitter splitter = RecursiveCharacterTextSplitter( chunk_size=500, chunk_overlap=50, separators=["\n\n", "\n", "。", ".", " ", ""] # 优先按段落切,切不开按句子,再切不开按字符 ) ``` 它的切割优先级是这样的: ```text 切割优先级: 1. 先按 "\n\n"(段落)切 2. 段落太长 → 按 "\n"(行)切 3. 行太长 → 按 "。" 或 "."(句子)切 4. 句子太长 → 按空格切 5. 最后按字符切 好处:尽量保持语义完整性 ``` 理解这个策略,关键是抓住"**递归降级**"四个字:分块器先尝试用最"粗"的分隔符切,如果切出来的块仍然超过 `chunk_size`,就用下一级更细的分隔符继续切,直到满足大小或退化成按字符硬切。 为什么它成为默认方案?因为它对文档结构做了最朴素的尊重——段落天然是语义单元,句子次之,字符最差。相比之下,固定大小分块是一刀切,递归字符分块是"尽量按语义切,实在不行再硬切"。这个性价比几乎无可替代。 一个实用细节:中文场景下 `separators` 里显式加上了 `"。"`,因为句号是中文句子的天然边界;如果不加,中文长句只能一路降级到空格或字符级,语义完整性会明显下降。 ### Q:语义分块(Semantic Chunking)是怎么工作的? A:结论先行——它先按句子切分,再计算相邻句子的 Embedding 相似度,在相似度骤降处(语义边界)切割,因此块内语义一致;代价是需要调用 Embedding 模型,成本更高。 ```python from langchain_experimental.text_splitter import SemanticChunker from langchain_openai import OpenAIEmbeddings splitter = SemanticChunker( OpenAIEmbeddings(), breakpoint_threshold_type="percentile" ) chunks = splitter.split_documents(docs) ``` ```text 原理: 1. 将文本按句子切分 2. 计算相邻句子的 Embedding 相似度 3. 相似度突然下降的地方 = 语义边界 = 切割点 优点:切割点在语义转换处,块内语义一致 缺点:需要调用 Embedding 模型,成本更高 ``` 这里要理解一个直觉:**话题切换时,相邻句子的向量相似度会掉下去**。比如前一句在讲"分块大小",下一句突然开始讲"元数据",两者的向量距离会明显变大,这个"落差"就是切点。 它的取舍非常典型:**用成本换质量**。因为要对每个句子做一次向量化,当文档集很大时,向量化开销会成为瓶颈;而且句子级向量化的调用量远超"块级向量化"。所以实践上通常用在"高价值、规模可控"的知识库上,而不是无脑全量使用。 另外要强调 `breakpoint_threshold_type="percentile"` 的含义:它决定了"相似度降到多少算边界"。`percentile` 是"按分位数取阈值"的思路——也就是说阈值不是固定数值,而是相对当前文档的分布来定。这样对不同类型的文本更鲁棒。想换判定口径时可以改这个参数,但具体可选值与效果**需结合所用法库版本确认**。 ### Q:按文档结构分块怎么做?适合哪些文档? A:结论先行——利用文档已有的标题层级、标签或语法结构来切分,切出的块自带结构信息(如所属标题),天然适合 Markdown、HTML 和代码。 ```python from langchain.text_splitter import MarkdownHeaderTextSplitter headers_to_split_on = [ ("#", "h1"), ("##", "h2"), ("###", "h3"), ] splitter = MarkdownHeaderTextSplitter(headers_to_split_on=headers_to_split_on) chunks = splitter.split_text(markdown_text) # 每个 chunk 自动带上所属的标题层级作为 metadata ``` ```text 适用于结构化文档(Markdown、HTML、代码): Markdown → 按标题层级切 HTML → 按标签切 代码 → 按函数/类切 PDF → 按章节切(需要先提取结构) ``` 它的真正价值不只是"切得准",而是**每个块顺手带上了路径信息**。比如一个块会带上 `h1="文档处理"`、`h2="分块策略"` 这样的元数据,检索时既能把标题路径拼进上下文给模型提示"这段属于哪一章",也能用于过滤(只搜某一章)。这是前面三种策略都不具备的天然优势。 它的边界也很清楚:**强依赖文档本身的结构质量**。如果文档是一坨没有标题的纯文本,或者 PDF 的章节结构没能被正确解析出来,这套策略就无从下手。所以"PDF 按章节切"前面特别标注了"需要先提取结构"——这往往是整条链路里最费工的一步。 ### Q:四种分块策略如何对比选型? A:结论先行——优先用递归字符分块做默认,结构清晰的文档用结构化分块,对质量要求极高且规模可控时用语义分块,固定大小仅用于原型。 ```text 策略 优点 缺点 适用场景 固定大小 简单快速 可能切断语义 快速原型 递归字符 语义较完整 仍可能不精确 通用默认方案 语义分块 语义边界准确 成本高、速度慢 高质量要求 结构化分块 利用文档结构 依赖文档格式 Markdown/HTML/代码 ``` 选型时可以按这个决策顺序思考: - **文档本身有没有可靠结构?** 有(Markdown/HTML/代码)→ 结构化分块优先,收益最高且成本最低。 - **没有结构,规模和预算如何?** 预算充足且规模不大 → 语义分块;否则 → 递归字符分块。 - **只是验证链路能不能跑通?** → 固定大小分块,怎么简单怎么来。 再补一句工程经验:**这些策略可以组合使用**。比如先按 Markdown 标题做结构化切分,再对超长的章节用递归字符分块二次切分;或者先按结构切,再对表格等特殊块做定制处理。单一策略往往无法覆盖真实文档的所有形态。 ### Q:为什么说"组合分块"往往比单一策略更实用? A:结论先行——因为真实文档在同一份文件里往往混合了多种结构,单一策略只能覆盖其中一部分。 三种常见的组合范式: - **结构 + 大小**:先按 Markdown 标题切出章节,再对超过上限的章节用递归字符二次切分。 - **结构 + 语义**:先按章节切,再在章节内部按语义边界细分,兼顾结构感与语义一致性。 - **通用 + 特殊**:主流程用递归字符,对表格、代码块这些"不可拆"内容单独走定制处理,切完再合并回主流程。 组合的代价是实现复杂度和维护成本上升。所以判断标准应该是:**只有当单一策略在评测中明确暴露"某一类内容总是切坏"时,才引入组合方案**,不要为了架构好看而组合。 ## 四、Chunk 大小与重叠怎么定 ### Q:chunk_size 有没有经验值? A:结论先行——一般场景 500~1000 字符(约 200~400 tokens),精确问答用 200~500 字符,摘要/分析用 1000~2000 字符。 ```text 经验值: 一般场景:500~1000 字符(200~400 tokens) 精确问答:200~500 字符(小块,精准匹配) 摘要/分析:1000~2000 字符(大块,上下文丰富) 影响因素: Embedding 模型的最大输入长度(如 OpenAI 8191 tokens) LLM 的上下文窗口(检索 Top-K 个块要能放进去) 文档类型(技术文档适合小块,叙事文本适合大块) chunk_overlap 通常设为 chunk_size 的 10%~20% ``` 为什么任务类型会影响大小?可以把逻辑拆成两条: - **任务越"精确",块应该越小**。比如"这个接口的参数名是什么",答案就一句话,小块能让向量更聚焦,命中更准。 - **任务越"综合",块应该越大**。比如"总结这一章的主要观点",需要足够多的上下文才能归纳,块太小会导致信息碎片化,模型只能看到局部。 再解释三条影响因素为什么是"硬约束"而非"风格偏好": - **Embedding 最大输入长度**:块超过模型输入上限会被截断,超出部分等于没被索引。所以 `chunk_size` 必须先满足 Embedding 模型的输入限制。 - **LLM 上下文窗口**:`chunk_size × Top-K` 必须能放进窗口,还要给系统提示、用户问题和模型输出留出余量。这决定了"块大"和"K 大"不能同时要。 - **文档类型**:技术文档句子短、信息密度高,适合小块;叙事类文本依赖前后铺垫,适合大块。 需要提醒:上面这些数字是**经验区间,不是标准答案**。真正可靠的做法是拿你自己的数据做小规模评测,对比不同设置下的检索命中率。任何"固定最佳值"的说法都值得怀疑。 ### Q:chunk_overlap 为什么要设成 10%~20%?设太大或太小会怎样? A:结论先行——重叠是为了防止关键信息正好被切在边界上;太小起不到保险作用,太大则导致信息重复、存储膨胀、检索结果同质化。 - **重叠太小(趋近 0)**:边界处的句子容易被切断,跨块的信息无法被任何一个块完整表达,检索命中后模型看到的是"半句话"。 - **重叠太大(如超过 50%)**:相邻块内容高度重复,一方面索引体积和向量化成本上升,另一方面检索时多个几乎相同的块会同时被召回,挤占 Top-K 名额,且给模型传递大量重复信息。 - **10%~20% 的来源**:这是一个"够覆盖一到两个完整句子、又不至于大面积重复"的经验区间,通常能兜住边界切断的问题。 这里有个容易混淆的点值得强调:**重叠解决的是"边界切断",不解决"语义不完整"**。如果一整段论证本身就该在一起,而你的 `chunk_size` 定得太小,那么再多重叠也只是把同一段话重复切来切去,块内语义依然是碎的。这时候应该调大 `chunk_size`,而不是调大重叠。  *图:Chunk 大小与重叠的取舍:在检索精准性与语义完整性间平衡* ## 五、元数据:被低估的检索增强手段 ### Q:元数据(Metadata)在分块阶段有什么用? A:结论先行——元数据是"检索时的过滤器"和"生成时的引用来源",能在向量相似度之外额外引入结构化约束,显著提升检索精度。 ```python # 每个 Chunk 可以附带元数据,检索时用于过滤 chunk = Document( page_content="RAG 是检索增强生成的缩写...", metadata={ "source": "rag-guide.pdf", "page": 3, "chapter": "第一章 概述", "date": "2024-01-15", "author": "张三" } ) # 检索时可以按元数据过滤 retriever = vectorstore.as_retriever( search_kwargs={ "k": 5, "filter": {"source": "rag-guide.pdf"} } ) ``` 为什么元数据重要?因为**纯向量检索只有一个维度(语义相似)**,而真实业务往往还有别的约束。举例说明: - **多租户隔离**:A 公司的用户绝不能检索到 B 公司的文档。仅靠相似度做不到隔离,必须用 `tenant_id` 这类元数据做硬过滤。 - **时效性**:只检索最近一年的资料。可以用 `date` 做范围过滤,避免旧政策被当成现行答案。 - **来源限定**:只在某一份手册内搜索。用 `source` 过滤能排除其他文档的干扰。 - **引用溯源**:生成回答时标注"来自 rag-guide.pdf 第 3 页",这依赖元数据在检索后仍然随块一起传递。 所以分块阶段的一个实践原则是:**能给块打的元数据,尽量在入库前打好**。因为一旦进入向量库,再想补元数据就要重建索引。常见的必备字段包括来源文件名、页码/章节、时间、作者、租户/权限标识、文档类型。 ### Q:分块质量怎么验证?有没有可操作的方法? A:结论先行——可以"倒着测":准备一批问题并标注答案所在的原文位置,然后看这个位置是否被完整地包含在某个召回块里。 具体做法分三步: - **构造评测集**:收集一批真实用户问题,为每个问题人工标注"答案在原文的哪一段"。 - **看召回覆盖率**:运行检索,检查"答案段"是否落在 Top-K 的某个块内。如果答案段被切碎成两块、而两块都没能独立命中,就说明切分或重叠设置有问题。 - **定位失败类型**:区分是"答案段根本没被召回"(分块或 Embedding 问题),还是"召回了但块内信息不全"(切分位置问题)。 这套方法的好处是不需要复杂的评测框架,用几十条样本就能发现大部分分块缺陷,而且它把"分块问题"和"检索问题"清晰地分开了。 ## 六、工程实践与踩坑 A:分块环节的坑大多"隐蔽但影响巨大",因为它的错误会在下游被放大: ```text √ 先清洗再分块:页眉页脚、页码会在多块中重复出现,污染向量 √ 分块与 Embedding 上限对齐:chunk_size 不能超过模型最大输入 √ 长文档保留结构线索:把标题层级、章节名写进块内容或元数据 √ 表格单独处理:拍平会丢结构,建议转 Markdown 或"字段: 值" √ 元数据在入库前打好:事后补元数据需要重建索引 × 用一套 chunk_size 通吃所有文档类型 × 只调 chunk_size 不看实际召回片段,凭感觉调参 × 忽略 PDF 跨页问题:段落和表格会被页边界切断 ``` 几个值得展开的坑: - **凭感觉调参**:`chunk_size` 和 `chunk_overlap` 的调整必须基于"看召回结果"。正确姿势是准备一批带标准答案的问题,改一次参数就看一次"正确答案所在块是否被召回、排在什么位置"。 - **跨页与跨章节断裂**:PDF 的页边界、Markdown 的标题边界都可能把完整语义切碎。缓解手段是在分块前先做"结构感知的拼接",或给块加上所属章节的元数据作为语义补丁。 - **表格与代码块的完整性**:表格、代码块被从中间切开后基本不可用。实践上通常要为这两类内容做"不可拆分"的特殊标记,让分块器跳过它们。 - **中文分隔符**:`separators` 里如果不放中文标点(如 `。`、`!`、`?`),中文长句会一路降级到字符级切割,语义完整性大打折扣。 ### Q:如果文档里有表格,应该怎么处理? A:结论先行——尽量保留结构,把表格转成 Markdown 表格或"字段: 值"的文本形式,并尽量让一个表格落在同一个块内,必要时为表格单独生成一段自然语言摘要一并入库。 具体可以按复杂度分三档处理: - **简单表格**:直接转 Markdown 表格作为块内容,模型能读懂行列关系。 - **宽表/复杂表**:转成"每行一段、字段名: 值"的文本,牺牲一点结构换取可检索性。 - **高度结构化的数据表**:更适合走结构化查询(如转成 SQL/数据库查询),而不是硬塞进向量检索。 ## 小结 - 分块是 RAG 效果的基础,块的质量直接影响检索和生成。 - 分块要在"语义完整"和"精准匹配"之间取舍:太大噪声多,太小学义碎。 - 递归字符分块是最常用的默认方案;结构化分块适合 Markdown/HTML/代码;语义分块质量高但成本高。 - Chunk 大小通常 500~1000 字符,overlap 取 chunk_size 的 10%~20%,但必须结合 Embedding 上限与 LLM 窗口确定。 - 元数据可以辅助过滤与溯源,是提高检索精度的低成本手段,应在入库前打好。 - 没有万能的分块策略,需要根据数据特点调整,并且要用真实召回结果来验证。 ## 思考题 1. 如果文档中有表格,应该怎么处理分块? 2. chunk_overlap 设太大或太小分别有什么问题? 3. 一份 PDF 手册里,同一句话在每页页脚都会出现,会对检索造成什么影响? 4. 为什么"重叠"能解决边界切断,却解决不了"块太小"带来的语义不完整? 5. 你能设计一个最小的对比实验,来判断当前 chunk_size 是否需要调整吗?
预览
发布文章
添加摘要让读者更快了解文章内容
取消
确认发布
AI 写作助手
输入一个主题,AI 将为你生成一篇 Markdown 博客文章
AI 正在写作中...
取消
开始生成
AI 优化助手
描述你的修改需求,AI 将在原文基础上进行补充或微调
AI 正在优化中...
取消
开始优化
画布
从已有图里选
✕
图名
保存后生成 /images/excalidraw/<图名>.svg(只能用字母、数字、短横线、下划线、点)
取消
保存并插入