知序
返回
保存草稿
发布
H1
H2
H3
1
2
3
Excalidraw 图
AI 写作
AI 优化
目录
输入内容后显示目录
Markdown
# 03 - Embedding 与向量化 > 导读:本文从"搜'汽车'为什么能命中'轿车',而搜编号却又容易翻车"这个面试常问的疑问出发,把 Embedding(嵌入/向量化)的定义、三种相似度度量的选择、主流模型对比与选型、查询与文档的编码方式、维度与性能的取舍、Embedding 微调以及工程踩坑讲透,最后给出调优路径。适合正在选 Embedding 模型、或面试中被追问"向量检索的原理与边界"的同学。 ## 一、先建立全局认知 ### Q:什么是 Embedding?一句话怎么答? A:结论先行——Embedding 就是把文本转换成一个固定长度的数字向量,使得**语义相近的文本在向量空间中距离也近**。 看一个直观的例子:  *图:三条文本的 1536 维向量:语义相近的向量接近* ```text "猫喜欢吃鱼" → [0.12, -0.34, 0.56, ..., 0.78] (1536 维) "小猫爱吃鱼" → [0.13, -0.33, 0.55, ..., 0.77] ← 语义相近,向量接近 "今天天气不错" → [0.89, 0.12, -0.67, ..., 0.23] ← 语义不同,向量远离 ``` 这里有三个必须记住的性质: - **固定长度**:不管输入是一句话还是一段话,输出都是同一个维度(上例是 1536 维)。这是"能放进向量库做统一计算"的前提。 - **稠密数值**:每一位都是浮点数,不像词袋模型那样稀疏。稠密的好处是每一维都能参与表达,配合距离度量就能刻画语义。 - **连续可比**:向量之间的关系可以用距离/夹角衡量,"相近"和"远离"都是可计算的量。 一句话概括它的价值:**Embedding 把"语义相似"这个人类直觉,翻译成了机器可以计算的几何问题**。 ### Q:为什么不能用关键词匹配代替向量检索? A:结论先行——因为关键词匹配要求"字面一致",而向量检索要求的是"语义一致",后者才能处理同义、改写和自然语言提问。 举几个关键词匹配必然失效、向量检索却可能成功的例子: - **同义词**:用户搜"汽车",文档写"轿车"。关键词匹配的命中数为 0;向量检索能通过语义接近找到它。 - **自然语言提问**:"报销上限是多少"vs 文档中的"费用标准:单次不超过 X 元"。两者几乎没有共同词,但语义相关。 - **改写与口语化**:用户问"这个东西咋用",文档写"使用方法"。关键词匹配同样失败。 反过来,关键词匹配也有它的强项,这正是后面"混合检索"存在的原因: - **专有名词、型号、编号**:搜 `GPT-4`、`SKU-20240115`、`订单号 A123`,向量检索容易把相近但不同的编号混在一起,而关键词能精确命中。 所以正确的认知不是"向量比关键词好",而是**二者擅长不同的查询类型**。在面试里如果只说"向量最好",反而暴露了对边界的理解不足。 ### Q:向量维度代表什么?为什么它能表达语义? A:结论先行——维度可以理解为"语义特征的坐标轴数量",模型在训练中把词与词、句与句的共现与替换关系,压缩成了这些坐标上的分布。 理解这一点不需要深究模型内部机制,只要抓住训练目标带来的结果:**在大量语料中经常出现在相似语境里的文本,会被拉到相近的位置**。"猫"和"小猫"经常在同样的上下文中出现,于是它们的向量就靠得很近;"猫"和"天气"几乎不共现,向量就离得远。 由此可以推出一个重要结论:**Embedding 的质量高度依赖训练语料与领域**。通用语料训练出来的模型,在医疗、法律、金融这些专业领域,可能无法正确地把"心梗"和"心肌梗死"拉到一起——因为这个对应关系在通用语料里出现得不够多。这也直接引出了后文的"Embedding 微调"。 ### Q:为什么"语义相近的文本向量接近"这个性质,在长文本上会变弱? A:结论先行——因为长文本的向量是所有内容的"加权平均",包含的信息越杂,单一主题的信号就越弱。 - 一段话只讲一件事时,向量方向很"纯",和同主题的查询容易对齐。 - 一篇长文讲十件事时,向量被平均成一个"什么都不太像"的方向,和任何一个具体查询的相似度都上不去。 - 所以"长文本模型支持超长输入"并不等于"可以不做分块"——分块的本质,是保持向量方向的纯度。 这也正是分块策略与 Embedding 特性之间的耦合点:**块越大,向量越混,检索越钝**。理解这一点,就明白为什么"换个支持更长输入的模型"解决不了检索不准的问题。 ## 二、相似度计算 ### Q:余弦相似度、欧氏距离、点积,该用哪个? A:结论先行——大多数场景用余弦相似度就够了;向量归一化后,点积与余弦相似度等价;欧氏距离值越小越相似。 ```text 余弦相似度(最常用): cos(A, B) = (A · B) / (|A| × |B|) 范围:[-1, 1],1 = 完全相同,0 = 无关,-1 = 完全相反 欧氏距离: d(A, B) = √(Σ(ai - bi)²) 值越小越相似 点积(内积): A · B = Σ(ai × bi) 向量归一化后等价于余弦相似度 ``` 逐个说明适用场景与几何含义: - **余弦相似度**:只看两个向量的**夹角**,不看长度。所以它对"文档长短"不敏感——一个长段落和一个短句子只要说的事一样,余弦相似度依然很高。这是它成为默认选择的原因。 - **欧氏距离**:看的是两点在空间中的**直线距离**,同时受方向和长度影响。它和余弦相似度在向量已归一化时会呈现单调对应关系,但未归一化时两者排序可能不同。 - **点积(内积)**:形式上最简单、计算最快。**当两个向量都做了归一化(长度为 1)时,点积恰好等于余弦相似度**——这就是为什么很多工程实现里"归一化 + 点积"等价于"余弦相似度"。 一句话选择建议:**默认余弦;如果确定向量已归一化且追求计算效率,用点积**。但要注意,某款 Embedding 输出是否已归一化、向量库的默认度量是什么,**都需结合具体模型与数据库版本文档确认**,不要想当然——度量方式选错,检索结果会整体失真。 ### Q:归一化到底在做什么?为什么它这么重要? A:结论先行——归一化是把向量长度缩放到 1,从而让"点积"退化成"余弦",消除长度(如文档长短)对相似度的影响。 用一句话概括它的意义:**归一化把"长度"这个与语义无关的变量从计算里剔除了**。不做归一化时,一篇很长的文档因为向量模长更大,点积天然容易更大,于是很容易"靠长度取胜",即使内容并不更相关。 工程上的三个实践要点: - **编码侧**:本地模型通常可以开启归一化选项(如 `encode_kwargs={"normalize_embeddings": True}`),保证入库向量是单位长度。 - **检索侧**:向量库的距离度量配置要与编码方式匹配,否则"你以为在用余弦,实际在算点积"。 - **一致性**:文档侧和查询侧必须采用相同的归一化策略。一侧归一化、一侧没有,相似度会系统性偏移。 ## 三、Embedding 模型选型 ### Q:主流 Embedding 模型有哪些?怎么选? A:结论先行——按语言、部署方式、输入长度三个维度选;英文商用偏 OpenAI,中文优选 BGE 系列,需私有部署选 BGE/GTE/E5,长文本用 Jina。  *图:常见 Embedding 模型的维度、最大输入与特点* ```text 模型 维度 最大输入 特点 ───────────────────────────────────────────────────── OpenAI text-embedding-3-small 1536 8191 tokens 性价比高 OpenAI text-embedding-3-large 3072 8191 tokens 效果最好 Cohere embed-v3 1024 512 tokens 多语言 BGE-large-zh-v1.5 1024 512 tokens 中文最佳开源 GTE-large 1024 512 tokens 通用开源 Jina-embeddings-v2 768 8192 tokens 长文本 E5-mistral-7b-instruct 4096 32768 tokens 大模型级别 ``` 选择建议与原文一致: ```text 选择建议: 商用 + 英文为主 → OpenAI text-embedding-3-small 中文场景 → BGE-large-zh 或 M3E 私有部署 → BGE / GTE / E5 系列 长文本 → Jina-embeddings-v2 ``` 把这张表读"透",关键是看两个列:**维度**和**最大输入**。 - **最大输入直接约束分块上限**。BGE-large-zh-v1.5 的最大输入是 512 tokens,如果你的 `chunk_size` 设到 1000 tokens,超出部分就会被截断,等于部分内容从未被索引。这是一个非常隐蔽但严重的坑。 - **维度影响存储与检索开销**。3072 维比 1024 维的存储成本高得多,检索时距离计算也更重,是否值得要结合效果提升来评估。 - **长文本模型并不等于"可以不分块"**。像 E5-mistral-7b-instruct 支持 32768 tokens 输入,看起来能吞下整篇文档,但前面讲过的"语义被平均稀释"问题依然存在——输入长度大只解决"装得下",不解决"检索准"。 需要补充的是,上表里的模型能力描述(如"中文最佳开源""效果最好")是**特定时间点的经验判断**,模型迭代很快,选型前应结合最新评测与自己的数据实测。 ### Q:查询(Query)和文档(Document)需要区别对待吗? A:结论先行——需要。二者在长度、表述风格上差异很大,很多模型为此提供了"非对称编码"的处理方式,用错了会损失效果。 直观理解这个差异: - **查询**通常很短(几个词到一句话),是"问题"的语气; - **文档**通常较长,是"陈述"的语气。 有些 Embedding 模型在设计时就考虑到了这种不对称性,例如通过给查询加特定前缀、或提供 query/document 分离的编码接口来对齐两者。工程上的做法是: - **优先使用模型推荐的使用方式**。如果模型文档要求给查询加指令前缀,就别省这一步;反过来,也不要给文档加查询前缀。 - **不要混用**。把文档当查询编码(或反之)会破坏模型训练时假设的分布,检索质量下降。 - **不要手工猜测前缀规则**。不同模型的适配方式不同,具体写法**需结合模型卡与实际版本确认**。 一个例外要记住:如果模型是"对称"设计的(对 query 和 doc 一视同仁),那么两侧直接编码即可,强行加前缀反而有害。所以这里的正确态度是"按模型说明来",而不是套用某一种习惯。 ### Q:Embedding 模型之间的效果差异,为什么不能只看排行榜? A:结论先行——因为排行榜通常基于通用语料评测,而你的检索效果取决于你自己语料的语言、领域和查询风格。 三个理由: - **语言与语料分布不同**:一个在英文基准上领先的模型,在中文技术文档上未必领先。 - **任务形态不同**:问答检索、去重、聚类对 Embedding 的要求并不一样,各自的最优模型也可能不同。 - **分块与查询风格不同**:同一模型在不同 `chunk_size` 和不同查询写法下,表现会有明显差异。 所以正确的做法是:**用排行榜缩小候选范围,用自己带标注的小评测集做最终决策**。任何脱离自有数据的选型结论都不可靠。 ### Q:部署 Embedding 模型时,除了效果还要考虑什么? A:结论先行——要考虑推理成本、吞吐、延迟、显存占用和稳定性,这些往往比"榜单分数"更早成为瓶颈。 - **索引阶段成本**:全量文档向量化是一次性但量很大的计算。本地模型需要 GPU,云端模型按 token 计费,规模大时账单可观。 - **查询阶段延迟**:每次问答都要对 Query 编码一次,这部分会直接叠加进用户感知的首字延迟。 - **显存与并发**:本地部署要考虑显存能否容纳模型并支撑并发请求;参数量大的模型资源占用显著更高。 - **稳定性与限流**:云端 API 有限流,批量索引时必须处理重试与退避,否则会中途失败留下半成品索引。 - **版本锁定**:模型提供方更新模型可能改变向量分布,需要锁定版本,并准备好重建索引的预案。 一句话:**Embedding 选型是"效果 × 成本 × 稳定性"的三方妥协**,只看效果很容易在线上翻车。 ### Q:向量检索一定比关键词检索"高级"吗?什么时候它反而更差? A:结论先行——不一定。向量检索在语义泛化上占优,但在精确匹配、唯一标识和罕见词上反而更差。 具体边界: - **编号 / 型号 / ID**:`A123` 和 `A124` 在向量空间里可能非常接近,容易互相干扰;关键词能精确区分。 - **罕见专有名词**:训练语料里出现次数极少的词,其向量表示往往不稳定,相似度不可信。 - **严格布尔逻辑**:"必须同时包含 X 和 Y、且不含 Z"这类约束,用关键词检索或元数据过滤更可靠。 这正好解释了为什么"混合检索"是推荐方案——它不去争论谁更高级,而是让二者各管一段。 ## 四、代码实战:把文本变成向量 ### Q:OpenAI 和本地开源模型分别怎么用? A:结论先行——LangChain 对两者提供了统一接口:云端用 `OpenAIEmbeddings`,本地用 `HuggingFaceEmbeddings`,区别主要在模型名与设备参数。 ```python # OpenAI Embedding from langchain_openai import OpenAIEmbeddings embeddings = OpenAIEmbeddings(model="text-embedding-3-small") vector = embeddings.embed_query("什么是 RAG?") print(len(vector)) # 1536 # 批量向量化 vectors = embeddings.embed_documents([ "RAG 是检索增强生成", "LLM 是大语言模型", "向量数据库存储 Embedding" ]) # 本地开源模型(HuggingFace) from langchain_huggingface import HuggingFaceEmbeddings embeddings = HuggingFaceEmbeddings( model_name="BAAI/bge-large-zh-v1.5", model_kwargs={"device": "cuda"}, encode_kwargs={"normalize_embeddings": True} ) ``` 这段代码里有三个值得注意的设计点: - **`embed_query` 与 `embed_documents` 是两个不同接口**。前者用于单个查询,后者用于批量文档。很多模型允许这两个接口采用不同的处理(例如给查询加不同前缀),所以**建索引时用 `embed_documents`,检索时用 `embed_query`**,不要图省事混用。 - **`print(len(vector))` 输出 1536** 这件事本身就是一次一致性校验:向量维度和模型宣称一致,说明模型加载正确。上线前建议把这一步做成断言。 - **`normalize_embeddings: True`** 对应前文的归一化,配合余弦/点积度量保证结果符合预期;`device: "cuda"` 表示用 GPU 加速,本地批量向量化时对速度影响很大。 ### Q:Embedding 质量为什么决定 RAG 的成败? A:结论先行——因为它是整条链路的"地基",Embedding 不好,后面再强的模型和再好的 Prompt 都救不回来。  *图:Embedding 质量决定检索与生成,是 RAG 的地基* ```text RAG 的效果链条: Embedding 质量 → 检索质量 → 生成质量 如果 Embedding 不好: 语义相近的文本向量不接近 → 检索不到相关文档 → LLM 没有正确的上下文 → 回答错误 Embedding 是 RAG 的地基,地基不稳上面全白搭 ``` 把这条链条拆成因果来理解:检索的本质是"用向量距离近似语义相关度",如果向量空间本身没有把语义关系表达好,那么"最相似的 Top-K"就一定不是你真正想要的 Top-K。而生成阶段只使用检索结果,拿到的是错的资料,输出自然错。 这里有一个面试常考的追问:**怎么判断问题出在 Embedding 还是别处?** 一个实用的判别方法是:从知识库里挑几对"你确信语义相关的句子",直接算它们的向量相似度。 - 如果这些"应该相近"的句子相似度并不高,说明 Embedding 与你的领域不匹配,考虑换模型或微调。 - 如果相似度正常,但检索结果仍然不对,那问题更可能在分块、Top-K 或检索策略上。 ## 五、向量维度与性能 ### Q:维度越高越好吗? A:结论先行——不是。维度越高表达能力越强、语义区分度越好,但存储空间更大、检索速度更慢,需要按场景取舍。 ```text 维度越高: 表达能力越强,语义区分度越好 但存储空间更大,检索速度更慢 维度选择: 768 维:轻量级,适合大多数场景 1024 维:平衡选择 1536 维:OpenAI 默认,效果好 3072 维:最高精度,但成本高 ``` 为什么维度和成本强相关?因为存储和计算都随维度线性增长: - **存储**:每条向量占 `维度 × 每维字节数`,百万级文档乘以 3072 维,占用量会非常可观。 - **计算**:一次相似度计算要做 `维度` 次乘加,检索时要和大量候选向量比较,维度翻倍、耗时就翻倍。 - **传输与内存**:向量库的 I/O 与内存驻留同样受维度影响。 所以选维度的正确姿势是:**先在可承受的最小维度上验证效果,只有当效果确实不够时才升维**,而不是"默认上最大"。 ### Q:OpenAI text-embedding-3 的降维是怎么回事? A:结论先行——它支持在请求时指定输出维度,把原本 3072 维的向量降成更小的维度,从而在可控的精度损失下降低存储与计算开销。 ```python # OpenAI text-embedding-3 支持降维: embeddings = OpenAIEmbeddings( model="text-embedding-3-large", dimensions=1024 # 从 3072 降到 1024 ) ``` 使用上有两个必须注意的点: - **降维参数是"建索引时"的配置**,一旦确定,查询侧必须用**同样的维度**编码,否则维度不匹配直接报错,检索无从谈起。 - **降维会损失一定的区分度**,这是必然的取舍。原模型声称它经过设计以尽量减少这种损失,但具体损失幅度**需结合官方文档与实际版本来确认**,不能想当然认为"降维几乎无损"。 工程建议:把 `dimensions` 当作一个可调参数,先用评测集对比 1024 与 3072 的实际召回差异,再决定是否为了省钱而降维。 ## 六、Embedding 微调 ### Q:什么时候应该微调 Embedding? A:结论先行——当通用模型在你的垂直领域(医疗、法律、金融等)明显"听不懂行话"、检索召回率上不去时,才考虑微调。 典型信号包括: - 领域术语的同义关系模型学不到(如专业缩写与全称拉不到一起); - 用户查询与文档表述的风格差异在通用模型下无法对齐; - 换了几个通用模型、调了分块与 Top-K,效果依然卡在天花板。 ```python # 微调需要的数据格式:(query, positive_doc, negative_doc) training_data = [ { "query": "RAG 的检索阶段做什么?", "pos": "检索阶段从向量数据库中找到与问题最相关的文档片段", "neg": "生成阶段由 LLM 根据上下文产生回答" }, # ...更多样本 ] # 常用微调框架: # sentence-transformers(最简单) # FlagEmbedding(BGE 官方) # uniem(中文友好) ``` 数据格式是"三元组":一个查询、一个正例(真正相关的文档)、一个负例(相关但错误的干扰项)。这个结构的关键在于**负例的质量决定了模型学到多少细节**——负例越"像正例",模型越能学会细微的语义边界。 ### Q:微调的收益和成本分别是什么? A:结论先行——收益是领域术语理解更准、检索召回率提升;成本是需要标注数据、GPU 训练和定期更新。 ```text 微调的收益: 领域专业术语的理解更准确 检索召回率提升 5%~15% 特别适合垂直领域(医疗、法律、金融) 微调的成本: 需要标注数据(几百到几千条) 需要 GPU 训练 需要定期更新 ``` 对照来看,这是一笔"高投入、高回报但需要持续维护"的账: - **收益侧**:原文给出的经验区间是召回率提升 5%~15%。要注意这是"在领域不适配已经构成瓶颈"的前提下才可能拿到的收益——如果你的问题本来出在分块上,微调解决不了。 - **成本侧**:标注几百到几千条三元组需要领域专家参与,这是最贵的部分;训练需要 GPU;知识分布变化后模型可能需要重新微调。 - **维护侧**:微调后的模型是一个"版本化资产",需要和索引一起管理——Embedding 换了,索引必须重建。 所以决策建议是:**先把分块、检索策略、模型选型这些低成本手段用到极限,再考虑微调**。微调是"最后一公里"的优化,不是起点。 ## 七、工程实践与踩坑 A:Embedding 环节的坑往往表现为"检索结果整体不对劲",排查时需要特别关注一致性: ```text √ 索引与查询必须用同一个模型、同一维度、同一归一化策略 √ chunk_size 不能超过 Embedding 的最大输入长度,否则内容被静默截断 √ 上线前断言向量维度,防止模型加载错误 √ 区分 embed_query 与 embed_documents,按模型说明处理前缀 × 换模型不重建索引 × 把"长文本模型"当成"不用分块"的理由 × 只用一套度量配置,不核对向量库默认值 ``` 几个必须展开的坑: - **换模型不重建索引**:这是最严重的一类事故。不同模型的向量空间完全不同,旧向量和新查询向量之间毫无可比性,检索结果会变成"随机"。 - **静默截断**:如果 `chunk_size` 超过模型最大输入,超出的部分不会报错,而是被悄悄丢掉。表现是"某些内容无论如何都检索不到"。 - **度量不匹配**:编码时归一化了、检索时按未归一化算点积,或者反之,都会导致排序系统性偏移。配置项要显式写出来,不依赖默认值。 - **原文长度极端不均**:一个 10 字的句子的向量和一个 500 字的段落的向量,即便归一化后,语义分布的"集中度"也不同。这提示我们分块粒度尽量均匀。 ### Q:如何判断"检索不到"到底是 Embedding 的问题还是分块的? A:结论先行——用"直接编码全文比对"来隔离变量:跳过分块流程,把已知正确答案的整段原文与查询分别编码,算一次相似度。 - 若整段原文与查询的相似度**很高**,但线上检索就是召回不到它,说明问题不在 Embedding,而在分块(答案段被切碎)或索引(该文档没入库、被过滤掉)。 - 若整段原文与查询的相似度**也很低**,说明 Embedding 没能建立这两者之间的语义关联,需要考虑换模型或微调。 这个"隔离变量"的做法价值在于:它一次就把"编码问题"和"切分/索引问题"分开,避免在两个方向上盲目试错、反复调参却始终找不到原因。 ### Q:为什么"分块粒度"和"Embedding 模型"要一起考虑? A:结论先行——因为分块决定送入模型的是什么内容,而模型的输入上限又反过来约束分块大小,两者是一组联立约束,不能各自单独拍板。 - 分块太小:语义不完整,向量方向偏移,和查询对不上; - 分块太大:超过模型最大输入会被静默截断,超出部分等于从未被索引; - 分块长度不均:不同长度块的语义"集中度"不同,相似度之间的可比性下降。 所以选 Embedding 模型时要先看它的最大输入,定 `chunk_size` 时又要回到模型能力边界上核对——这两件事必须在同一张纸上一起决定。 ## 小结 - Embedding 把文本变成固定长度的向量,语义相近的文本向量距离近。 - 余弦相似度是最常用的相似度度量;向量归一化后点积与余弦等价。 - 关键词匹配擅长精确匹配、向量检索擅长语义匹配,二者互补而非替代。 - 模型选择取决于语言、场景和部署方式,同时必须满足最大输入长度约束。 - Embedding 质量是 RAG 效果的地基;效果异常时先验证"语义相近的文本是否真的向量接近"。 - 维度越高效果通常越好,但存储与计算成本同步上升,按需取舍。 - 垂直领域可以通过微调提升效果,但要先穷尽分块与检索等低成本手段。 - 分块粒度与 Embedding 模型的最大输入必须一起确定,两者是联立约束。 ## 思考题 1. 为什么不能直接用关键词匹配代替向量检索? 2. Embedding 模型的最大输入长度和 Chunk 大小有什么关系? 3. 如果业务里查询大多是"订单号 / 型号"这类精确匹配,你会怎么调整检索方案? 4. 归一化、度量方式、维度这三个配置项之间,哪些必须成对匹配?举出一个配置错配导致检索失真的例子。 5. 你能设计一个"只改 Embedding 模型"的对比实验吗?需要控制哪些变量不变?
预览
发布文章
添加摘要让读者更快了解文章内容
取消
确认发布
AI 写作助手
输入一个主题,AI 将为你生成一篇 Markdown 博客文章
AI 正在写作中...
取消
开始生成
AI 优化助手
描述你的修改需求,AI 将在原文基础上进行补充或微调
AI 正在优化中...
取消
开始优化
画布
从已有图里选
✕
图名
保存后生成 /images/excalidraw/<图名>.svg(只能用字母、数字、短横线、下划线、点)
取消
保存并插入