知序
返回
保存草稿
发布
H1
H2
H3
1
2
3
Excalidraw 图
AI 写作
AI 优化
目录
输入内容后显示目录
Markdown
# 05 - 数据建模与 Mapping ## Mapping 概述 Mapping 定义了索引中字段的类型、索引方式、是否存储等信息。 ``` Mapping 的作用: - 定义字段的数据类型(text、keyword、long、date 等) - 定义字段如何被索引(分词器、是否索引) - 定义字段的存储方式 类比: MySQL 的 DDL(CREATE TABLE 定义列类型) ES 的 Mapping(定义字段类型) ``` ## 字段数据类型 ### 核心数据类型 | 类型 | 说明 | 示例 | |------|------|------| | text | 全文搜索字段,会被分词 | 商品名称、文章内容 | | keyword | 精确值字段,不分词 | 订单号、状态码、标签 | | long / integer / short | 整数 | 数量、ID | | float / double | 浮点数 | 价格、评分 | | boolean | 布尔值 | 是否删除 | | date | 日期 | 创建时间 | ### text 和 keyword 的区别 ``` 这是面试最高频考点之一。 text: - 会被 Analyzer 分词,写入倒排索引 - 用于全文搜索(Match Query) - 不用于排序和聚合(会消耗大量内存) keyword: - 不会被分词,整个字符串作为一个 Term - 用于精确匹配(Term Query)、排序、聚合 - 适合有限枚举值(状态、分类、品牌) 最佳实践(ES 自动做了这个): 当一个字段既需要全文搜索又需要精确匹配时,用 multi-field: "title": { "type": "text", ← 全文搜索 "fields": { "keyword": { ← 精确匹配、排序、聚合 "type": "keyword", "ignore_above": 256 } } } 使用: match: { "title": "手机" } → 分词搜索 term: { "title.keyword": "手机" } → 精确匹配 sort: { "title.keyword": "asc" } → 排序 ``` ### 复杂数据类型 ``` object(对象): { "user": { "type": "object", "properties": { "name": {"type": "keyword"}, "age": {"type": "integer"} } } } // ES 内部会扁平化存储: user.name, user.age 注意:object 类型的数组会被摊平,失去关联关系! 例:假设订单有多个商品,每个商品有名称和数量 { "items": [ {"name": "手机", "qty": 1}, {"name": "耳机", "qty": 2} ] } ES object 扁平化后: items.name: ["手机", "耳机"] items.qty: [1, 2] 搜索 items.name:"手机" AND items.qty:2 → 居然匹配了! (因为 ES 不知道"手机"和1、"耳机"和2的对应关系) → 内部对象失去关联时用 nested! nested(嵌套): 解决了 object 数组被扁平化的问题。 "items": { "type": "nested", "properties": { "name": {"type": "keyword"}, "qty": {"type": "integer"} } } nested 类型会把每个对象作为独立文档索引,保持关联关系 查询时需要 nested query: { "nested": { "path": "items", "query": { "bool": { "must": [ {"term": {"items.name": "手机"}}, {"term": {"items.qty": 1}} ] } } } } join(父子文档): 类似关系型数据库的表关联,一个索引中定义父子关系 "mappings": { "properties": { "my_join_field": { "type": "join", "relations": {"parent": "child"} } } } 父文档和子文档必须路由到同一分片,性能很差 ES 官方不推荐 join 类型(7.x+ 基本弃用) ``` > **核心建议:** Nested 在数据更新频繁时性能差(嵌套对象变更需重索引整条文档),适用于嵌套对象数少且不频繁更新的场景。大数据量关联查询建议在应用层做,或反范式化(冗余存储)。 ## Dynamic Mapping(动态映射) ES 默认开启动态映射:写入文档时,如果遇到 mapping 中不存在的字段,ES 会自动推断类型并添加到 mapping 里。 ``` ES 自动推断规则: JSON 值 → ES 推断类型 true/false → boolean 123 → long 123.45 → float "2024-01-15" → date "hello world" → text + keyword(multi-field) ``` ``` Dynamic Mapping 的坑: 1. 日期误识别 输入: {"order_no": "2024-01-15-001"} ES 可能把它当成 date 类型 → 写入失败! 2. 类型冲突 文档1: {"count": 10} → ES 推断 count 为 long 文档2: {"count": "ten"} → 类型冲突,写入失败! 3. 字段爆炸 写入来源未受控的日志/JSON 时,可能创建成千上万未知字段 → mapping 膨胀,集群不稳定 解决方案: - 生产环境关闭 Dynamic Mapping("dynamic": "strict") - 或使用 Dynamic Template 控制推断规则 ``` ### Dynamic 三种模式 ``` "dynamic": true (默认) 新字段自动添加到 mapping "dynamic": false 新字段不会添加到 mapping,但数据会存入 _source 新字段不能被搜索,但可以通过 _source 获取原始值 "dynamic": "strict" 新字段直接报错,文档写入失败 最严格的模式,推荐生产环境使用 "dynamic": "runtime" 新字段自动添加为 runtime field(运行时字段) 不需要重建索引,但搜索性能较差 ``` ## Index Template(索引模板) 用于批量管理多个索引的 Mapping 和 Setting。 ```json PUT _index_template/order_template { "index_patterns": ["order-*"], "template": { "settings": { "number_of_shards": 3, "number_of_replicas": 1 }, "mappings": { "properties": { "order_no": {"type": "keyword"}, "amount": {"type": "double"}, "status": {"type": "keyword"}, "create_time": {"type": "date"} } } } } // 所有 order- 开头的索引自动应用此模板 ``` ``` 常见场景: - 按时间分索引:order-2024.01、order-2024.02... - 所有索引统一分片/副本配置 - 统一字段类型定义 模板优先级: "priority": 100 → 数字越大优先级越高 匹配多个模板时,高优先级模板的配置覆盖低优先级的 ``` ## 面试常见问题 **Q:text 和 keyword 的区别?** A:text 会被分词,用于全文搜索;keyword 不分词,整体作为一个 Term 存储,用于精确匹配、排序、聚合。text 字段默认带一个 .keyword 子字段,满足两种需求。 **Q:Dynamic Mapping 有什么问题?** A:① 日期误识别(含日期格式的字符串被当成 date 类型)② 类型冲突(同一字段写入不同类型数据会报错)③ 字段爆炸(未受控的数据源可能产生大量字段导致 mapping 膨胀)。生产环境建议关闭或使用严格模式。 **Q:Nested 和 Object 有什么区别?** A:Object 会将数组对象扁平化存储,导致对象内部属性的关联关系丢失(["手机","耳机"]和[1,2]无法对应)。Nested 将每个嵌套对象作为独立文档索引,保持属性关联,但更新和删除成本更高。 **Q:ES join 类型为什么不被推荐?** A:join 类型要求父子文档路由到同一分片,查询时需要跨文档关联,性能极差。ES 是文档数据库,不擅长表关联,官方推荐反范式化(冗余存储)或在应用层组装数据。 --- 下一篇:[06 - 集群架构与分布式原理](./06-cluster-architecture.md)
预览
发布文章
添加摘要让读者更快了解文章内容
取消
确认发布
AI 写作助手
输入一个主题,AI 将为你生成一篇 Markdown 博客文章
AI 正在写作中...
取消
开始生成
AI 优化助手
描述你的修改需求,AI 将在原文基础上进行补充或微调
AI 正在优化中...
取消
开始优化
画布
从已有图里选
✕
图名
保存后生成 /images/excalidraw/<图名>.svg(只能用字母、数字、短横线、下划线、点)
取消
保存并插入