知序
返回
保存草稿
发布
H1
H2
H3
1
2
3
Excalidraw 图
AI 写作
AI 优化
目录
输入内容后显示目录
Markdown
# 07 - 写入与查询性能优化 ## 写入流程深入 ### 完整的写入路径 ``` 客户端 │ ▼ ┌──────────────┐ │ 协调节点 │ ← 接收请求,根据 _routing 计算目标分片 └──────┬───────┘ │ ▼ ┌──────────────┐ │ 主分片节点 │ │ │ │ ① 写入 Translog(WAL,保证数据不丢) │ ② 写入内存 Buffer │ ③ 转发到副本分片 └──────┬───────┘ │ ▼ ┌──────────────┐ │ 副本分片节点 │ ← 同样写入 Translog + Buffer └──────────────┘ 返回 ACK 给协调节点 → 协调节点返回客户端 ``` ### Refresh(刷新) ``` Refresh:将内存 Buffer 中的数据生成新的 Segment,使文档可被搜索 Buffer(内存) ──Refresh(默认1秒)──→ Segment(可搜索) 触发方式: - 自动:每 refresh_interval 执行一次(默认 1 秒) - 手动:POST /index/_refresh 性能影响: Refresh 越频繁 → 搜索越"实时",但写入性能越差 (每次 Refresh 产生新 Segment,Segment 多了合并开销增大) 优化: - 大批量导入时:设置 refresh_interval=-1,禁用自动刷新 - 导入完成后恢复 refresh_interval ``` ### Flush ``` Flush:将内存中的 Segment 持久化到磁盘,并清空 Translog Segment(内存) ──Flush──→ 磁盘文件 Translog → 清空 触发条件(满足任一): - 定时:每 30 分钟 - 容量:Translog 达到 512MB(index.translog.flush_threshold_size) - 手动:POST /index/_flush Translog 的作用: 类似 MySQL 的 redo log — 防止宕机时内存数据丢失 写入文档时先写 Translog,再写内存 宕机重启 → 从 Translog 重放未持久化的数据 ``` ### 写入流程时间线 ``` T+0s: 文档写入 Translog + Buffer T+0s: 返回客户端写入成功(Translog 持久化完成) T+1s: Refresh — Buffer → Segment(文档可搜索) T+30min: Flush — Segment → 磁盘,清空 Translog ``` ### 大批量写入优化 ``` 1. 使用 Bulk API _bulk 一次提交多个操作,减少网络往返次数: POST /_bulk {"index": {"_index": "products", "_id": "1"}} {"title": "iPhone 15", "price": 6999} {"index": {"_index": "products", "_id": "2"}} {"title": "华为 Mate 60", "price": 5999} Bulk 数量建议: 一次 bulk 不要太大:建议 5-15MB 或 500-1000 条文档 太大 → 内存压力大,网络传输慢 太小 → 网络往返开销占比高 2. 禁用 Refresh(导入期) PUT /products/_settings {"refresh_interval": "-1"} // 导入完再恢复 3. 增加 Bulk 线程池 thread_pool.write.queue_size: 1000 // 合理增大写入队列,避免拒绝写入 4. 关闭副本(临时,导入期) PUT /products/_settings {"number_of_replicas": 0} // 导入完后重新设副本数,副本会自动从主分片同步 5. 使用多线程并发写入 单线程写入受单节点处理能力限制 多线程 → 利用多节点并行处理能力 ``` ## Segment 合并 ### 为什么需要合并 ``` ES 的 Refresh 每次生成一个新 Segment 持续写入会产生大量小 Segment 问题: - 搜索需要遍历所有 Segment → Segment 越多,搜索越慢 - 文件句柄消耗 → 系统限制(ulimit) 解决方案: ES 后台自动合并(Merge)小 Segment 成大 Segment 合并时会删除被标记为删除的文档(真正物理删除) ``` ``` Segment 合并过程: Refresh 产生: Segment1(100条) Segment2(120条) Segment3(80条) Segment4(90条) │ 后台 Merge │ ▼ Segment5(390条,合并了 1-4) 被删除的文档(_delete)在合并时真正从磁盘移除 之前只是标记删除,搜索时不返回但不释放空间 ``` ### 合并策略 ``` Tiered Merge Policy(分层合并策略,默认): 按 Segment 大小分层 大小相近的 Segment 合并到一起 合并后的 Segment 进入更上层 参数控制: index.merge.policy.max_merged_segment: 5GB → 单个 Segment 最大 5GB,超过不合并 合并的 I/O 代价: 合并是 I/O 密集型操作(读多个 Segment + 写新 Segment) 大量合并会拖慢搜索性能 优化: indices.store.throttle.max_bytes_per_sec: 100MB → 限制合并 I/O 速率,避免冲击搜索性能 ``` ### Force Merge(强制合并) ``` POST /products/_forcemerge?max_num_segments=1 // 将多个 Segment 强制合并为 1 个 注意: - 消耗大量 I/O,慎用 - 只在索引不再写入时使用(如历史归档索引) - Force Merge 1 个 Segment 后,搜索性能最好 ``` ## 查询性能优化 ### 查询优化原则 ``` 1. 尽量用 Filter Context 代替 Query Context filter → 不评分、可缓存(Filter Cache)→ 性能好 must → 需要评分 → 性能差 { "query": { "bool": { "must": [{"match": {"title": "手机"}}], ← 全文搜索,需要评分 "filter": [{"term": {"status": "在售"}}] ← 精确过滤,不评分 } } } 2. 避免使用 script 查询 script 查询逐文档执行脚本 → 性能极差 优化:写入时将计算结果存入字段,查询时直接 Term Match 3. 限制查询返回字段 GET /products/_search {"_source": ["title", "price"]} // 只返回需要的字段,减少网络传输和反序列化开销 4. 避免 leading wildcard {"wildcard": {"title": "*手机"}} // 以通配符开头 → 需要扫描所有 Term → 性能极差 解决方案:用 ngram 分词器,将词拆成子序列 5. 深分页用 Search After 详见 03-search-dsl.md 的分页部分 ``` ### 监控慢查询 ``` 开启慢查询日志: PUT /products/_settings { "index.search.slowlog.threshold.query.warn": "1s", "index.search.slowlog.threshold.query.info": "500ms", "index.search.slowlog.threshold.fetch.warn": "500ms" } 慢查询日志位置:ES 日志文件 或 通过 _nodes/stats 查看 query phase > 500ms → info 级别 fetch phase > 500ms → warn 级别 ``` ## 面试常见问题 **Q:Refresh 和 Flush 的区别?** A:Refresh 是将内存 Buffer 数据生成新 Segment 使其可被搜索(默认 1 秒一次);Flush 是将内存中的 Segment 持久化到磁盘并清空 Translog(默认 30 分钟或 Translog 满 512MB)。Refresh 影响搜索实时性,Flush 影响数据持久性。 **Q:怎么优化 ES 大批量写入性能?** A:① 用 Bulk API 批量写入,每次 500-1000 条 ② 导入前关闭 Refresh(refresh_interval=-1)③ 导入前关闭副本(number_of_replicas=0)④ 调大写入线程池队列 ⑤ 多线程并发写入。导入完成后恢复 refresh_interval 和 replica 数。 **Q:为什么要做 Segment 合并?** A:ES 的 Refresh 会产生大量小 Segment,Segment 越多搜索时需要遍历的文件越多,查询性能越差。后台合并(Merge)将小 Segment 合并成大 Segment,同时物理删除已标记删除的文档,释放磁盘空间。但合并是 I/O 密集型操作,需要通过限速避免影响线上搜索。 **Q:搜索时 filter 和 must 怎么选?** A:需要影响相关性排序(全文搜索)用 must,只需过滤不需要评分(精确匹配、范围过滤)用 filter。filter 会走 Filter Cache 缓存,性能远好于 must 的评分计算。 --- 下一篇:[08 - 高可用与水平扩展](./08-ha-scaling.md)
预览
发布文章
添加摘要让读者更快了解文章内容
取消
确认发布
AI 写作助手
输入一个主题,AI 将为你生成一篇 Markdown 博客文章
AI 正在写作中...
取消
开始生成
AI 优化助手
描述你的修改需求,AI 将在原文基础上进行补充或微调
AI 正在优化中...
取消
开始优化
画布
从已有图里选
✕
图名
保存后生成 /images/excalidraw/<图名>.svg(只能用字母、数字、短横线、下划线、点)
取消
保存并插入