知序
返回
保存草稿
发布
H1
H2
H3
1
2
3
Excalidraw 图
AI 写作
AI 优化
目录
输入内容后显示目录
Markdown
# 01 - 概述与核心概念 ## 什么是 Elasticsearch Elasticsearch 是一个基于 Lucene 构建的分布式、RESTful 风格的搜索和分析引擎。 ``` 核心能力: - 全文搜索:对海量文本数据进行高效的全文检索 - 实时分析:对数据进行聚合、统计和分析 - 分布式存储:数据自动分片,水平扩展 - 高可用:多副本机制,自动故障转移 ``` ## Elasticsearch 与 MySQL 的核心区别 ``` 维度 Elasticsearch MySQL ────────────────────────────────────────────────────────────────── 核心数据结构 倒排索引(Inverted Index) B+ 树索引 查询方式 全文检索、模糊匹配、相关性排序 精确匹配、范围查询 主要用途 搜索引擎、日志分析、实时监控 OLTP 业务、事务处理 扩展方式 天然分布式,水平扩展 主从复制、分库分表 一致性 最终一致性 强一致性(ACID) 数据模型 JSON 文档,Schema-less 关系型,严格 Schema ``` > **核心机制:** MySQL 的 B+ 树适合精确查找(WHERE id = 1)和范围查找(WHERE id BETWEEN 1 AND 100),但不擅长"包含某个关键词"的模糊匹配(LIKE '%keyword%' 无法走索引)。ES 的倒排索引天然适合全文搜索,可以从词直接定位到文档。 ## 整体架构 ``` ┌─────────────────────────────────────────────────────────────┐ │ Elasticsearch Cluster │ │ │ │ ┌─────────────────┐ ┌─────────────────┐ ┌─────────────┐ │ │ │ Node 1 │ │ Node 2 │ │ Node 3 │ │ │ │ (Master Eligible)│ │ (Master Eligible)│ │ (Data Only) │ │ │ │ │ │ │ │ │ │ │ │ ┌───┐ ┌───┐ │ │ ┌───┐ ┌───┐ │ │ ┌───┐ ┌───┐│ │ │ │ │P0 │ │P1 │ │ │ │R0 │ │P2 │ │ │ │R1 │ │R2 ││ │ │ │ │ │ │ │ │ │ │ │ │ │ │ │ │ │ │ ││ │ │ │ └───┘ └───┘ │ │ └───┘ └───┘ │ │ └───┘ └───┘│ │ │ └─────────────────┘ └─────────────────┘ └─────────────┘ │ │ │ │ Index: products (2 个主分片 × 2 副本 = 共 4 个分片) │ │ P0 = Primary Shard 0, R0 = Replica Shard 0 │ │ P1 = Primary Shard 1, R1 = Replica Shard 1 │ └─────────────────────────────────────────────────────────────┘ ▲ ▲ │ │ ┌────┴────┐ ┌───┴────┐ │ Client │ │ Kibana │ └─────────┘ └────────┘ ``` ## 核心概念 ### Index(索引) ES 中的索引类似于 MySQL 中的 Database,是一类文档的集合。 ``` MySQL: Database → Table → Row → Column ES: Index → 无 → Document → Field 注意:ES 的 Index 不等于 MySQL 的 Index(索引)! ES 中的 Index 是"文档的集合"这个含义。 ``` ### Document(文档) ES 中的最小数据单元,是一个 JSON 对象。 ```json { "_index": "products", "_id": "1", "_source": { "title": "iPhone 15", "price": 6999, "category": "手机", "description": "苹果最新款手机", "tags": ["苹果", "5G", "全面屏"], "create_time": "2024-01-15" } } ``` ### Shard(分片) Elasticsearch 将一个索引的数据切分为多个分片,分布在不同节点上。 ``` Index: products (3 个主分片, 1 个副本 = 共 6 个分片) Node 1: P0, R2 Node 2: P1, R0 Node 3: P2, R1 每个分片本质上是一个完整的 Lucene 索引 P = Primary Shard(主分片,处理读写) R = Replica Shard(副本分片,只读,容灾备份) ``` ``` 分片的作用: 1. 水平扩展:数据分布在多节点,突破单机存储限制 2. 并行处理:多个分片可以并行搜索,提升吞吐量 3. 高可用:副本分片在主分片故障时自动提升为主 ``` > **核心公式:** > ``` > 文档路由到分片: shard = hash(_routing) % number_of_primary_shards > > 默认 _routing = _id(文档 ID) > 这就是为什么主分片数量创建后不可修改的原因 > (改了公式结果完全变,数据要对不上) > ``` ### Node(节点) 一个 ES 实例就是一个节点,节点有多种角色: ``` 节点角色: Master-eligible(候选主节点):参与选举,管理集群元数据 Data(数据节点):存储数据,执行 CRUD、搜索、聚合 Ingest(预处理节点):在索引前对文档做预处理(pipeline) Coordinating(协调节点):接收客户端请求,转发到数据节点,汇总结果 Machine Learning(ML 节点):运行机器学习任务 ``` ``` 实际部署建议(3 节点集群): Node 1: master: true, data: true ← Master-eligible + Data Node 2: master: true, data: true ← Master-eligible + Data Node 3: master: true, data: true ← Master-eligible + Data 小集群通常不分离角色,中型以上集群建议: 3 个专用 Master 节点(master: true, data: false) N 个 Data 节点(master: false, data: true) ``` ### Cluster(集群) 由一个或多个节点组成,通过集群名称区分,共同持有全部数据。 ``` 集群状态(通过 Zen Discovery / 新版 Coordination 层维护): Green — 所有主分片和副本分片都正常分配 Yellow — 所有主分片正常,但部分副本分片未分配 Red — 有主分片未分配(部分数据不可用) ``` ## 近实时搜索(Near Real-Time) ES 不是实时的,而是"近实时"的(默认 1 秒延迟)。 ``` 写入流程: Client → 写入文档 │ ▼ ┌─────────┐ │ Buffer │ ← 文档先写入内存 Buffer └────┬────┘ │ 同时写入 Translog(保证数据不丢) ▼ ┌──────────────┐ │ Translog │ ← 事务日志,先写到这里防止宕机丢失 └──────────────┘ 默认每 1 秒(refresh_interval) │ ▼ ┌──────────┐ │ Segment │ ← Buffer 刷新为 Segment,此时文档可被搜索 └──────────┘ 每 30 分钟 / Translog 达到 512MB │ ▼ ┌──────────┐ │ Commit │ ← Segment 刷到磁盘,清空 Translog └──────────┘ ``` ``` 为什么是近实时,不是实时? ES 默认每秒 Refresh 一次(refresh_interval=1s) 写入后最多等 1 秒才能搜到 可以设置 refresh_interval=-1 禁用自动刷新(大批量导入用) 也可以手动调用 POST /index/_refresh 立即刷新 注意:refresh 太频繁会降低写入性能(每次 refresh 生成一个新 Segment) ``` ## Lucene 与 Elasticsearch 的关系 ``` Elasticsearch 是 Lucene 的分布式封装: Lucene(引擎层): - 倒排索引的创建和查询 - 分词、打分、排序 - Segment 管理 - 单机搜索引擎 Elasticsearch(平台层): - 分布式架构(集群、分片、副本) - RESTful API(JSON over HTTP) - 索引生命周期管理 - 聚合分析 - 插件生态(Kibana、Logstash、Beats) 类比: Lucene = 发动机 Elasticsearch = 整车(车身、方向盘、变速箱 + 发动机) ``` ## 本章小结 - ES 是基于 Lucene 的分布式搜索引擎,核心数据结构是倒排索引 - 倒排索引天然适合全文搜索,与 MySQL 的 B+ 树索引互补 - 核心概念:Index(文档集合)、Document(JSON 文档)、Shard(数据分片)、Node(ES 实例) - ES 是近实时搜索(默认 1 秒延迟),通过 Refresh 机制将内存数据刷新为可搜索的 Segment - 分片数创建后不可修改,因为路由算法 `hash(_routing) % num_primary_shards` 依赖分片数 ## 思考题 1. 为什么说 MySQL 不适合做全文搜索? 2. ES 的主分片数为什么创建后不能改? --- 下一篇:[02 - 倒排索引与分词](./02-inverted-index.md)
预览
发布文章
添加摘要让读者更快了解文章内容
取消
确认发布
AI 写作助手
输入一个主题,AI 将为你生成一篇 Markdown 博客文章
AI 正在写作中...
取消
开始生成
AI 优化助手
描述你的修改需求,AI 将在原文基础上进行补充或微调
AI 正在优化中...
取消
开始优化
画布
从已有图里选
✕
图名
保存后生成 /images/excalidraw/<图名>.svg(只能用字母、数字、短横线、下划线、点)
取消
保存并插入