知序
返回
保存草稿
发布
H1
H2
H3
1
2
3
Excalidraw 图
AI 写作
AI 优化
目录
输入内容后显示目录
Markdown
# 06 - 集群架构与分布式原理 ## 集群角色 ``` ES 集群中的节点角色: ┌─────────────────────────────────────────────────────────┐ │ ES Cluster │ │ │ │ ┌──────────┐ ┌──────────┐ ┌──────────┐ │ │ │ Master │ │ Master │ │ Master │ │ │ │ Node 1 │ │ Node 2 │ │ Node 3 │ │ │ │ (Active) │ │(Standby) │ │(Standby) │ │ │ │ │ │ │ │ │ │ │ │ data:true│ │ data:true│ │ data:true│ │ │ └──────────┘ └──────────┘ └──────────┘ │ │ │ │ 协调节点: │ │ 任意节点都可以接收请求 → 智能路由 → 汇总返回 │ └─────────────────────────────────────────────────────────┘ ``` ``` 节点角色说明: 1. Master-eligible(候选主节点) - 参与 Master 选举 - 负责集群管理:创建/删除索引、分配分片、管理节点 - 不处理文档级别操作 2. Data Node(数据节点) - 存储分片数据 - 执行 CRUD、搜索、聚合操作 - 消耗 CPU、内存、磁盘 I/O 3. Ingest Node(预处理节点) - 在索引文档前做预处理(Pipeline) - 如字段转换、数据增强、格式校验 4. Coordinating Node(协调节点) - 接收客户端请求 - 路由到相关数据节点 - 汇总结果后返回客户端 - 每个节点默认都是协调节点 5. Machine Learning Node(ML 节点) - 运行机器学习任务(X-Pack 功能) ``` ## Master 选举 ### 选举机制 ``` ES 使用 Bully 算法的变种(Zen Discovery 或 Coordination 层)进行 Master 选举: 选举条件(node.master: true 的节点参与): 1. 符合法定人数:参与选举的节点数 ≥ discovery.zen.minimum_master_nodes(ES 6.x) 或 cluster.initial_master_nodes(ES 7.x) 选举过程: 1. 每个候选节点 ping 集群中所有节点 2. 收集所有候选节点列表 3. 按节点 ID 排序,选择第一个(ID 最小的)作为 Master 注意:不是按资源或负载选,是按 ID 字典序选! ``` ``` ES 7.x+ 的发现机制变化: 旧版(6.x):Zen Discovery,需要配置 minimum_master_nodes 防止脑裂 新版(7.x+):内置基于 Raft 的 Coordination 层,自动处理法定人数 ``` ### 脑裂问题 ``` 什么是脑裂? 集群中出现两个 Master 节点,各自认为自己是合法的 Master 两个 Master 各自分配分片 → 数据混乱 脑裂的典型场景: Master Node 1(活跃) Data Node 2 Data Node 3 │ │ └──────────── 网络分区 ───────────────┘ Node 1:发现自己和 Node 3 失联,认为自己还是 Master,继续工作 Node 3:发现和 Node 1 失联,发起新选举,选自己为 Master → 集群有两个 Master! 解决方案: ES 6.x:设置 discovery.zen.minimum_master_nodes = (N/2) + 1 含义:至少需要超过半数的候选节点认可才能成为 Master 3 节点集群 → minimum_master_nodes = 2 网络分区后,Node 3 只有 1 个节点(自己),凑不齐 2 个 → 不能当选 ES 7.x+:使用 quorum-based 投票,自动计算法定人数 不需要手动配置 集群变更需要多数节点确认 ``` > **核心机制:** 分布式系统中,"多数派"是防止脑裂的通用解法。ES、ZooKeeper、Raft、Kafka KRaft 都依赖多数派机制。3 节点集群挂 1 台没事(还有 2 台 > 半数),挂 2 台集群不可用。 ## 分片分配 ### 路由算法 ``` 文档写入/查询时,如何确定去哪个分片? shard_num = hash(_routing) % num_primary_shards _routing 默认是文档 _id 可以自定义 _routing,让同类文档路由到同一分片 示例: 3 个主分片 _id = "product_001" → hash("product_001") % 3 = 1 → 写入分片 1 _id = "product_002" → hash("product_002") % 3 = 0 → 写入分片 0 _id = "product_003" → hash("product_003") % 3 = 2 → 写入分片 2 为什么主分片数创建后不可改? → 改了就变了 hash % N 的结果,已有文档找不到 ``` ### 自定义 Routing ```json // 写入时指定 routing POST /products/_doc/product_001?routing=user_123 { "title": "iPhone 15", "user_id": "user_123" } // 查询时必须带相同 routing,否则搜不到 GET /products/_search?routing=user_123 { "query": {"match": {"title": "iPhone"}} } ``` ``` 自定义 Routing 的使用场景: - 用户维度:同一用户的数据路由到同一分片(查询效率高) - 时间维度:同一天的数据路由到同一分片 代价: - 查询时必须带 routing,否则搜不到 - 可能导致数据倾斜(热点分片) ``` ### Shard Allocation(分片分配策略) ``` 分片分配的策略控制: 1. cluster.routing.allocation.awareness(机架感知) 确保主副本不在同一机架 node.attr.rack_id: rack1 ← 节点打标签 cluster.routing.allocation.awareness.attributes: rack_id → 主分片在 rack1,副本自动分配到 rack2 2. cluster.routing.allocation.total_shards_per_node 限制每个节点上的分片数 → 避免某节点分片过多,负载不均 3. 强制分配(reroute) POST /_cluster/reroute { "commands": [{"move": {"index": "test", "shard": 0, "from_node": "n1", "to_node": "n2"}}] } 4. Filtering(包含/排除) cluster.routing.allocation.include._ip: "192.168.1.10,192.168.1.20" 只允许这些 IP 的节点承载分片 ``` ## 分布式搜索流程 ### 两阶段查询 ``` ES 的搜索分两个阶段(Query Then Fetch): 阶段 1:Query Phase(查询阶段) 协调节点将请求广播到所有相关分片 每个分片本地搜索 → 返回文档 ID + 排序值 → 不返回完整文档 阶段 2:Fetch Phase(获取阶段) 协调节点对汇总的文档 ID 排序 → 计算最终 Top N 向相关分片请求完整文档内容 返回给客户端 示例:搜索"手机",返回 Top 10 Client → 协调节点 │ ┌─────────┼─────────┐ ▼ ▼ ▼ Shard 0 Shard 1 Shard 2 ← Query Phase 返回: 返回: 返回: Top 10 Top 10 Top 10 (id+score)(id+score)(id+score) │ │ │ └─────────┼─────────┘ ▼ 协调节点: 30 条中排序取最终 Top 10 ┌─────────┼─────────┐ ▼ ▼ ▼ Shard 0 Shard 1 Shard 2 ← Fetch Phase 返回完整 返回完整 返回完整 文档内容 文档内容 文档内容 │ │ │ └─────────┼─────────┘ ▼ 协调节点 → Client(10 条完整文档) ``` > **性能注意:** 深度分页的瓶颈就在这里 — 每个分片要返回 from+size 条数据,from 越深分片返回的数据越多。 ### 写入流程(写一个文档) ``` 1. 客户端发送写请求到任意节点(协调节点) 2. 协调节点根据 _routing 计算目标主分片 3. 请求转发到主分片所在节点 4. 主分片写入: a. 校验文档 b. 写入 translog c. 写入内存 buffer d. 转发到所有副本分片 5. 等待副本分片确认 6. 返回客户端写入成功 ``` ## 面试常见问题 **Q:ES 怎么选举 Master?** A:候选主节点(master: true)之间通过 ping 发现彼此,收集所有候选节点列表,按节点 ID 字典序排序,选择第一个(ID 最小的)作为 Master。选举需要超过半数的候选节点参与(多数派原则)。 **Q:什么是脑裂?ES 怎么防止脑裂?** A:脑裂是集群中出现两个 Master 各自工作的状态,通常由网络分区导致。ES 6.x 通过 minimum_master_nodes(候选节点数/2 + 1)确保只有获得多数票的节点才能成为 Master。ES 7.x+ 内置基于 Raft 的 Coordination 层,自动处理法定人数。 **Q:为什么 ES 的主分片数创建后不能修改?** A:因为文档路由到分片的公式是 `hash(_routing) % num_primary_shards`,分片数变了公式结果就变了,已有文档按新公式找会找不到分片。如果必须修改,只能用 Reindex 将数据迁移到新索引。 --- 下一篇:[07 - 写入与查询性能优化](./07-performance-optimization.md)
预览
发布文章
添加摘要让读者更快了解文章内容
取消
确认发布
AI 写作助手
输入一个主题,AI 将为你生成一篇 Markdown 博客文章
AI 正在写作中...
取消
开始生成
AI 优化助手
描述你的修改需求,AI 将在原文基础上进行补充或微调
AI 正在优化中...
取消
开始优化
画布
从已有图里选
✕
图名
保存后生成 /images/excalidraw/<图名>.svg(只能用字母、数字、短横线、下划线、点)
取消
保存并插入