知序
返回
保存草稿
发布
H1
H2
H3
1
2
3
Excalidraw 图
AI 写作
AI 优化
目录
输入内容后显示目录
Markdown
# 08 - 高可用与水平扩展 ## 副本机制 ### 副本的作用 ``` 副本(Replica)是主分片的完整拷贝,提供: 1. 高可用:主分片故障时,副本分片自动提升为主 2. 读扩展:副本分片可以处理搜索请求,分散读负载 3. 数据冗余:多份数据防止丢失 ``` ``` 主副本分布示例(3 节点,1 主分片 × 2 副本): Node 1: P0 (Primary) ← 处理写入 + 读取 Node 2: R0 (Replica) ← 只读,从 P0 同步数据 Node 3: R0 (Replica) ← 只读,从 P0 同步数据 主分片故障: Node 1 宕机 → R0 之一被提升为新的 Primary → 服务继续 同时 Master 在剩余节点上重新分配副本(恢复冗余度) ``` ### 副本设置建议 ``` 副本数 = 1 → 1 份数据,无法容忍节点故障 副本数 = 2 → 2 份数据,容忍 1 个节点故障(推荐生产最小配置) 副本数 = 3 → 3 份数据,容忍 2 个节点故障 计算公式: 数据总大小 = 原始大小 × (1 + 副本数) 副本数 = 1(默认)→ 存两份数据(主 + 副本) 权衡: 副本越多 → 可用性越高、读性能越好 → 但存储成本高、写入慢(同步到更多节点) 一般生产环境:1-2 个副本(总共 2-3 份数据) ``` ### 同步机制 ``` ES 的主从复制(Primary-Backup Replication): 1. 客户端写入 → 主分片 2. 主分片写入 Translog + Buffer 3. 主分片将文档转发到所有同步中(in-sync)的副本分片 4. 副本分片写入 Translog + Buffer,返回成功 5. 主分片收到所有副本确认 → 返回客户端写入成功 一致性级别(wait_for_active_shards): 写入时指定需要多少个分片确认: PUT /products/_doc/1?wait_for_active_shards=all {"title": "iPhone"} 取值: 1 (默认) → 仅主分片确认即可 all → 主分片 + 所有副本确认 N → 主分片 + (N-1) 个副本确认 ``` ## 故障转移 ### 节点故障处理流程 ``` 场景:3 节点集群,Node 1 宕机(Node 1 上有主分片 P0) Step 1: Master(Node 2 或 3)检测到 Node 1 心跳超时(默认 30 秒) Step 2: Master 将 P0 的副本 R0(在 Node 2/3 上)提升为新主分片 Step 3: Master 修改集群元数据,更新路由表 Step 4: 集群从 Red 变为 Yellow(因为有副本分片丢失) Step 5: Master 在剩余节点上分配新的副本分片 → 如果还有节点有空间,创建新的副本 → 集群从 Yellow 恢复为 Green 心跳配置: discovery.zen.fd.ping_interval: 1s ← 心跳间隔 discovery.zen.fd.ping_timeout: 30s ← 30 秒无响应判定宕机 discovery.zen.fd.ping_retries: 3 ← 重试次数 ``` ### 故障恢复的时间开销 ``` 故障检测延迟: ping_timeout(30s) + ping_retries(3) × ping_interval(1s) ≈ 33 秒 这是 Master 发现节点宕机的最长时间 分片恢复: 宕机节点的分片数据需要从剩余副本复制到新节点 恢复速度受 index.recovery 参数限制(避免影响线上服务) 恢复期间: 主分片 → 正常读写 副本分片 → 正在恢复中,不能用于搜索 ``` ## 水平扩展 ### 添加节点 ``` 当数据量增长或查询负载增加时,添加新节点实现水平扩展: 添加前(2 节点,4 个主分片): Node 1: P0, P1, P2, P3 ← 所有分片集中在 2 个节点 Node 2: R0, R1, R2, R3 添加后(3 节点,4 个主分片): Node 1: P0, P1, R2, R3 Node 2: P2, P3, R0, R1 Node 3: (空,等待分片分配) ES 自动将部分分片迁移到新节点: Node 1: P0, P1, R2 Node 2: P2, P3, R0 Node 3: R1, R3, ... ← 分片均匀分布 ``` ### 扩容注意事项 ``` 1. 分片数不能动态调整 主分片数创建时确定,扩容节点不能增加分片并行度 解决方案: - 创建索引时预留足够的主分片数 - 或者 Reindex 到新索引(新索引更多主分片) 2. 分片大小建议 单个分片:10GB - 50GB(官方建议) 太小:分片数太多,Master 管理压力大 太大:分片恢复慢,单分片查询可能成为瓶颈 3. 分片总数控制 每个节点建议不超过 20-30 个分片/GB 堆内存 估算公式: 节点堆内存 16GB → 每节点最多约 500-700 个分片 但实际上要考虑性能,建议控制在 100-200 以内 4. 扩容触发条件 - 磁盘使用率 > 85% - 搜索响应时间持续增长 - 写入延迟升高(节点负载不均) ``` ## Cross-Cluster Search(跨集群搜索) ``` ES 6.0+ 支持跨集群搜索,适合多数据中心场景: ┌─────────────────┐ ┌─────────────────┐ │ Cluster A │ │ Cluster B │ │ (北京机房) │ │ (上海机房) │ │ index: order_N │ │ index: order_S │ └────────┬────────┘ └────────┬────────┘ │ │ └───────────┬───────────┘ │ ┌───────▼───────┐ │ Cluster C │ │ (协调集群) │ │ 跨集群搜索 │ └───────────────┘ ``` ```json // 添加远程集群 PUT _cluster/settings { "persistent": { "cluster": { "remote": { "cluster_shanghai": { "seeds": ["192.168.2.10:9300"] } } } } } // 跨集群搜索 GET /order_N,cluster_shanghai:order_S/_search { "query": {"match": {"title": "手机"}} } ``` ## 面试常见问题 **Q:ES 副本数设置多少合适?** A:推荐 1-2 个副本(共 2-3 份数据)。副本的作用是提供高可用和读扩展。副本数越多可用性越高、读并发越好,但存储成本倍增、写入性能下降。一般生产环境默认 1 个副本即可。 **Q:ES 节点宕机后数据怎么恢复?** A:Master 检测到节点心跳超时(约 30 秒),将该节点上的主分片对应的副本提升为主分片,并在其他节点上重建(分配)缺失的副本分片。恢复期间仍可正常读写,副本重建完成即恢复 Green 状态。 **Q:如何实现 ES 水平扩展?** A:添加新节点,ES 会自动将部分分片迁移到新节点实现负载均衡。但主分片数不能动态调整,所以需要在创建索引时预留足够的分片数。如果分片数不够,只能 Reindex 到新索引。 **Q:ES 怎么保证数据写入不丢失?** A:通过 Translog(事务日志)。写入时先写 Translog 再写内存 Buffer,即使宕机重启也能从 Translog 重放数据。默认每个写入请求都会 fsync Translog(index.translog.durability=request),也可以通过 wait_for_active_shards 要求副本确认后才返回成功。
预览
发布文章
添加摘要让读者更快了解文章内容
取消
确认发布
AI 写作助手
输入一个主题,AI 将为你生成一篇 Markdown 博客文章
AI 正在写作中...
取消
开始生成
AI 优化助手
描述你的修改需求,AI 将在原文基础上进行补充或微调
AI 正在优化中...
取消
开始优化
画布
从已有图里选
✕
图名
保存后生成 /images/excalidraw/<图名>.svg(只能用字母、数字、短横线、下划线、点)
取消
保存并插入