知序
返回
保存草稿
发布
H1
H2
H3
1
2
3
Excalidraw 图
AI 写作
AI 优化
目录
输入内容后显示目录
Markdown
# 08 - 高可用与运维 ## 节点发现(Discovery) Ignite 使用 Discovery SPI 实现节点自动发现和集群组建。 ``` 节点加入集群的流程: 1. 新节点启动,配置了 Discovery IP 列表 2. 向列表中的 IP 发送 Join 请求 3. 已存在的节点之一作为 Coordinator,处理 Join 请求 4. Coordinator 把新节点信息广播给所有现有节点 5. 新节点收到完整拓扑信息,开始接收数据分区分配 Discovery 机制: 基于 TCP/IP 的发现(TcpDiscoveryVmIpFinder): - 配置一个静态 IP 列表 - 新节点尝试连接这些 IP - 连上一个后就能获取完整拓扑 - 最简单常用的方式 基于 ZooKeeper 的发现(ZooKeeperDiscoverySpi): - 节点启动后在 ZK 上注册临时节点 - 适合动态 IP 或多机房场景 - 不需要配置固定 IP ``` ## 故障检测 ``` 故障检测:每个节点通过心跳判断其他节点是否存活 心跳机制: - 节点之间每秒发一次心跳 - 超时时间:failureDetectionTimeout(默认 10 秒) - 如果 N 秒没收到心跳 → 踢出集群 故障检测的两种模式: 1. TCP 心跳:直接 TCP Socket 连接(默认,可靠) 2. Ring 心跳:环形传递心跳消息(适合大量节点,减少连接数) 节点被踢出(Segmentation): 网络分区时,Ignite 通过 Segmentation Policy 决定怎么办: - STOP:停止节点(安全,默认推荐) - RESTART_JVM:重启 JVM - NO_SEGMENT_CHECK:不检查(危险,可能导致数据不一致) ``` ## 数据再平衡 当节点加入或离开集群时,Ignite 自动调整分区分布。 ``` 节点加入时的再平衡: 加入前(2 节点,4 分区,1 备份): Node 1: P0(主), P1(主), P3(主), B2(备) Node 2: P2(主), B0(备), B1(备), B3(备) Node 3 加入后: Node 1: P0(主), P1(主), B1(备), B3(备) Node 2: P2(主), P3(主), B0(备), B2(备) Node 3: (开始接收迁移过来的分区) 再平衡后(3 节点,均匀分布): Node 1: P0(主), P1(备), B3(备) Node 2: P1(主), P2(主), B0(备) Node 3: P3(主), P0(备), B2(备) 再平衡控制参数: rebalanceBatchSize — 每次移动多少数据 rebalanceThrottle — 限速(避免占满带宽) rebalanceThreadPoolSize — 并发移动线程数 ``` ``` 节点宕机时的处理流程: 1. 心跳超时 → 检测节点不可达 2. Coordinator 广播拓扑变更 3. 如果宕机节点在 Baseline Topology 中: - 主分区:在备份节点上提升备份分区为新的主分区 - 备份分区:在其他节点上创建新的备份分区 - 不会立即从 Baseline 移除节点(除非手动操作) 4. 如果宕机节点不在 Baseline Topology 中: - 触发再平衡 - 数据重新分布到剩余节点 注意:再平衡期间性能可能下降 建议在低峰期执行节点加入操作 ``` ## 持久化恢复 ``` 全集群宕机后的恢复: 场景:停电、机房故障,所有节点一起挂 恢复流程: 1. 重新启动所有节点 2. 每个节点从本地磁盘加载数据 + 重放 WAL 3. 节点之间通过 Discovery 重新组建集群 4. 拓扑恢复后,集群正常服务 注意事项: - 必须所有节点都重启,不能缺失节点 - 如果某个节点磁盘损坏: → 手动从 Baseline 移除该节点 → 其他节点上的备份分区自动提升为主 → 数据不丢(因为还有备份) ``` ## 监控关键指标 ``` JVM 指标: - Heap Memory Used / Max(堆内存使用) - GC Pause Time(GC 暂停时间) - Thread Count(线程数) 固化内存指标: - DataRegionMetrics.OffHeapUsedSize(堆外内存使用量) - PagesFillFactor(页填充率) 缓存指标: - CacheSize(缓存条目数) - CacheGets / CachePuts(读/写 QPS) - CacheHitPercentage(缓存命中率) 集群指标: - TotalNodes(集群节点数) - TotalBaselineNodes(基线节点数) - OffHeapUsedSize(集群总堆外内存) ``` ## 面试常见问题 **Q:Ignite 的节点发现怎么工作?** A:基于 TCP Discovery:每个新节点尝试连接配置的 IP 列表中的已知节点,连接上一个后获取完整拓扑信息,然后得到分区分配。也可以使用 ZooKeeper 实现动态发现,适合 IP 不固定的云环境。 **Q:节点宕机后数据怎么恢复?** A:如果宕机节点在 Baseline 中且有备份:该节点上的主分区会在备份节点上提升为新的主分区,同时在其他节点上创建新的备份分区。如果节点不在 Baseline 中:触发再平衡,数据重新分布到剩余节点。同步复制时不会丢数据,异步复制可能丢失少量未同步的写入。 **Q:全集群宕机后怎么恢复?** A:重启所有节点,每个节点从本地磁盘加载数据 + 重放 WAL,再通过 Discovery 重新组建集群。如果某节点磁盘损坏,需手动从 Baseline 移除该节点,其他节点上的备份会提升为主分区保证数据不丢。 --- 上一篇:[07 - 计算网格与并置处理](./07-compute.md)
预览
发布文章
添加摘要让读者更快了解文章内容
取消
确认发布
AI 写作助手
输入一个主题,AI 将为你生成一篇 Markdown 博客文章
AI 正在写作中...
取消
开始生成
AI 优化助手
描述你的修改需求,AI 将在原文基础上进行补充或微调
AI 正在优化中...
取消
开始优化
画布
从已有图里选
✕
图名
保存后生成 /images/excalidraw/<图名>.svg(只能用字母、数字、短横线、下划线、点)
取消
保存并插入