知序
返回
保存草稿
发布
H1
H2
H3
1
2
3
Excalidraw 图
AI 写作
AI 优化
目录
输入内容后显示目录
Markdown
# 05 - 集群模式 ## 为什么需要集群 ``` 主从 + 哨兵的局限: 写操作只能在主节点,单节点写能力有上限 数据全量存在每个节点,内存受单机限制 集群解决的问题: 数据分片:数据分散在多个节点,突破单机内存限制 写扩展:多个主节点可以并行写入 高可用:每个主节点有从节点,主节点宕机自动切换 ``` ## 哈希槽(Hash Slot) ``` Redis 集群将数据空间划分为 16384 个哈希槽(0 ~ 16383) key 到槽的映射: slot = CRC16(key) % 16384 槽到节点的映射(由集群配置决定): 节点 A:0 ~ 5460 节点 B:5461 ~ 10922 节点 C:10923 ~ 16383 示例: SET user:1001 "张三" CRC16("user:1001") % 16384 = 7638 7638 在节点 B 的范围内 → 数据存在节点 B ``` ### 为什么是 16384 个槽? ``` 不用 65536(2^16)的原因: 心跳包中需要携带槽位信息(bitmap),16384 个槽只需 2KB 65536 个槽需要 8KB,心跳包太大,网络开销大 不用更少槽的原因: 16384 个槽足够支持 1000 个节点(每个节点约 16 个槽) 槽太少,节点间迁移粒度太粗 ``` ## 集群架构  *图:Redis Cluster 的三主三从与 16384 个槽分配* ``` ┌─────────────────────────────────────────────────────┐ │ Redis Cluster │ │ │ │ ┌──────────┐ ┌──────────┐ ┌──────────┐ │ │ │ Master A │ │ Master B │ │ Master C │ │ │ │ 槽 0~5460 │ │槽5461~10922│ │槽10923~16383│ │ │ └────┬─────┘ └────┬─────┘ └────┬─────┘ │ │ │ │ │ │ │ ┌────▼─────┐ ┌────▼─────┐ ┌────▼─────┐ │ │ │ Slave A │ │ Slave B │ │ Slave C │ │ │ └──────────┘ └──────────┘ └──────────┘ │ └─────────────────────────────────────────────────────┘ 最小集群:3 主 3 从(6 个节点) ``` ## 客户端访问流程 ``` 客户端请求 SET user:1001 "张三" 步骤 1:客户端计算 slot = CRC16("user:1001") % 16384 = 7638 步骤 2:客户端查询本地缓存的槽位映射表 7638 → 节点 B(192.168.1.12:6379) 步骤 3:客户端直接连接节点 B 发送请求 步骤 4:如果槽位映射已变化(如扩缩容后),节点 B 返回 MOVED 错误: MOVED 7638 192.168.1.13:6379 客户端更新本地映射表,重新发送到正确节点 步骤 5:如果数据正在迁移中,节点返回 ASK 错误: ASK 7638 192.168.1.13:6379 客户端临时发送到新节点(不更新映射表) ``` ## 集群扩缩容 ### 数据槽迁移过程  *图:槽迁移:MIGRATING/IMPORTING 状态与 ASK 重定向* ``` 槽迁移是 Redis Cluster 扩容/缩容的核心操作,过程中服务不中断。 迁移一个槽的完整流程: 时刻 0:槽 slot_X 属于节点 A,数据正常服务 ┌─────────┐ ┌─────────┐ │ 节点 A │ slot_X │ 节点 B │ │ (源) │══ key1,key2 │ (目标) │ └─────────┘ └─────────┘ 时刻 1:目标节点 B 执行 CLUSTER SETSLOT slot_X IMPORTING A 源节点 A 执行 CLUSTER SETSLOT slot_X MIGRATING B ┌──────────────┐ ┌──────────────┐ │ 节点 A │ │ 节点 B │ │ slot_X → │ │ slot_X ← │ │ MIGRATING │────────→│ IMPORTING │ └──────────────┘ └──────────────┘ 时刻 2:逐个迁移 key(MIGRATE 命令,原子操作) 节点A: MIGRATE B_IP B_PORT key1 0 1000 节点B 收到 key1 后存入本地 → 节点A 删除 key1 重复直到该槽所有 key 迁移完毕 时刻 3:迁移期间客户端请求处理 客户端请求 key 在 slot_X: ├── key 在源节点 A → 正常返回 ├── key 已迁移到 B → A 返回 ASK 重定向 → 客户端临时访问 B └── key 不存在 → 返回 nil 时刻 4:迁移完成,更新槽归属 节点A 和节点B 都执行 CLUSTER SETSLOT slot_X NODE B 广播给整个集群:slot_X 现在属于节点 B ┌─────────┐ ┌─────────┐ │ 节点 A │ │ 节点 B │ slot_X │ (源) │ │ (目标) │══ key1,key2 └─────────┘ └─────────┘ 迁移过程对客户端透明,服务不中断(只有轻微延迟) ```  ### 扩容(添加新节点) ```bash # 1. 启动新节点 redis-server --port 7007 --cluster-enabled yes # 2. 将新节点加入集群 redis-cli --cluster add-node 192.168.1.14:7007 192.168.1.10:7001 # 3. 迁移槽位到新节点(将部分槽从现有节点迁移过来) redis-cli --cluster reshard 192.168.1.10:7001 # 交互式输入:迁移多少个槽、迁移到哪个节点、从哪些节点迁移 ``` ### 缩容(删除节点) ```bash # 1. 先将该节点的槽迁移到其他节点 redis-cli --cluster reshard 192.168.1.10:7001 # 2. 从集群中删除节点 redis-cli --cluster del-node 192.168.1.10:7001 <node-id> ``` ## 集群节点通信:Gossip 协议 ``` Redis 集群节点之间通过 Gossip 协议交换信息,不需要中心节点。 Gossip 消息类型: MEET:新节点加入集群时,向已知节点发送 MEET 消息 PING:定期向随机节点发送,携带自己和部分其他节点的状态 PONG:收到 PING/MEET 后回复,携带自己的状态 FAIL:发现某节点下线时,广播 FAIL 消息通知所有节点 节点状态传播: 每个节点每秒随机选 5 个节点发送 PING PING 消息携带:自己的状态 + 随机选取的其他节点状态 通过这种方式,集群状态在 O(log N) 轮后传播到所有节点 节点下线判断: 主观下线(PFAIL):某节点超过 cluster-node-timeout 没有响应 客观下线(FAIL):超过半数主节点都认为该节点主观下线 → 广播 FAIL 消息,触发故障转移 Gossip 的优缺点: 优点:去中心化,无单点故障,扩展性好 缺点:状态传播有延迟(最终一致性),消息量随节点数增加 ``` ## 集群故障转移全过程 ``` 场景:某个 master 节点宕机,Redis Cluster 需要自动把它的某个 slave 提升为新 master 第 1 步:其他主节点发现故障 集群节点通过 Gossip 持续交换状态 如果多个主节点都认为某个 master 超过 cluster-node-timeout 没响应 这个 master 会从 PFAIL 升级为 FAIL 第 2 步:该 master 的从节点准备发起选举 不是所有从节点都会立刻抢着上位 从节点会根据复制偏移量计算一个延迟时间: 数据越新(offset 越大),延迟越短 数据越旧,越晚发起选举 这样“数据最新的从节点”更容易先发起选举 第 3 步:从节点请求投票 候选从节点会把自己的配置纪元(configEpoch)加 1 然后向其他 master 节点发送 FAILOVER_AUTH_REQUEST,请求投票 第 4 步:其他 master 节点投票 只有 master 有投票权,slave 没有 每个 master 在一个纪元内只会投一票 候选从节点需要拿到“超过半数 master”的投票,才算选举成功 第 5 步:候选从节点提升为新 master 选举成功后: 1. 取消自己的从节点身份 2. 接管旧 master 负责的槽位 3. 广播 PONG 消息,通知整个集群:这些槽现在归我负责 第 6 步:客户端感知并切换 客户端访问旧 master 或旧槽位映射时: 可能超时 也可能收到 MOVED 重定向 然后更新本地槽位映射表,转向新 master 第 7 步:旧 master 恢复后降级 旧 master 恢复上线后,不会继续保持主节点身份 它会变成新 master 的从节点,重新同步数据 ```  ``` 面试里可以抓住三句话: 1. 故障发现靠 Gossip + 多个 master 判定 FAIL 2. 选举投票只有 master 参与,且要多数派 3. 数据最新的 slave 更容易先赢得选举 ``` ## 集群的脑裂问题 ``` 脑裂(Split Brain):网络分区导致集群分成两个独立的部分, 每个部分都认为自己是正常的,可能同时有两个主节点。 场景: Master A 和 Slave A 之间网络断开 Slave A 发起选举,成为新的 Master A' 此时 Master A 和 Master A' 同时接受写请求 网络恢复后,Master A 变为从节点,其上的写入数据丢失 解决方案: min-replicas-to-write 1 # 至少有 1 个从节点同步才接受写请求 min-replicas-max-lag 10 # 从节点延迟不超过 10 秒 当主节点发现没有足够的从节点同步时,拒绝写请求 这样脑裂期间的孤立主节点无法写入,避免数据丢失 ``` ## 集群的限制 ``` 1. 多 key 操作限制: MSET k1 v1 k2 v2 ← 如果 k1 和 k2 在不同节点,会报错 解决:使用 hash tag,强制相同 key 在同一节点 MSET {user}:name 张三 {user}:age 25 ← {} 内的内容决定槽位 2. 事务限制: MULTI/EXEC 只能在同一节点的 key 上使用 3. Lua 脚本限制: 脚本中涉及的所有 key 必须在同一节点 4. 数据库限制: 集群模式只支持 db0,不支持 SELECT 切换数据库 ``` ## 数据分片会导致数据倾斜吗?如何解决? ### 数据倾斜的原因 ``` 1. 哈希分布不均: 若哈希算法对某些 key 的映射集中在少数分片(如哈希碰撞概率高) 会导致这些分片数据量过大 2. 热点 key 问题: 某些 key 的访问频率极高(如热门商品 ID、活动计数器) 即使数据量不大,其所在分片也会因请求集中而成为瓶颈 3. 数据增长不均衡: 部分业务的 key 自然增长更快,导致对应分片数据量远超其他节点 ``` ### 解决方案 ``` 1. 优化哈希算法,均衡分片分布: 使用一致性哈希:通过增加"虚拟节点"均衡分布,降低倾斜概率 自定义哈希策略:对业务 key 进行预处理(如加盐 hash(key + salt) % n) 2. 针对性处理热点 key: 拆分热点 key:将 count:hot 拆分为 count:hot:1 到 count:hot:10 每次操作随机选择一个子 key,最后聚合结果 热点数据本地缓存:在应用层对热点 key 进行本地缓存 ``` **Q:Redis 集群是如何分片的?为什么是 16384 个槽?** A:Redis 集群用哈希槽分片,共 16384 个槽,通过 CRC16(key) % 16384 计算 key 所在的槽,再根据槽到节点的映射找到对应节点。16384 个槽的原因:心跳包中携带槽位 bitmap 只需 2KB,而 65536 个槽需要 8KB,网络开销太大;同时 16384 个槽足够支持 1000 个节点。 **Q:集群扩容时数据迁移会影响服务吗?** A:不会中断服务。迁移过程中,正在迁移的槽会返回 ASK 重定向,客户端临时访问新节点;迁移完成后返回 MOVED 重定向,客户端更新本地映射表。整个过程对客户端透明,只有轻微的延迟增加。 --- 上一篇:[04 - 高可用:主从与哨兵](./04-replication-sentinel.md) | 下一篇:[06 - 缓存设计与常见问题](./06-cache-problems.md)
预览
发布文章
添加摘要让读者更快了解文章内容
取消
确认发布
AI 写作助手
输入一个主题,AI 将为你生成一篇 Markdown 博客文章
AI 正在写作中...
取消
开始生成
AI 优化助手
描述你的修改需求,AI 将在原文基础上进行补充或微调
AI 正在优化中...
取消
开始优化
画布
从已有图里选
✕
图名
保存后生成 /images/excalidraw/<图名>.svg(只能用字母、数字、短横线、下划线、点)
取消
保存并插入