知序
返回
保存草稿
发布
H1
H2
H3
1
2
3
Excalidraw 图
AI 写作
AI 优化
目录
输入内容后显示目录
Markdown
# 10 - 热 Key 与 Big Key 问题  ## 热 Key 问题 ### 什么是热 Key ``` 当 Redis 中的同一个 key 被大量并发访问时,流量过于集中 导致网络带宽、物理存储、数据库连接等资源无法支撑 典型场景: 明星官宣突发事件 世界杯等重大活动 双十一秒杀活动 热门商品、热搜词条 ``` ### 多热算热? ``` 没有固定标准,需要根据实际业务和缓存服务器情况而定。 参考标准: QPS 集中在特定 Key: Redis 实例总 QPS 为 10000,其中一个 Key 每秒访问量达 7000 带宽使用率集中在特定 Key CPU 使用时间集中在特定 Key: 如对一个 10000 成员的 ZSET 每秒发送大量 ZRANGE 操作 ``` ### 识别热 Key ``` 1. 根据经验提前预测: 电商系统中,秒杀、抢购等业务开始前就能预测出热 key 局限性:无法预测突发事件(如明星官宣) 2. 实时收集: 在客户端、服务端或代理层实时采集数据 统计汇总后,达到一定数量就识别为热 key ``` ### 解决方案  *图:热 Key 的多级缓存、备份、拆分与限流方案* ``` 热 Key 解决方案全景 ┌─────────────────────────────────────────────────────────────────┐ │ │ │ 方案 1:多级缓存 │ │ 浏览器缓存 → CDN → Nginx 本地缓存 → Redis → 数据库 │ │ 越靠近用户,抗的流量越多 │ │ │ │ 方案 2:热 Key 备份(多集群) │ │ 将热点数据同步到多个 Redis 集群 │ │ 客户端随机或按策略分发到不同集群 │ │ │ │ 方案 3:热 Key 拆分(key 分片) │ │ hot:keyword → hot:keyword_0001 ~ hot:keyword_0010 │ │ 每个子 key 存一样的数据,随机访问其中一个 │ │ │ │ 方案 4:限流 │ │ 对热 key 直接限流,超过阈值的请求直接拒绝 │ │ 保护后端 Redis 和数据库 │ │ │ └─────────────────────────────────────────────────────────────────┘ ``` ### 方案详解 ``` 1. 多级缓存: 客户端浏览器缓存 → CDN 缓存 → Redis 缓存 → 本地缓存(Caffeine) 通过多层缓存减少用户访问链路长度 2. 热 Key 备份: 部署多个 Redis 服务器集群 实时将热点数据同步分发到多个集群 一旦某个集群扛不住,立刻切换 3. 热 Key 拆分: 将一个热 key 拆分成多个 key,加后缀分散到多个实例 如 <淄博烧烤> 拆分为 淄博烧烤_0001 ~ 淄博烧烤_0004 客户端根据用户 ID 算出下标,访问其中一个节点 不需要给所有用户推送同样的内容 4. 限流: 对热 key 的访问进行限流,超过阈值直接拒绝 ``` ## Big Key 问题 ### 什么是 Big Key ``` Big Key 是 Redis 中存储了大量数据的 Key 不仅指 Key 的值很大,还包括 Key 对应的 value 占用空间很多 常见于 String、List、Hash、Set、ZSet 等类型: String 类型:字符串的值比较大 其他类型:元素过多 ``` ### Big Key 的危害  *图:Big Key 在性能、内存、集群、持久化上的危害* ``` Big Key 对 Redis 各方面的影响: ┌───────────────────────────────────────────────────────────────┐ │ Big Key 危害全景 │ │ │ │ 1. 读写性能: │ │ ├── GET big_string (5MB) → 网络传输慢,阻塞后续请求 │ │ ├── HGETALL big_hash (10000 字段) → CPU 高,阻塞主线程 │ │ └── DEL big_key → 主线程阻塞(4.0 前),用 UNLINK 异步删 │ │ │ │ 2. 内存占用: │ │ ├── 单个 key 占大量内存 → 压缩其他 key 的空间 │ │ └── 删除后内存碎片严重 │ │ │ │ 3. 集群不均衡: │ │ ├── Big Key 所在节点内存使用率高 │ │ └── 其他节点可能还很空闲 → 资源浪费 │ │ │ │ 4. 持久化与复制: │ │ ├── BGSAVE/RDB:fork 期间 COW 压力大,内存可能翻倍 │ │ ├── AOF 重写:大 key 写入导致重写缓冲膨胀 │ │ └── 主从复制:传输大 key 时 buffer 堆积,可能断开重连 │ │ │ │ 5. 过期与淘汰: │ │ ├── 惰性删除:删除大 key 时主线程阻塞 │ │ └── 定期删除:大 key 导致过期比例假高,CPU 空转 │ │ │ └───────────────────────────────────────────────────────────────┘ ``` ### 多大算大? ``` 没有固定标准,以下是经验值: String 类型:值超过 5MB Set 类型:成员数量超过 10000 个 List 类型:成员数量超过 10000 个 Hash 类型:成员数量超过 1000 个,或所有成员总 value 大小超过 100MB ``` ### 识别 Big Key ```bash # 使用 redis-cli 扫描 redis-cli --bigkeys # 输出示例: # Biggest string found so far 'mykey' with 160012 bytes # Biggest list found so far 'mylist' with 2304 items # Biggest set found so far 'myset' with 1230 members # Biggest hash found so far 'myhash' with 412 fields ``` ### 处理 Big Key ``` 1. 有选择地删除:针对访问频率低的 Big Key 进行删除 2. 合理设置 TTL:避免过期缓存不及时删除而增大 key 大小 3. 拆分 Big Key: 在业务代码中将一个 big key 拆分(如根据日期或用户尾号) 使用小键替代大键,减小存储空间 4. 使用 Cluster 集群:将大 key 分散到不同服务器上 5. 部分迁移:将大键存放在单独的数据库中 ``` ### Big Key 的工程治理(很重要) ``` 线上治理 Big Key,重点不只是“知道它大”,而是要知道怎么安全处理。 ``` #### 删除时优先用 UNLINK,而不是 DEL ```bash DEL key 同步删除 如果 key 很大,主线程会被阻塞更久 UNLINK key 只把 key 从主线程的数据结构里摘掉 真正的内存释放交给后台线程异步完成 更适合删除 big key ``` #### 为什么 Big Key 会拖慢复制、持久化和迁移 ``` 1. 主从复制: big key 的一次修改可能就对应很重的复制流 从节点更容易延迟,严重时还可能断连后重新全量同步 2. AOF / RDB: big key 会让 fork 后的 COW 更重 重写、持久化、恢复都更慢 3. 集群迁移: 一个槽位里如果有巨大的 key,迁移时耗时更长 还可能引发访问抖动和链路超时 ``` #### 线上怎么渐进治理 ``` 1. 先识别: 用 redis-cli --bigkeys、MEMORY USAGE、业务埋点定位具体 key 2. 再分级: 先区分“还能忍的大 key”和“已经影响线上稳定的大 key” 3. 拆分: 按业务维度拆,比如: 一个超大用户集合 -> 按日期分桶 一个超长列表 -> 按页拆 key 一个超大 Hash -> 按字段前缀拆分 4. 迁移: 新写流量先写到拆分后的新结构 老数据逐步搬迁,避免一次性全量切换 5. 删除: 确认读流量已经切到新 key 后,再用 UNLINK 渐进删除旧 key ``` #### 一句话原则 ``` Big Key 最怕三件事: 1. 一次性读 2. 一次性删 3. 一次性迁移 治理思路就是: 提前识别 + 尽早拆分 + 异步删除 + 灰度迁移 ``` ## 面试常见问题 **Q:什么是热 Key 问题?怎么解决?** A:热 Key 是指某个 Key 被大量并发访问,导致单节点资源不足。解决方案:① 多级缓存(浏览器→CDN→Redis→本地缓存)减少访问链路;② 热 Key 拆分,将一个 Key 拆分为多个分散到不同节点;③ 热 Key 备份到多个集群;④ 限流。 **Q:什么是 Big Key?有什么危害?怎么处理?** A:Big Key 是存储了大量数据的 Key(如 String 超过 5MB,Set 超过 10000 个成员)。危害:影响性能、占用内存、集群内存不均匀、迁移困难。处理:拆分 Big Key、合理设置 TTL、使用 Cluster 分散存储、有选择地删除低频 Key。 --- 上一篇:[09 - I/O 模型与网络通信](./09-io-model.md) | 返回:[目录](./README.md)
预览
发布文章
添加摘要让读者更快了解文章内容
取消
确认发布
AI 写作助手
输入一个主题,AI 将为你生成一篇 Markdown 博客文章
AI 正在写作中...
取消
开始生成
AI 优化助手
描述你的修改需求,AI 将在原文基础上进行补充或微调
AI 正在优化中...
取消
开始优化
画布
从已有图里选
✕
图名
保存后生成 /images/excalidraw/<图名>.svg(只能用字母、数字、短横线、下划线、点)
取消
保存并插入