知序
返回
保存草稿
发布
H1
H2
H3
1
2
3
Excalidraw 图
AI 写作
AI 优化
目录
输入内容后显示目录
Markdown
# 01 - Redis 数据结构(一):业务选型与常用结构 > 学数据结构的目标不是背命令,而是能根据访问模式选择合适的结构,并同时控制 Key 生命周期、数据规模与并发语义。本篇覆盖业务最常用的 String、Hash、List、Set、ZSet;其底层编码与实现原理见下一篇 [01 - Redis 底层数据结构](./01-data-structures-2.md)。 ## 学完本篇应能解决的问题 - 一段业务数据应该用 String 还是 Hash 保存? - 为什么“一个 Key 存整个用户 JSON”有时合理、有时会造成写放大? - List 能否做消息队列、最近浏览记录和待办任务?它的可靠性边界在哪里? - 关注、去重和共同关系为什么适合 Set?排行榜、时间线和延迟任务为什么适合 ZSet? - 哪些命令会导致大返回、大 Key 或阻塞主线程? ## 先建立选型框架 先回答五个问题,再决定数据结构:数据是否需要**按字段局部更新**?是否天然有**顺序与两端消费**?成员是否需要**去重或集合运算**?是否需要按一个**分数排序或范围查询**?单个 Key 的大小和元素数是否有明确上限? | 业务形态 | 首选结构 | 原因 | 典型 Key | |---|---|---|---| | 完整对象缓存、验证码、令牌、计数器 | String | 读写简单;`INCR` 等命令原子 | `product:detail:1001` | | 有多个字段且经常局部改动的对象 | Hash | 可按 field 读写,避免整对象反序列化和覆盖 | `user:profile:1001` | | 保留最新 N 条记录、先进先出待处理项 | List | 两端插入、弹出高效,天然保序 | `user:history:1001` | | 去重成员、关注关系、共同标签、抽样 | Set | 成员唯一,支持交、并、差集 | `user:following:1001` | | 排行榜、按时间排序、优先级/延迟任务 | ZSet | member 唯一且带 score,可按排名或分数范围读取 | `leaderboard:daily` | **统一约束:**Key 使用 `业务:实体:标识` 的小写命名;临时数据必须设置 TTL;集合类和列表类必须限制元素数量;不要用 `KEYS *`、无边界的 `GET`、`HGETALL` 或 `LRANGE 0 -1` 扫描线上大数据。 ## 一、String:最通用的原子值容器 String 可以保存文本、整数、二进制内容或序列化后的对象。它不是只能存“字符串”;计数、分布式互斥标记、短期缓存都常以它为基础。底层 SDS、整数编码和短字符串紧凑编码的原理可参见 [现有数据结构与底层实现文档](./01-data-structures.md)。 ### 1. 适用与不适用场景 | 适合 | 应谨慎使用 | |---|---| | 商品详情等整对象读多写少缓存 | 超大 JSON、图片或文件等大对象 | | 验证码、会话令牌、幂等结果 | 多字段独立高频更新的对象 | | 访问量、库存余量等数值计数 | 需要按属性检索、复杂查询的数据 | | 配置开关、短期状态标记 | 无上限增长的拼接字符串 | 整对象缓存并不等于错误。若商品详情总是整体读取、整体回填且更新频率低,`SET product:detail:1001 <json> EX 300` 简洁且高效。若只更新库存、价格、状态等少数字段,反复读改写整个 JSON 会放大网络、序列化和并发覆盖风险,此时更适合 Hash 或将热点字段拆成独立 Key。 ### 2. 缓存、令牌与计数器 ```bash # 缓存:设置值和过期时间必须是一次原子操作 SET product:detail:1001 '{"id":1001,"name":"keyboard","price":299}' EX 300 GET product:detail:1001 # 验证码:仅首次发送成功;避免并发请求反复覆盖 SET verify:phone:13800000000 483921 NX EX 300 # 每日计数器:INCR 原子执行;首次创建后补充当天过期时间 INCR api:count:2026-07-30 EXPIREAT api:count:2026-07-30 1785398400 ``` `INCR` 与 `EXPIREAT` 分两次执行时,进程若在中间失败,计数器可能没有过期时间。对严格的限流或配额场景,应使用 Lua 将“自增 + 首次设置过期”合为原子操作,或采用成熟组件提供的令牌桶/滑动窗口实现。 ```lua -- KEYS[1] 为计数器,ARGV[1] 为秒级 TTL local current = redis.call('incr', KEYS[1]) if current == 1 then redis.call('expire', KEYS[1], ARGV[1]) end return current ``` ### 3. String 的生产边界 - **避免 Big Key:**单值达到数百 KB 就应评估拆分;大对象会放大网络传输、复制、AOF 重写和删除的成本。 - **缓存必须可恢复:**Redis 是加速层,缓存丢失后应能从数据库或服务回源;不要把唯一业务事实只写入缓存。 - **防止缓存穿透:**对不存在的数据,可缓存空值(短 TTL)并结合布隆过滤器;空值必须有短 TTL,防止遮蔽后来创建的数据。 - **避免热点集中失效:**TTL 加入随机抖动,例如基础 300 秒加 0~60 秒随机值。 ## 二、Hash:面向字段的对象存储 Hash 由一个 Redis Key 和多个 `field → value` 组成,适合保存结构稳定、字段可独立读取或更新的对象。小 Hash 会使用紧凑编码以减少元数据开销;字段或值增大后会转换为哈希表,具体阈值与渐进式 rehash 见 [01-data-structures.md](./01-data-structures.md)。 ### 1. 为什么不是所有对象都用 Hash Hash 的优势是局部访问与更新:修改 `status` 不必读取、反序列化、再写回整个用户对象。代价是一次拿完整对象要多字段读取,字段级 TTL 不存在(过期时间只能设置在整个 Hash Key 上),且 `HGETALL` 在字段很多时会产生大返回。 | 需求 | 建议 | |---|---| | 对象整体读取、整体更新 | String + JSON / 序列化值 | | 常局部更新,字段数量可控 | Hash | | 每个属性需要不同 TTL | 拆分成多个 String Key,或将短期属性独立存储 | | 需要按字段范围、模糊或多条件查询 | 关系型数据库/搜索系统为主,Redis 只做加速 | ### 2. 用户资料与库存字段更新 ```bash # 写入或覆盖指定字段;一个 Hash Key 的 TTL 统一管理 HSET user:profile:1001 nickname "alice" level 3 city "shanghai" EXPIRE user:profile:1001 86400 # 只读取页面需要的字段,避免 HGETALL HMGET user:profile:1001 nickname level # 原子更新字段;适合可独立累计的值 HINCRBY product:stock:1001 available -1 HGET product:stock:1001 available ``` `HINCRBY ... -1` 仅保证 Redis 内这一次数值变化原子,并不自动保证“库存不能小于零”、订单落库与缓存扣减的一致性。库存预扣需要在 Lua 中完成读取校验与扣减,并配合数据库事务、可靠消息或补偿机制保证最终正确性。 ```lua -- 仅演示 Redis 内的“不超卖”原子边界 local available = tonumber(redis.call('hget', KEYS[1], 'available') or '0') local quantity = tonumber(ARGV[1]) if available < quantity then return {err = 'INSUFFICIENT_STOCK'} end return redis.call('hincrby', KEYS[1], 'available', -quantity) ``` ### 3. Hash 的治理要点 1. **限制字段数与字段长度。**把用户动态标签、历史明细无限追加到同一个 Hash,会形成 Big Key;此类数据应分页、分桶或使用专门存储。 2. **不要混淆对象与关系。**`user:1001` 是一个对象;“用户关注了谁”是多值关系,应优先考虑 Set/ZSet,而不是在 Hash 里拼接逗号字符串。 3. **过期是 Key 级别的。**新增字段不会自动延长 TTL;是否续期要由业务明确决定,不能隐式改变会话或缓存的生命周期。 4. **避免全量读取。**只取所需字段;需要遍历时用 `HSCAN` 分批处理,而不是在请求主链路执行 `HGETALL`。 ## 三、List:有序的双端序列 List 按插入顺序保存元素,允许重复,可在左、右两端高效插入或弹出。它适合“最新记录”和简单生产消费,但不等同于可靠消息系统。Redis 会用 listpack 与 quicklist 在紧凑存储和大列表操作之间折中,详见 [01-data-structures.md](./01-data-structures.md)。 ### 1. 最近浏览:写入后立即截断 ```bash # 左侧写入最新记录;读取时下标 0 就是最近一条 LPUSH user:history:1001 product:3001 LPUSH user:history:1001 product:3002 LTRIM user:history:1001 0 49 EXPIRE user:history:1001 2592000 LRANGE user:history:1001 0 9 ``` `LPUSH` 与 `LTRIM` 分开执行会存在短暂窗口:并发写入或进程失败时列表可能超出上限。容量绝对严格时用 Lua 合并;容量只是治理目标时,分两条命令通常可以接受。若使用 Pipeline,它减少网络往返但**不赋予多条命令原子性**。 ```lua redis.call('lpush', KEYS[1], ARGV[1]) redis.call('ltrim', KEYS[1], 0, tonumber(ARGV[2]) - 1) redis.call('expire', KEYS[1], ARGV[3]) return redis.call('llen', KEYS[1]) ``` ### 2. 简单队列:能用,但要理解投递语义 ```bash # 生产者从右侧写入,消费者从左侧阻塞弹出(FIFO) RPUSH queue:email '{"taskId":"e-1001","to":"user@example.com"}' BLPOP queue:email 30 ``` `BLPOP` 很适合低复杂度、允许任务丢失或可重试的内部异步处理。但消费者拿到消息后、业务完成前崩溃,消息已从列表移除,存在丢失窗口。因此它不适合订单、支付、通知必达等场景。 | 需求 | 选择 | |---|---| | 简单、可丢失或可从数据库重建的异步任务 | List + `BLPOP` | | 希望处理失败后能取回待处理任务 | `LMOVE` / `BLMOVE` 到 processing List,成功后确认删除,并设计超时回收 | | 需要消费组、确认、积压观测和重放 | Redis Stream | | 高吞吐、跨系统可靠投递、复杂路由 | 专业消息队列 | 下面是“待处理 → 处理中”的最小模式。它能降低消费者崩溃导致的直接丢失风险,但仍需设计处理幂等、超时扫描和重复消费;不要把它误认为完整消息中间件。 ```bash # 原子移动任务;Redis 6.2+ 可使用 BLMOVE 阻塞等待 LMOVE queue:email queue:email:processing LEFT RIGHT # 业务成功后,按消息内容删除 processing 中对应项 LREM queue:email:processing 1 '{"taskId":"e-1001","to":"user@example.com"}' ``` ### 3. List 的生产边界 - `LRANGE key 0 -1` 只适合元素数很小且有上限的列表;分页读取使用明确范围。 - 不要在高并发主链路对超长 List 做 `LREM`、`LINDEX`、中间位置插入/删除,它们可能是 `O(n)`。 - List 不能天然去重。若“最近浏览”不允许重复,可额外用 Set 去重,或用 ZSet 以时间戳排序。 - 队列任务必须带唯一 `taskId`,消费者必须幂等;重复投递、超时重试和故障恢复都会造成至少一次处理。 ## 四、Set:无序、去重的成员集合 Set 保存唯一成员,不保证顺序,适合“是否存在”“去重”“关系集合”以及交、并、差等集合计算。若业务需要保留加入顺序或按时间排序,应选 List/ZSet,而不是试图从 Set 推断顺序。 ### 1. 关注关系、标签与请求去重 ```bash # 关注关系:重复 SADD 不会产生重复成员 SADD user:following:1001 user:2001 user:2002 SISMEMBER user:following:1001 user:2001 SCARD user:following:1001 # 求两人共同关注;生产环境应限制参与集合和结果规模 SINTER user:following:1001 user:following:1002 # 短生命周期去重:同一事件在 10 分钟窗口内只处理一次 SADD dedup:payment:2026-07-30 event:8f9c EXPIRE dedup:payment:2026-07-30 600 ``` `SADD` 的幂等特性只保证同一 Set 内不重复,不等于完整业务幂等:事件实际处理结果仍应在数据库或可靠状态中留痕。首次 `SADD` 与 `EXPIRE` 分开会遗留无 TTL Key;有严格窗口要求时,应通过 Lua 在首次加入时设置过期时间。 ```lua -- 返回 1 表示该事件第一次进入当前去重窗口,0 表示重复 local added = redis.call('sadd', KEYS[1], ARGV[1]) -- 仅在该 Set 从空变为第一个成员时初始化窗口 TTL,后续成员不续期 if added == 1 and redis.call('scard', KEYS[1]) == 1 then redis.call('expire', KEYS[1], ARGV[2]) end return added ``` ### 2. 集合运算与大集合风险 `SINTER`、`SUNION`、`SDIFF` 会在 Redis 端计算并把结果返回客户端。成员很多时,计算和网络返回都会拉长命令执行时间;不要将它们直接用于无上限的社交图谱或在线主链路。 - 只需判断两个集合是否有交集或交集数量时,优先使用 `SINTERCARD`,避免传回完整成员列表。 - 遍历大集合用 `SSCAN` 分批进行;`SMEMBERS` 只用于成员数有明确上限的 Key。 - 需要把结果保存为新集合时,可使用 `SINTERSTORE` 等命令,但必须为结果 Key 设置 TTL,并评估额外内存占用。 - Redis Cluster 中多 Key 集合命令要求相关 Key 位于同一哈希槽;可用 `user:{1001}:following` 这类 hash tag 设计同槽 Key,但不要为了同槽而把无关的大量数据绑到单一分片。 ### 3. Set 的生产边界 - Set 的成员没有独立 TTL;需要逐成员过期时,应使用 ZSet 以过期时间作为 score 并定期清理,或另建过期索引。 - 抽奖可使用 `SPOP key count` 原子移除并返回成员,但开奖、审计和派奖结果必须落入持久化系统。 - 高基数去重会消耗大量内存;仅需近似去重计数时,考虑 HyperLogLog,而不是无限累积 Set。 ## 五、ZSet:按分数排序的唯一成员集合 ZSet(有序集合)为每个唯一 member 关联一个 `double` 类型的 score,并按 **score 升序、member 字典序**排序。它适合排行榜、按时间排序的动态集合、优先级队列和延迟任务。按 member 查 score 与按 score 范围查成员都高效;底层跳表、字典和紧凑编码见 [下一篇](./01-data-structures-2.md)。 ### 1. 实时排行榜 ```bash # 写入或更新分数;同一 member 不会重复出现 ZADD leaderboard:daily:2026-07-30 9500 user:1001 ZINCRBY leaderboard:daily:2026-07-30 10 user:1001 # Top 10:Redis 6.2+ 推荐统一使用 ZRANGE ... REV ZRANGE leaderboard:daily:2026-07-30 0 9 REV WITHSCORES # 查询用户倒序排名;返回 0 表示第一名 ZREVRANK leaderboard:daily:2026-07-30 user:1001 ZSCORE leaderboard:daily:2026-07-30 user:1001 ``` 榜单 Key 应有业务周期,例如按天、周或赛季分桶,并设置清理策略。不要让一个永久 ZSet 无限增长;对历史榜单应归档到数据库或离线系统。分数相同时 Redis 会按 member 字典序稳定排序,若产品需要“先达到分数者靠前”等规则,应将该规则编码到 score 或在应用层定义并验证排序语义。 ### 2. 时间线与范围分页 ```bash # score 使用毫秒时间戳,member 使用唯一事件 ID ZADD feed:user:1001 1785398400123 post:9001 ZADD feed:user:1001 1785398460456 post:9002 # 获取指定时间范围内的事件;LIMIT 是偏移分页,不适合很深的页码 ZRANGEBYSCORE feed:user:1001 1785398400000 1785399000000 LIMIT 0 20 ``` ZSet score 是双精度浮点数;整数在 `2^53` 以内可精确表示,当前毫秒和微秒时间戳通常安全,纳秒时间戳则不适合作为精确 score。高并发下多个事件可能具有相同时间戳,游标分页应同时记录 score 与 member,避免仅依赖时间戳而漏读或重复;超大规模 Feed 通常还需扇出、分桶和冷热分层设计。 ### 3. 延迟任务:先原子认领,再执行业务 ```bash # score 是应执行的秒级时间戳;member 必须是唯一任务 ID ZADD delay:email 1785398400 task:e-1001 ZRANGEBYSCORE delay:email -inf 1785398400 LIMIT 0 100 ``` “先 `ZRANGEBYSCORE` 查询到期任务,再 `ZREM` 删除”不是安全消费者模型:多个消费者可能同时查询到同一批任务。应使用 Lua 在一次原子执行中查询并移除,再由应用执行业务;任务执行仍必须幂等,并应将失败任务转入重试/死信流程。 ```lua -- KEYS[1]:延迟队列;ARGV[1]:当前秒;ARGV[2]:批量上限 local tasks = redis.call('zrangebyscore', KEYS[1], '-inf', ARGV[1], 'LIMIT', 0, ARGV[2]) for _, task in ipairs(tasks) do redis.call('zrem', KEYS[1], task) end return tasks ``` ### 4. ZSet 的生产边界 - `ZRANGE`、`ZRANGEBYSCORE` 都要限制返回范围;按 score 查询通常是 `O(log N + M)`,其中 `M` 是返回元素数。 - ZSet 没有成员级 TTL。时间线、延迟任务等场景要定期清理过期 score,例如使用有界保留窗口或 `ZREMRANGEBYSCORE`;清理范围也应受控。 - 不要将完整 JSON 放进 member;member 应使用短而稳定的 ID,详情从缓存或数据库按需读取。 - ZSet 可做轻量级延迟队列,但不提供消费组、确认、持久化投递语义与积压治理;重要任务优先使用 Stream 或专业消息队列。 ## 结构选择的反例与改进 | 反例 | 问题 | 改进 | |---|---|---| | `SET user:1001 <巨型 JSON>`,仅改一个字段也全量写回 | 写放大、并发覆盖、Big Key 风险 | 高更新字段使用 Hash 或单独 String | | `HSET order:all ...` 将所有订单塞进一个 Hash | 无法按订单独立 TTL,形成热点和 Big Key | 每个订单独立 Key,权威数据在数据库 | | 用 List 存无限增长的操作日志 | 内存不可控,查询与恢复成本持续增加 | 落库/日志系统;List 仅保留有界最近数据 | | `SMEMBERS user:all` 读取无上限用户集合 | 大返回与网络阻塞,主线程耗时不可控 | 使用 `SSCAN` 分批,或将关系数据分桶/落库 | | 用 ZSet 的“查询再删除”消费延迟任务 | 多消费者可能重复领取同一任务 | Lua 原子认领 + 业务幂等 + 重试/死信机制 | | `BLPOP` 消费订单创建后直接扣款 | 消费者崩溃会丢消息,且缺乏确认与重放 | 使用 Stream/MQ,并让业务消费幂等 | ## 设计检查清单 提交 Redis 方案前,逐项确认: - [ ] Key 是否有业务前缀、实体语义和稳定标识? - [ ] 是否设置 TTL;若不设置,是否有明确的容量与清理策略? - [ ] 单个值、Hash 字段数、List 长度、Set/ZSet 成员数是否有上限? - [ ] 是否只使用所需范围的读取命令,避免大返回? - [ ] 多步“读—判断—写”是否需要 Lua 保证 Redis 内原子性? - [ ] 跨 Key 集合运算在 Redis Cluster 中是否保证同槽? - [ ] Redis 故障、缓存丢失或重复消费时,业务能否恢复且保持正确? ## 本章小结 - **String** 是缓存、令牌和计数的通用选择;整对象缓存应控制大小和 TTL。 - **Hash** 适合字段级读写,但字段 TTL 不独立,不能用它承载无限扩张的数据集合。 - **List** 擅长有界的顺序记录与简单队列;可靠消息需要确认、重试、幂等与积压治理。 - **Set** 解决无序去重与集合关系问题;大集合需要避免全量成员返回。 - **ZSet** 为唯一成员提供排序、排名与分数范围检索;排行榜、时间线和延迟任务必须控制规模与消费语义。 - 数据结构选型始终与 TTL、Key 上限、原子边界和故障恢复一起设计。 --- 相关阅读:[00 - Redis 概述](./00-overview.md)|[01 - Redis 底层数据结构](./01-data-structures-2.md)|[旧版数据结构与底层实现](./01-data-structures.md)|[06 - 缓存问题](./06-cache-problems.md)|[08 - 事务与 Lua](./08-transaction-lua.md)
预览
发布文章
添加摘要让读者更快了解文章内容
取消
确认发布
AI 写作助手
输入一个主题,AI 将为你生成一篇 Markdown 博客文章
AI 正在写作中...
取消
开始生成
AI 优化助手
描述你的修改需求,AI 将在原文基础上进行补充或微调
AI 正在优化中...
取消
开始优化
画布
从已有图里选
✕
图名
保存后生成 /images/excalidraw/<图名>.svg(只能用字母、数字、短横线、下划线、点)
取消
保存并插入