知序
返回
保存草稿
发布
H1
H2
H3
1
2
3
Excalidraw 图
AI 写作
AI 优化
目录
输入内容后显示目录
Markdown
# 01 - Redis 底层数据结构:编码、内存与复杂度 > Redis 的“数据类型”是 String、Hash、List、Set、ZSet;它们不是固定的一种内存实现。Redis 会依据元素数量、元素大小和值的特征,在紧凑编码与通用数据结构之间切换。这种动态编码是 Redis 在性能与内存之间取得平衡的关键。 ## 本篇目标 - 理解 RedisObject 如何将类型、编码和实际数据组织在一起; - 区分 SDS、listpack、intset、dict、quicklist、skiplist 的适用场景; - 能从命令复杂度推导线上风险,而不是只记“Redis 很快”; - 能使用只读诊断命令观察实际编码,并据此发现 Big Key 与错误选型。 ## 一、全景:逻辑类型不等于物理编码  *图:命令、逻辑类型、内部编码到实际底层结构的映射* ```text 业务命令 ──→ Redis 逻辑类型 ──→ 内部编码 ──→ 实际底层结构 SET String int / embstr / raw 整数或 SDS HSET Hash listpack / hashtable 紧凑连续内存或 dict LPUSH List quicklist 双向链表 + listpack SADD Set intset / listpack / dict 有序整数数组或集合编码 ZADD ZSet listpack / skiplist 紧凑连续内存或 dict + 跳表 ``` 编码由 Redis 自动选择和转换,应用程序不应依赖某个编码来保证业务正确性。实际阈值随 Redis 版本和配置变化,部署环境应以 `redis.conf` 和 `CONFIG GET` 的结果为准。 ## 二、RedisObject:类型与编码的统一外壳 Redis 的键和值以对象形式存在。概念上,一个对象保存三类关键信息:  *图:redisObject 的 type、encoding、lru/lfu 与 ptr 字段* ```text redisObject ├── type 逻辑类型:string / list / hash / set / zset 等 ├── encoding 物理编码:int、embstr、raw、listpack、hashtable、skiplist 等 ├── lru/lfu 访问时间或访问频次信息,供内存淘汰策略使用 └── ptr 指向实际数据结构 ``` `type` 决定用户可执行什么命令,`encoding` 决定实际内存布局和操作路径。例如同样是 Hash,小而短的字段集合可使用 listpack;字段数量或大小跨过配置阈值后会转为 hashtable。转换通常是单向的:即使后来删掉大量元素,也不应假设它会自动回到紧凑编码。 可用以下命令观察对象,不要以 `DEBUG OBJECT` 等调试命令替代常规生产巡检: ```bash OBJECT ENCODING user:profile:1001 MEMORY USAGE user:profile:1001 TYPE user:profile:1001 ``` `MEMORY USAGE` 反映 Redis 分配器视角的近似内存,并不等同于业务有效载荷大小;Key、对象头、指针、碎片和复制缓冲区都会带来额外成本。 ## 三、SDS:二进制安全的动态字符串 SDS(Simple Dynamic String)是 String 的主要底层字符串表示。它额外保存已用长度与已分配长度,因此获取长度通常为 `O(1)`,可存储 `\0` 字节,并通过预分配降低连续追加时的重分配频率。  *图:SDS 的 len、alloc、flags 与 buf 字段排布* ```text 概念布局: ┌─────────────── SDS header ──────────────┬──────────────┐ │ len:已使用字节数 │ alloc:可用容量 │ flags │ buf[] │ \0 │ └─────────────────────────────────────────┴──────────────┘ ``` String 常见编码:`int` 用于可表示为整数的值;`embstr` 适合短字符串,让对象与 SDS 紧凑分配;更长或可修改的值使用 `raw` SDS。无论编码为何种,超大 String 都会放大网络传输、复制、持久化和删除成本。 ## 四、listpack:小集合的紧凑连续存储 listpack 是 Redis 用于小型 Hash、ZSet、Set(取决于版本和配置)及 quicklist 节点的紧凑连续内存格式。它以连续字节保存多个 entry,避免传统双向链表或哈希节点中的多个指针开销,因此小数据集具有更好的内存局部性。  *图:listpack 从 total-bytes 到 end marker 的整体布局* ```text ┌─────────────── listpack ───────────────────────────────────┐ │ total-bytes │ entry-1 │ entry-2 │ ... │ entry-N │ end marker │ └─────────────────────────────────────────────────────────────┘ ``` 紧凑布局的代价是中间插入、删除可能移动后续字节;元素很大或数量很多时,Redis 会改用更适合规模化访问的编码。应通过控制对象规模获益,而不是把大量数据强行塞进小结构。 典型相关配置(名称和默认值以运行版本为准): ```bash CONFIG GET hash-max-listpack-* CONFIG GET zset-max-listpack-* CONFIG GET set-max-listpack-* CONFIG GET list-max-listpack-size ``` 不要为了“始终保持 listpack”而盲目调大阈值。阈值过大可能让单次修改或遍历连续内存的成本升高,也会使延迟更不稳定;调参前应在接近生产的数据分布上压测。 ## 五、intset:小型纯整数 Set 当 Set 的成员都是整数且数量较小时,Redis 可使用 intset。它以有序连续数组保存整数,查找使用二分搜索,内存比为每个成员分配哈希节点更紧凑。  *图:intset 的 encoding、length 与升序 contents* ```text intset ├── encoding:当前整数宽度(16 / 32 / 64 位) ├── length:元素数 └── contents:按升序排列的整数数组 ``` 插入超出当前宽度范围的整数时,intset 会升级为更宽的编码,并迁移原有元素;升级不可逆。插入非整数成员或成员数超过阈值后,则会转为通用集合编码。它适合少量数字 ID,但不能据此把关系集合设计成无限增长的单 Key。 ## 六、dict:哈希表与渐进式 rehash dict 是 Redis 的通用字典实现,广泛服务于全局键空间、Hash、Set 以及 ZSet 的 member 到 score 索引。它通过哈希函数定位 bucket,以链式结构处理冲突,平均查找、插入和删除通常为 `O(1)`。 扩容或缩容若一次性搬迁所有 bucket,会阻塞单线程命令执行。Redis 因此同时维护旧表与新表,采用**渐进式 rehash**:每次正常字典操作或后台定时任务仅迁移少量 bucket。 ```text 初始:ht[0] 正在提供服务,ht[1] 为空 触发扩/缩容:分配 ht[1],rehashidx = 0 渐进迁移:每次操作迁移 ht[0][rehashidx] 的 bucket,rehashidx 递增 迁移期间:查询先查 ht[0] 再查 ht[1];新增元素只写 ht[1] 结束:释放旧 ht[0],ht[1] 成为新的 ht[0] ``` 渐进式 rehash 把大停顿拆分到多个操作中,但不意味着超大 Hash/Set 完全无风险:单个 bucket 链过长、一次迁移的数据过大、频繁扩缩容都会增加尾延迟。业务侧仍应控制 Key 的元素规模与增长速率。 ## 七、quicklist:兼顾两端操作与紧凑内存的 List Redis List 的现代实现是 quicklist:整体是双向链表,但每个节点保存一个 listpack,而非让每个元素都成为独立链表节点。  [打开可编辑的 Excalidraw 源图](/images/excalidraw/01-data-structures-2-diagram.excalidraw) 这个设计既减少小元素的指针与分配器开销,又保留两端 `LPUSH`/`RPOP` 等操作的高效性。列表中间位置访问、查找或删除依然可能是 `O(N)`;quicklist 不是把 List 变成随机访问数组。超长队列或列表要使用明确长度上限与消费/归档策略。 ## 八、skiplist:ZSet 的有序索引 当 ZSet 不再适合紧凑编码时,Redis 会同时维护: - **dict:**`member → score`,用于按成员快速定位; - **skiplist:**按 `(score, member)` 排序,支持排名与分数范围遍历。  *图:跳表 Level 2 / 1 / 0 三层的节点分布* ```text Level 2: head ───────────→ (50, user:c) ─────────────→ nil Level 1: head ─→ (20, user:a) ─→ (50, user:c) ───────→ nil Level 0: head ─→ (20, user:a) ─→ (35, user:b) ─→ (50, user:c) → nil ```  跳表通过随机层高构建多级索引,平均查找、插入、删除为 `O(log N)`;底层链表让范围查询从定位起点后顺序输出。每层的 span(跨度)可用于累计排名,因此 `ZRANK` 等命令不需要遍历所有成员。 跳表不负责按 member 的直接查询,这正是 dict 的职责。双结构是用额外元数据换取两类访问路径的效率;因此超大 ZSet 的内存成本、复制和持久化成本都必须纳入容量预算。 ## 九、从复杂度识别线上风险 复杂度描述的是数据结构操作数量,不包括网络、序列化、持久化和复制的全部成本;但它仍是识别危险命令的第一道筛子。 | 命令类别 | 常见复杂度 | 主要风险 | 控制方式 | |---|---|---|---| | `GET` / `SET` / `HGET` / `SISMEMBER` / `ZSCORE` | 平均 `O(1)` | 大 value 的传输与复制 | 控制单值大小 | | `LPUSH` / `RPOP` | 通常 `O(1)` | 超长 List 的内存与积压 | 长度上限、及时消费 | | `ZRANK` / `ZADD` / `ZREM` | `O(log N)` | 超大 ZSet 的内存与写放大 | 分桶、生命周期管理 | | `ZRANGEBYSCORE` | `O(log N + M)` | 返回 `M` 过大 | 强制 `LIMIT` | | `SMEMBERS` / `HGETALL` / `LRANGE 0 -1` | `O(N)` | 单线程处理和网络大返回 | 上限校验、SCAN 或分页 | | `KEYS *` | `O(N)` | 阻塞整个实例 | 生产禁用,使用 `SCAN` | | `DEL` 大 Key | 与对象释放有关 | 释放内存导致明显延迟 | 使用 `UNLINK` 异步回收并拆分 Key | `SCAN`、`HSCAN`、`SSCAN`、`ZSCAN` 是渐进式遍历接口,不保证严格快照:遍历中可能返回重复元素,也可能遗漏在迭代期间新增或删除的元素。治理脚本必须让处理逻辑幂等,不能把一次扫描结果当作强一致清单。 ## 十、观察与验证:从猜测到证据 排查结构与内存问题时,先在低峰或从库执行轻量、可控的观察,再逐步扩大范围: ```bash # 查看单 Key 的类型、编码和内存占用 TYPE user:profile:1001 OBJECT ENCODING user:profile:1001 MEMORY USAGE user:profile:1001 # 观察整体内存、碎片率和 Key 数量 INFO memory INFO keyspace # 分批扫描:COUNT 只是提示值,不是精确批次大小 SCAN 0 MATCH 'user:profile:*' COUNT 100 HSCAN user:profile:1001 0 COUNT 100 ``` 对生产实例运行 `redis-cli --bigkeys`、`MEMORY DOCTOR`、`SLOWLOG GET` 前,应评估版本、权限、实例负载与输出量。它们用于发现问题,不应替代容量告警、慢命令监控、热 Key 监控和定期数据治理。 ## 本章小结 - Redis 类型是业务接口,编码才决定内部内存布局;编码自动切换,应用不应依赖具体实现。 - **SDS** 服务二进制安全字符串;**listpack** 用连续内存降低小集合开销;**intset** 优化小型整数集合。 - **dict** 通过渐进式 rehash 降低扩缩容停顿;**quicklist** 结合双端操作与紧凑节点;**skiplist + dict** 支撑 ZSet 的排序和按成员定位。 - `O(1)` 不代表无代价:大 value、大返回、大 Key、复制和持久化都可能造成延迟尖刺。 - 结构选型必须配合有界 Key、限制返回范围、TTL、监控和故障恢复设计。 --- 相关阅读:[01 - Redis 数据结构(一):业务选型与常用结构](./01-data-structures-1.md)|[03 - 内存管理与淘汰策略](./03-memory-eviction.md)|[09 - I/O 模型与网络通信](./09-io-model.md)|[10 - 热 Key 与 Big Key 问题](./10-hotkey-bigkey.md)
预览
发布文章
添加摘要让读者更快了解文章内容
取消
确认发布
AI 写作助手
输入一个主题,AI 将为你生成一篇 Markdown 博客文章
AI 正在写作中...
取消
开始生成
AI 优化助手
描述你的修改需求,AI 将在原文基础上进行补充或微调
AI 正在优化中...
取消
开始优化
画布
从已有图里选
✕
图名
保存后生成 /images/excalidraw/<图名>.svg(只能用字母、数字、短横线、下划线、点)
取消
保存并插入