知序
返回
保存草稿
发布
H1
H2
H3
1
2
3
Excalidraw 图
AI 写作
AI 优化
目录
输入内容后显示目录
Markdown
# 03 - 内存管理与淘汰策略 ## 过期键的删除策略 有惰性删除和定时删除两种策略 - 惰性删除指的是访问该key时才检查是否过期,过期就删除。 ``` 优点:对 CPU 友好(不主动扫描) 缺点:过期 key 如果一直不被访问,会一直占用内存(内存泄漏风险) 示例: SET session:abc123 "user_data" EX 1800 # 30 分钟过期 30 分钟后,key 已过期但还在内存中 下次 GET session:abc123 时,Redis 发现已过期,删除并返回 nil ``` - 定期删除 ``` Redis 会在周期性任务中,从带过期时间的 Key 集合中抽样检查并删除已过期的 Key。 > 下方的“100ms、抽取 20 个、过期比例 25%”用于帮助理解主动过期的基本思路;实际执行频率、采样数量和单次清理时间预算受 Redis 版本、`hz`、`active-expire-effort` 与实例负载影响,不能把它当成所有环境中的固定参数。 简化过程: 1. 从过期字典中随机抽取一批 key 2. 删除其中已过期的 key 3. 如果过期 key 占比很高,继续在本轮清理中抽样 4. 否则等待下一轮周期性检查 优点:兼顾 CPU 和内存 缺点:不能保证在过期时刻立刻回收所有物理内存 ``` 定期删除执行流程:  ### 惰性删除 + 定期删除协作  *图:惰性删除与主动过期各自的分支及互补关系* ```text 两种策略协作示意图: 客户端 GET key ──→ 惰性删除检查 ──→ 已过期? ──是→ 删除,返回 nil ──否→ 返回数据 周期性任务 ──→ 主动过期扫描 ──→ 抽样检查带 TTL 的 Key ──→ 过期比例高?──是→ 继续本轮清理 ──否→ 等待下一轮 两者互补关系: 惰性删除:保证被访问的过期 Key 不会再作为有效数据返回 主动过期:逐步回收长期未访问的过期 Key,避免长期占用内存 两者结合:避免全量扫描,在 CPU 与内存回收及时性之间折中 ```  ### 过期治理:逻辑失效不等于物理内存立即回收 TTL 到期后,Redis 在访问路径或主动过期任务中发现 Key 已过期,就会让它对客户端不可见;但未被访问的过期 Key 可能要等到后续主动扫描才真正从内存结构中删除。因此,**TTL 是生命周期规则,不是精确的定时删除器**。 ```bash # 观察主动过期相关配置;具体默认值随 Redis 版本和部署配置变化 CONFIG GET hz CONFIG GET active-expire-effort # 观察已过期 Key 的回收数量和数据库中的 Key/过期 Key 规模 INFO stats # expired_keys INFO keyspace # keys、expires、avg_ttl ``` - `hz` 影响 Redis 周期性任务的频率;调高会提高后台任务的调度频率,也会带来更多 CPU 开销。 - `active-expire-effort` 控制主动过期任务的工作强度;数值越高,过期内存回收通常越积极,但同样会挤占命令处理时间。 - 不要为了“立即释放内存”盲目拉高参数。应先检查是否有大量 Key 同时过期、Big Key 或不合理的 TTL 分布。 - 同一批缓存设置相同 TTL 容易集中失效并造成回源尖峰。缓存 TTL 应加入合理随机抖动,例如 `300 + random(0, 60)` 秒;抖动范围要结合业务允许的陈旧窗口决定。 ## 内存淘汰策略(8 种) 当 Redis 为写命令分配新内存后可能超过 `maxmemory` 时,会按 `maxmemory-policy` 尝试淘汰 Key。淘汰是**写入触发的内存保护机制**,不是数据可靠性方案:数据能否恢复,仍由数据库事实来源、持久化、复制和故障恢复设计决定。 ```bash # 示例:4 GB 仅是 Redis 的逻辑上限,不等于可以把机器内存全部分给 Redis maxmemory 4gb maxmemory-policy allkeys-lru ``` ### 8 种策略详解 ```text 不淘汰(默认): noeviction:不淘汰 Key;需要额外内存的写命令通常返回 OOM command not allowed when used memory > 'maxmemory' 说明:读请求通常仍可执行;它适合由应用明确处理写失败的场景, 但不等价于“数据不会丢失”。 针对设置了过期时间的 Key: volatile-lru:淘汰最近最少使用的带 TTL Key volatile-lfu:淘汰使用频率最低的带 TTL Key(Redis 4.0+) volatile-random:随机淘汰带 TTL Key volatile-ttl:淘汰剩余存活时间最短的带 TTL Key 针对所有 Key: allkeys-lru:淘汰所有 Key 中最近最少使用的 Key allkeys-lfu:淘汰所有 Key 中使用频率最低的 Key(Redis 4.0+) allkeys-random:随机淘汰所有 Key ``` > `volatile-*` 只能从带 TTL 的 Key 中挑选候选项。若没有候选 Key,或候选 Key 释放的空间不足,Redis 仍无法满足新写入,最终同样会报 OOM。不要把它当作永久 Key 的绝对保护机制。 ### 如何选择淘汰策略? | 场景 | 推荐 | 原因与边界 | |---|---|---| | 纯缓存,数据可从数据库或下游回源 | `allkeys-lru` 或 `allkeys-lfu` | 一般从 `allkeys-lru` 起步;热点稳定、冷热分明时压测 `allkeys-lfu`。 | | 缓存与重要状态混用 | 优先拆分实例;短期内可评估 `volatile-lru/lfu` | 只靠 TTL 区分候选集有 OOM 风险;重要状态应有持久化与恢复路径。 | | 写入不可接受因淘汰而静默丢失 | `noeviction` + 应用限流/降级 | 必须监控 OOM 写失败,且不要把 Redis 作为唯一事实来源。 | | 访问概率接近均匀、淘汰精度不重要 | `allkeys-random` | 策略简单,但通常不如 LRU/LFU 有效。 | 策略不能只凭经验选择。应以接近生产的 Key 大小、TTL 分布和冷热访问比例把实例压到目标水位,比较命中率、`evicted_keys`、P99 延迟及数据库回源压力,再决定 LRU 或 LFU。 ## LRU vs LFU  *图:近似 LRU/LFU 的采样淘汰流程与两者对比* ``` LRU(Least Recently Used,最近最少使用): 淘汰最久没有被访问的 key 问题:一个 key 历史上被访问了 1000 次,但最近 1 小时没访问 另一个 key 只被访问了 1 次,但是刚刚访问的 LRU 会淘汰前者,但前者其实是热点数据 LFU(Least Frequently Used,最少使用频率): 淘汰使用频率最低的 key 解决了 LRU 的问题,更适合有明显冷热数据的场景 Redis 的 LRU 是近似 LRU: 不维护完整的 LRU 链表(太耗内存) 每次淘汰时随机采样 N 个 key(默认 5 个),淘汰其中最久未使用的 maxmemory-samples 5 # 采样数量,越大越精确但越慢 LRU 时钟的实现: 每个 redisObject 有一个 24 位的 lru 字段,记录最近访问时间 精度为秒(LRU_CLOCK_RESOLUTION = 1000ms) 24 位最多记录 194 天,超过后会回绕(不影响近似 LRU 的正确性) Redis 的 LFU 实现(Morris Counter): LFU 不能简单地用计数器,因为历史访问次数会无限增长 Redis 用 Morris Counter(概率计数器): counter 值越大,增加的概率越小 counter < 5:每次访问必然 +1 counter = 100:每次访问有 1/100 的概率 +1 counter = 255(最大值):不再增加 同时 LFU 会随时间衰减(防止历史热点永远不被淘汰): lfu-decay-time 1 # 每分钟 counter 减少 1 距离上次访问越久,counter 衰减越多 LFU 的 lru 字段复用: 高 16 位:上次访问的分钟时间戳(用于计算衰减) 低 8 位:访问频率计数器(0~255) 近似 LRU 淘汰流程: ┌────────────────────────────────────────────────┐ │ 内存达到 maxmemory,需要淘汰 key │ └────────────────────┬───────────────────────────┘ ↓ ┌────────────────────────────────────────────────┐ │ 根据 maxmemory-policy 确定候选 key 范围 │ │ volatile-* → 只考虑设了过期时间的 key │ │ allkeys-* → 考虑所有 key │ └────────────────────┬───────────────────────────┘ ↓ ┌────────────────────────────────────────────────┐ │ 随机采样 N 个 key(maxmemory-samples,默认 5) │ └────────────────────┬───────────────────────────┘ ↓ ┌────────────────────────────────────────────────┐ │ 从采样中选出"最应该淘汰"的那个 key │ │ LRU:选 idle time 最长的(最久未访问) │ │ LFU:选 counter 最小的(访问频率最低) │ │ TTL:选剩余 TTL 最短的 │ │ RANDOM:随机选一个 │ └────────────────────┬───────────────────────────┘ ↓ ┌────────────────────────────────────────────────┐ │ 删除选中的 key,释放内存 │ │ 如果内存仍然不够,重复上述过程 │ └────────────────────────────────────────────────┘ LRU vs LFU 对比: LRU LFU ┌───────────────────────────────────────────────────────────┐ │ 淘汰依据 最近一次访问时间 访问频率 │ │ 记录方式 24 位时间戳 8 位 Morris 计数器 │ │ 问题 热点 key 偶尔没访问就被淘汰 历史热点难淘汰 │ │ 适用场景 访问模式随时间变化 有明显冷热数据 │ │ 计数器变化 每次访问刷新时间戳 概率性 +1 │ │ 衰减机制 无(纯时间戳) 每分钟 -1 │ └───────────────────────────────────────────────────────────┘ ```  ## 容量规划、内存水位与写入触顶 ### 1. 先区分四个内存指标 ```bash INFO memory ``` | 指标 | 含义 | 用途与注意事项 | |---|---|---| | `used_memory` | Redis 分配器统计的内存 | 判断数据集、对象元数据和分配器占用;是评估 `maxmemory` 的主要参考。 | | `used_memory_rss` | 操作系统为 Redis 进程实际映射的物理内存 | 通常包含碎片与页分配差异;它逼近机器真实 OOM 风险。 | | `mem_fragmentation_ratio` | `used_memory_rss / used_memory` | 持续偏高要排查碎片;数据量很小时该比值参考价值有限。 | | `mem_not_counted_for_evict` | 不纳入淘汰阈值计算的一部分内存 | 常与复制/AOF 等缓冲相关;即使 `used_memory` 未越过上限,也会消耗机器内存。 | `maxmemory` 不是服务器内存总量。除 Redis 数据集外,还要为操作系统、客户端输出缓冲区、复制 backlog、AOF 缓冲区、监控代理,以及 `BGSAVE` / AOF 重写 fork 后的 copy-on-write 峰值预留空间。写入高峰或大量页被修改时,fork 子进程会复制被修改的内存页,RSS 可能在短时间明显上升。  *图:机器总内存里除 maxmemory 之外的三块预留* ```text 机器总内存 ├── 操作系统与其他进程预留 ├── Redis maxmemory:常规数据集与对象开销 ├── Redis 非淘汰内存:复制/AOF/客户端缓冲等 └── fork 期间的 copy-on-write 峰值预留 ``` 容量预算应基于压测和线上数据分布,而非固定比例。至少验证:平均/最大 Key 大小、Key 数量、写入速率、过期分布、复制延迟、持久化重写期间 RSS 峰值,以及缓存失效时数据库可承受的回源流量。 ### 2. 内存满时会发生什么 当写命令需要更多内存并使实例越过 `maxmemory`,Redis 按淘汰策略尝试回收空间:  *图:超过 maxmemory 后淘汰、写入与 OOM 的分支* ```text 写命令申请内存 ↓ 超过 maxmemory?──否→ 正常执行 │ 是 ↓ 按 maxmemory-policy 选择并淘汰候选 Key ↓ 释放空间足够?──是→ 执行本次写入 │ 否 ↓ 返回 OOM 错误,应用必须限流、降级或改走恢复路径 ``` - `noeviction` 不会删除 Key;需要额外内存的写请求通常报 OOM,读请求通常仍可执行。 - `volatile-*` 仅淘汰带 TTL 的 Key。无候选 Key、候选 Key 太少或释放不够时同样报 OOM。 - `allkeys-*` 可以淘汰所有 Key,适合可回源缓存;被淘汰后会产生 cache miss,必须验证数据库与下游的回源承载能力。 - 任何淘汰策略都不能替代持久化、一致性和恢复设计。订单、支付等事实数据不能只存在 Redis 中。 ### 3. 内存水位与告警 告警应同时关注趋势、速率和业务影响,而不是只盯一个百分比: | 信号 | 说明 | 建议动作 | |---|---|---| | `used_memory / maxmemory` 持续升高 | 容量逼近上限 | 提前扩容/分片,定位增长 Key,不要等到 OOM。 | | `used_memory_rss` 接近机器内存 | 可能触发系统 OOM | 排查碎片、fork 峰值、缓冲区和其他进程;保留安全余量。 | | `evicted_keys` 持续增长 | 缓存容量不足或策略不匹配 | 评估命中率、回源压力、TTL 与容量;不是“正常现象”就可忽略。 | | `expired_keys` 突增 | 可能有集中失效 | 检查 TTL 抖动、批量预热和回源保护。 | | `keyspace_hits / (hits + misses)` 下降 | 缓存价值下降或发生穿透/失效 | 结合业务流量、慢查询和数据库 QPS 排查。 | | `SLOWLOG`、延迟、阻塞客户端增加 | 大 Key、重命令或异步释放积压风险 | 先定位命令和 Key,再治理,不要直接重启。 | ## 内存优化技巧 ```bash # 查看 Redis 分配器内存、RSS、碎片率和未纳入淘汰计算的缓冲区内存 INFO memory # used_memory:Redis 分配器统计的内存 # used_memory_rss:操作系统为 Redis 进程实际映射的物理内存 # mem_fragmentation_ratio:RSS / used_memory;需结合数据量和历史趋势判断 # mem_not_counted_for_evict:复制/AOF 等相关、未计入淘汰阈值的部分内存 # 查看单个 Key 的近似内存占用;排查前应先确认该 Key 的业务归属与大小上限 MEMORY USAGE key # 查看内存碎片率 INFO memory | grep mem_fragmentation_ratio # 自动碎片整理应写入 redis.conf 或通过 CONFIG SET 修改后验证,Redis 4.0+ CONFIG SET activedefrag yes CONFIG GET activedefrag ``` `mem_fragmentation_ratio` 持续偏高才需要治理;数据量很小、实例刚启动或分配器预留页都可能使该比值暂时偏高。优先分析 `used_memory` 与 RSS 的趋势、Big Key、频繁写删和 fork 峰值;生产环境不要把“重启 Redis”当作常规碎片整理手段,重启会带来缓存冷启动、回源洪峰和可用性风险。 ### 异步释放(lazyfree) ```bash 有些场景下,真正拖慢 Redis 的不是“查”,而是“删”。 比如: 1. 删除 big key 2. 淘汰 big key 3. 过期扫描到 big key 如果这些释放动作都在主线程同步完成 就可能明显阻塞事件循环 ``` ```bash Redis 提供了 lazyfree 机制,把真正的内存释放放到后台线程异步完成。 常见配置: lazyfree-lazy-eviction yes # 淘汰 key 时异步释放 lazyfree-lazy-expire yes # 过期 key 删除时异步释放 lazyfree-lazy-server-del yes # rename / unlink / 某些内部删除场景异步释放 replica-lazy-flush yes # 从节点全量同步前清空旧数据时,异步释放 ``` ```bash 面试里可以这么理解: 1. 主线程负责“把 key 从数据结构里摘掉” 2. 后台线程负责“慢慢回收这块大内存” 这样能明显减轻 big key 删除、淘汰、过期带来的阻塞 ``` ### 减少内存占用的方法 ``` 1. 使用合适的数据类型 存储用户信息:Hash 比多个 String 更省内存 2. 控制 key 的数量和大小 key 名不要太长:user:1001:profile 比 u:1001:p 多占内存 3. 利用 listpack 编码 Hash/ZSet/List 元素少时使用 listpack,比 hashtable/skiplist 省内存 适当调大阈值:hash-max-listpack-entries 256 4. 设置合理的过期时间 缓存数据一定要设置 TTL,避免内存无限增长 5. 使用压缩 大 String 可以在应用层压缩后存储 ``` ## 运行风险、故障处置与上线基线 ### 1. 常见运行风险 | 风险 | 现象 | 处理原则 | |---|---|---| | Big Key 同步删除或淘汰 | 延迟尖刺、慢日志、客户端超时 | 优先拆分 Key;清理时用 `UNLINK`,并开启合适的 lazyfree 配置。 | | 内存碎片或频繁写删 | RSS 持续高于数据集,机器内存紧张 | 开启并观察 active defrag;减少大对象和频繁扩缩容,必要时滚动迁移/扩容。 | | fork 的 copy-on-write 峰值 | `BGSAVE`/AOF 重写期间 RSS 上涨,甚至系统 OOM | 为峰值预留内存;避开高写入时段重写,控制大 Key 与写入突发。 | | 发生 swap | 延迟从毫秒级恶化到秒级 | 生产 Redis 通常应避免 swap;检查系统内存、`vm.overcommit_memory` 与实例容量。 | | 透明大页(THP) | fork、延迟和内存抖动更明显 | 按 Redis 部署规范禁用 THP,并通过操作系统配置长期生效。 | | 大批 Key 同时过期 | `expired_keys` 突增、缓存 miss 与数据库 QPS 上升 | TTL 加随机抖动;预热、限流、互斥重建或逻辑过期按场景组合。 | ### 2. 内存告警后的处置顺序 不要在内存告警时直接重启实例。重启会清空未持久化的数据、触发缓存冷启动,并可能把全部请求压向数据库。更安全的处置顺序是: 1. **止血:**根据业务优先级限流,暂停非关键批处理、预热和无关写入,保护数据库回源能力。 2. **确认水位:**检查 `INFO memory`、`INFO stats`、`INFO keyspace`、实例 RSS、`evicted_keys`、`expired_keys` 与 OOM 写失败。 3. **定位增长来源:**用受控的 `SCAN`、`MEMORY USAGE`、慢日志和业务指标定位异常 Key 前缀、Big Key、无限增长集合或 TTL 缺失。 4. **低风险释放:**对确认可删除的大对象优先使用 `UNLINK`;拆分或缩短非关键缓存的 TTL。删除前必须确认数据可回源或可重建。 5. **恢复容量:**按实际瓶颈选择扩容实例、增加分片、隔离缓存与状态数据;不要仅靠提高 `maxmemory` 掩盖机器内存不足。 6. **复盘验证:**观察命中率、P99 延迟、回源 QPS、淘汰量与 RSS 是否恢复稳定,并修复 TTL、Key 上限和容量告警阈值。 ### 3. 按场景设置基线 | 场景 | `maxmemory-policy` | TTL 与数据来源 | 必备保护 | |---|---|---|---| | 纯缓存 | `allkeys-lru` 或经压测验证的 `allkeys-lfu` | 全部缓存可从数据库/服务回源;TTL 加抖动 | 命中率、淘汰率、回源限流与热点保护。 | | 缓存 + 临时状态 | 尽量拆分实例;无法拆分时谨慎评估 `volatile-*` | 临时状态必须 TTL;重要状态有持久化副本 | 监控 TTL 候选集、OOM 写失败、复制和缓冲区内存。 | | 不可丢失写入 | 通常不应把 Redis 作为唯一事实库;必要时 `noeviction` | 事实落数据库/可靠日志;Redis 只存索引、加速或短期协调状态 | OOM 写失败处理、限流降级、持久化与故障恢复演练。 | ### 4. 上线检查清单 - [ ] 已明确每类 Key 的事实来源、TTL、最大大小和最大元素数。 - [ ] `maxmemory` 为操作系统、复制/AOF/客户端缓冲区及 fork 峰值预留了空间。 - [ ] 淘汰策略已用接近生产的冷热分布压测,并验证数据库回源承载力。 - [ ] 已监控内存水位、RSS、碎片率、命中率、`evicted_keys`、`expired_keys`、慢命令和 OOM 写失败。 - [ ] 已配置或验证 Big Key 治理、lazyfree、swap/THP、持久化和副本恢复策略。 - [ ] 已演练 Redis 不可用、缓存全失效、内存触顶和主从切换时的限流与降级。 ## 面试常见问题 **Q:Redis 的过期键是怎么删除的?** A:两类机制协作:① 惰性删除,访问 Key 时检查 TTL,过期则删除并返回不存在;② 主动过期,Redis 周期性从带 TTL 的 Key 中抽样清理已过期项。主动过期的频率、采样和时间预算受版本、`hz`、`active-expire-effort` 与负载影响,不应死记为固定“每 100ms 抽 20 个”。TTL 到期保证 Key 逻辑上不可见,但物理内存可能稍后才由主动扫描回收。 **Q:Redis 有哪些内存淘汰策略?生产环境推荐哪种?** A:策略分为 `noeviction`、仅从带 TTL Key 中选候选项的 `volatile-lru/lfu/random/ttl`,以及从所有 Key 中选候选项的 `allkeys-lru/lfu/random`。纯缓存通常从 `allkeys-lru` 起步,热点稳定且冷热分明时压测 `allkeys-lfu`;混合缓存与重要状态优先拆分实例,`volatile-*` 只能作为过渡方案,因为没有足够带 TTL 候选 Key 时仍会 OOM;不可丢失写入不应把 Redis 当唯一事实来源,必要时使用 `noeviction` 并让应用处理写失败。 **Q:LRU 和 LFU 的区别?Redis 用的是哪种?** A:LRU 按最近一次访问时间淘汰,适合访问模式随时间快速变化;LFU 按经概率计数与时间衰减后的访问频率淘汰,适合冷热分明且热点相对稳定的场景。Redis 两者都支持,LRU 为近似 LRU,通过采样而非完整链表选择候选项。是否用 LRU 还是 LFU 应以生产数据的冷热分布和压测结果为准。 --- 上一篇:[02 - 持久化:RDB 与 AOF](./02-persistence.md) | 下一篇:[04 - 高可用:主从与哨兵](./04-replication-sentinel.md)
预览
发布文章
添加摘要让读者更快了解文章内容
取消
确认发布
AI 写作助手
输入一个主题,AI 将为你生成一篇 Markdown 博客文章
AI 正在写作中...
取消
开始生成
AI 优化助手
描述你的修改需求,AI 将在原文基础上进行补充或微调
AI 正在优化中...
取消
开始优化
画布
从已有图里选
✕
图名
保存后生成 /images/excalidraw/<图名>.svg(只能用字母、数字、短横线、下划线、点)
取消
保存并插入