知序
返回
保存草稿
发布
H1
H2
H3
1
2
3
Excalidraw 图
AI 写作
AI 优化
目录
输入内容后显示目录
Markdown
# 03 - 存储引擎与持久化 ## 固化内存(Durable Memory) 固化内存(Durable Memory)是 Ignite 存储架构的核心概念,也是它与其他基于 JVM 的分布式缓存最本质的区别。传统 Java 缓存(如 Ehcache、Hazelcast)将数据直接存储在 JVM 堆中,受 GC 管理的制约——数据量一上去,Full GC 可能停顿几十秒甚至更久,严重影响应用响应时间。 Ignite 的做法是**将数据放在 JVM 堆外的"固化内存"区域**。当调用 `cache.put()` 时,数据先被序列化,然后写入堆外内存的 Page 中。堆外的数据对 JVM GC 完全不可见,因此无论缓存中存储了 10GB 还是 1TB 的数据,GC 停顿都不会随之恶化。这就像在 JVM 之外拥有一块自己的"不毛之地"——管理的职责从 GC 转移到了 Ignite 自己手上。 固化内存内部采用**页式管理**:内存被划分为固定大小的 Page(类似操作系统内存管理),数据在这些 Page 中以 B+树索引组织。当数据规模超出内存时(搭配原生持久化),冷数据 Page 可以被换出到磁盘,热数据 Page 保留在内存——这就是 Memory-Mapped File 思想的分布式实现。 工作原理: 传统 Java 对象: new User("张三", 25) → JVM 堆中分配内存 → 受 GC 管理 → 数据量大时 Full GC 停顿几十秒 Ignite 固化内存: cache.put("user_1", user) → 序列化 → 堆外内存页 → 不受 GC → 数据量多大都不影响 GC 架构对比: ┌─────────────────┐ ┌─────────────────────────────┐ │ JVM 堆内存 │ │ 固化内存(堆外) │ │ │ │ │ │ - 应用对象 │ │ ┌─────────────────────────┐ │ │ - GC 管理 │ │ │ Page 0 Page 1 Page 2 │ │ │ - 少量数据 │ │ │ (数据页,每页大小可配) │ │ │ │ │ ├─────────────────────────┤ │ │ │ │ │ 数据索引(B+树) │ │ │ │ │ └─────────────────────────┘ │ │ │ │ │ │ ≈ 2-8 GB │ │ 可以达到 TB 级别 │ └─────────────────┘ └─────────────────────────────┘ ``` ## 多层存储 Ignite 3.x 支持三种存储引擎,按表灵活配置: ``` 存储引擎对比: ┌──────────┬──────────────┬────────────┬──────────────────┐ │ 引擎 │ 存储位置 │ 延迟 │ 持久化 │ ├──────────┼──────────────┼────────────┼──────────────────┤ │ aimem │ 纯内存 │ 微秒级 │ 否(重启丢失) │ │ aipersist│ 内存优先+磁盘 │ 亚毫秒级 │ 是(WAL+磁盘) │ │ rocksdb │ 纯磁盘 │ 毫秒级 │ 是 │ └──────────┴──────────────┴────────────┴──────────────────┘ 同一集群中可以混合使用: 热数据表 → aimem(极速) 温数据表 → aipersist(快速+持久化) 冷数据表 → rocksdb(低成本持久化) ``` ## 原生持久化(Native Persistence) Ignite 2.x 中开启原生持久化后,Ignite 从"内存缓存"变成"真正的分布式数据库"。 ### 写入路径 ``` 开启了持久化的写入路径: 客户端写入 │ ▼ ┌───────────────┐ │ 固化内存 Page │ ← 先写入内存 └───────┬───────┘ │ ▼ ┌───────────────┐ │ WAL(预写日志)│ ← 追加到磁盘 WAL 文件 │ (wal/work/) │ 保证数据不丢失 └───────┬───────┘ │ │ 定时 checkpoint ▼ ┌───────────────┐ │ 磁盘数据文件 │ ← Page 刷到磁盘 │ (db/) │ └───────────────┘ ``` ``` 写入保证: WAL Mode 选项: DEFAULT — 默认,WAL 落盘后才返回成功 LOG_ONLY — WAL 写内存缓冲区就返回(可能丢数据) BACKGROUND — WAL 异步写盘 NONE — 不写 WAL(重启丢数据) 类比:WAL ≈ MySQL 的 redo log ``` ### 重启恢复 ``` Ignite 开启了持久化时的重启过程: 传统内存数据库:重启 → 内存空了 → 需要长时间预热(从外部数据源加载) Ignite 持久化:重启 → 直接从本地磁盘读取数据 → 即时可用 恢复过程: 1. 读取 checkpoint 记录,定位最新的数据文件版本 2. 从 WAL 中重放 checkpoint 之后的增量变更 3. 恢复完成,集群可用 时间:通常几秒到几分钟,取决于数据量和 WAL 大小 ``` ### checkpoint(检查点) checkpoint 是将内存中已被修改但尚未写入磁盘的"脏页"一次性刷入磁盘的过程。它的设计目标是在数据持久性和写入性能之间找到平衡——每次写入都直接写磁盘太慢,一直不写又太危险(宕机丢数据)。 Ignite 的 checkpoint 采用 **Copy-on-Write(写时复制)** 机制来避免检查点期间的写阻塞:当 checkpoint 开始时,Ignite 标记当前所有脏页为"检查点页",后续的写入操作不会原地修改这些页,而是分配到新页。这样,checkpoint 线程可以安心地把旧页写入磁盘,业务写入照常进行,互不干扰。 checkpoint 的触发条件通常有三个: - **定时触发**:`checkpointFrequency`(默认 180 秒),确保定期持久化 - **WAL 增长触发**:WAL 文件积累过多(日志太大意味着"磁盘数据和内存数据差了太多"),触发 checkpoint 来截断 WAL - **手动触发**:管理员主动执行 ``` checkpoint 是将内存中的脏页刷到磁盘的过程: 触发条件: - 时间间隔:checkpointFrequency(默认 180 秒) - WAL 大小:到达阈值后触发 - 脏页比例:超过一定比例 - 手动触发 checkpoint 期间: - 使用 Copy-on-Write 机制 - 写入操作不阻塞 - 更新写到新的 Page,checkpoint 写旧的 Page ``` ## 数据页与内存管理 ``` 固化内存的 Page: - 每页默认大小:可配置(默认根据内存大小自动选择) - 页有状态:free / data / dirty(被修改过未刷盘) - 页分配时从空闲列表中获取 内存管理: 如果纯内存模式: 内存 = 所有数据的存放地 内存满了 → 报错或淘汰 如果持久化模式: 内存 = 热数据缓存 磁盘 = 全量数据 内存不够时 → 把冷数据页换出到磁盘(类似 OS 的页面置换) 查询时如果数据不在内存 → 从磁盘加载 ``` ``` 内存使用监控: DataRegionMetrics 可以查看: - TotalAllocatedPages:已分配的页数 - TotalAllocatedSize:已分配的总大小 - OffHeapSize:堆外内存使用量 - OffheapUsedSize:实际使用的堆外内存 - PagesFillFactor:页填充率 - PhysicalMemorySize:物理内存大小 ``` ## 面试常见问题 **Q:Ignite 的固化内存是什么?和 JVM 堆内存什么区别?** A:固化内存在 JVM 堆外,不受 GC 影响。JVM 堆内存用于存应用对象,由 GC 管理,数据量大时 Full GC 导致长时间停顿。固化内存存用户数据,即使数据量达到 TB 级别也不影响 GC,解决了大数据量下的 JVM 内存管理问题。 **Q:开启原生持久化后,重启需要预热吗?** A:不需要。Ignite 开启持久化后,重启直接从本地磁盘读取数据,即时可用。相比传统纯内存数据库需要从外部数据源加载所有数据,Ignite 的恢复时间极短。加上 WAL 重放机制保证 checkpoint 之后的数据不丢失。 **Q:三种存储引擎各适用于什么场景?** A:aimem(纯内存)适合热缓存/Session 存储等可丢失数据;aipersist(内存优先+磁盘)适合需要持久化且低延迟的业务数据,是生产环境的默认选择;rocksdb(纯磁盘)适合归档数据、冷数据存储,成本最低。 --- 下一篇:[04 - 缓存与 JCache](./04-cache-jcache.md)
预览
发布文章
添加摘要让读者更快了解文章内容
取消
确认发布
AI 写作助手
输入一个主题,AI 将为你生成一篇 Markdown 博客文章
AI 正在写作中...
取消
开始生成
AI 优化助手
描述你的修改需求,AI 将在原文基础上进行补充或微调
AI 正在优化中...
取消
开始优化
画布
从已有图里选
✕
图名
保存后生成 /images/excalidraw/<图名>.svg(只能用字母、数字、短横线、下划线、点)
取消
保存并插入