知序
返回
保存草稿
发布
H1
H2
H3
1
2
3
Excalidraw 图
AI 写作
AI 优化
目录
输入内容后显示目录
Markdown
# 01 - 概述与核心概念 ## Ignite 是什么 Apache Ignite 是一个分布式内存计算平台,可以按需切换角色:内存数据库、数据网格、分布式缓存、计算网格。 ``` 核心能力: - 内存数据库(IMDB):纯内存模式,微秒级读写 - 持久化数据库:开启原生持久化后,变成可扩展的 SQL 数据库 - 分布式缓存:JCache 标准,提供过期、淘汰、持久化 - 计算网格:将计算逻辑推到数据所在的节点执行(并置计算) - 流处理:内置流处理和数据管道能力 ``` ### Ignite 的定位:四合一 ``` 一个 Ignite 集群,同时承担四种角色(按需组合): ┌────────────────────────────────────────────────────┐ │ Apache Ignite │ │ │ │ ┌──────────┐ ┌──────────┐ ┌──────────┐ ┌──────┐ │ │ │ 内存数据库│ │ 分布式 │ │ SQL │ │ 计算 │ │ │ │ (IMDB) │ │ 缓存 │ │ 数据库 │ │ 网格 │ │ │ └──────────┘ └──────────┘ └──────────┘ └──────┘ │ │ │ │ 同一份数据,通过不同 API 访问 │ │ Key-Value API / SQL / Compute API │ └────────────────────────────────────────────────────┘ ``` ## Ignite vs Redis:关键区别 ``` 维度 Ignite Redis ────────────────────────────────────────────────────────────────── 架构 对等架构(P2P),无中心节点 主从/集群(有 Master/Slave) 数据模型 Key-Value + SQL + 对象 Key-Value + 多种数据结构 持久化 原生持久化(开启即 WAL + 磁盘) RDB 快照 + AOF 日志 存储层级 堆外内存(JVM外) + 磁盘 纯内存(数据全在内存中) Java 集成 极深(原生 API、Spring、SQL) 较浅(Jedis/Lettuce/JRedis) 事务 ACID(MVCC + 2PC) MULTI/EXEC(非 ACID) 一致性 可配:强一致/最终一致 最终一致性(AP 系统) 计算能力 Compute Grid(函数推到数据端) Lua 脚本(有限) SQL 完整 ANSI SQL + JDBC 不支持(Redis Stack 有限 SQL) 扩展性 水平扩展,自动再平衡 分片(Cluster)+ 主从 典型场景 分布式缓存/内存计算/混合 OLTP/OLAP 缓存/计数器/排行榜/分布式锁 一句话总结: Redis 是"轻量级缓存+数据结构服务器",适用于高频读写的简单操作 Ignite 是"内存优先的分布式数据库",适用于需要 SQL/事务/计算密集型场景 ``` ### 什么时候用 Ignite 而不是 Redis? ``` ✅ 选 Ignite: - 需要 SQL 查询(不是 Redis Stack 那种有限 SQL) - 需要 ACID 事务(跨多条记录、跨多个节点) - 数据量太大,全内存放不下(Ignite 可以内存+磁盘) - 需要把计算逻辑推到数据端执行(避免网络搬运数据) - 已有大量 Java 生态,希望直接 ORM/Spring 集成 ✅ 选 Redis: - 简单的缓存加速,不需要复杂查询 - 需要原子数据结构(List/Set/ZSet/HyperLogLog) - 需要分布式锁(SETNX) - 需要发布订阅 / 消息队列(Stream) - 团队更熟 Redis,场景不复杂 ``` ## 核心概念 ### Data Grid vs Database ``` Ignite 可以工作在两种模式: 1. 纯内存模式(Native Persistence 关闭) - 数据全在内存 - 节点重启后数据全部丢失 - 适用于缓存、Session 存储、临时数据 2. 持久化模式(Native Persistence 开启) - 数据在内存 + 磁盘 - 内存不够时自动把冷数据换出到磁盘 - 节点重启后数据从磁盘恢复(不需要预热) - 变成一个真正的分布式数据库 ``` ### 固化内存(Ignite 的独有概念) ``` 固化内存(Durable Memory)是 Ignite 最核心的概念。 传统 Java 应用的数据存储位置: JVM 堆内存 ← 受 GC 影响,堆很大时 Full GC 导致长时间停顿 堆外内存 ← 不受 GC,但需要手动管理,容易内存泄漏 Ignite 的固化内存: 用户数据存在 JVM 堆外 索引也存在堆外(避免 GC) 但应用程序可以像操作堆内对象一样通过 API 访问 (Ignite 内部用 sun.misc.Unsafe 管理堆外内存) 好处: 1. 不受 JVM GC 影响(数据量大也不会有长停顿) 2. 可以存储远超 JVM 堆大小的数据(堆 8GB,但数据 100GB 没问题) 3. 重启时如果开了持久化,直接从磁盘读回,无需预热 ``` ### Cache(缓存区) ``` Ignite 中每个 Cache 类似 Redis 的一个命名空间或 MySQL 的 Database: Cache "users" → 用户数据,按 user_id 分区 Cache "orders" → 订单数据,按 user_id 分区(与 users 并置) Cache "products" → 商品数据 Cache 的配置选项: - Cache Mode:PARTITIONED(分区)/ REPLICATED(复制)/ LOCAL(本地) - Atomicity Mode:ATOMIC(原子操作)/ TRANSACTIONAL(支持事务) - Backups:副本数(默认 0,生产至少 1) - Affinity Key:亲和键(控制哪些 key 放在同一分区) ``` ### Cluster Node(集群节点) ``` Ignite 集群中的每个 JVM 进程就是一个节点。 节点类型: Server Node(服务端节点): - 存储数据 - 参与计算 - 集群的核心组成部分 Client Node(客户端节点): - 不存储数据 - 可以参与计算(把计算任务发给 Server) - 用于应用接入 区别类比: Server Node = Redis 的 Master/Slave 节点 Client Node = Redis 的 Client + 部分计算能力 ``` ## 整体架构 ``` ┌────────────────────────────────────────────────────────────┐ │ Ignite Cluster │ │ │ │ ┌──────────────────┐ ┌──────────────────┐ │ │ │ Server Node 1 │ │ Server Node 2 │ │ │ │ │ │ │ │ │ │ Cache: users │ │ Cache: users │ │ │ │ ├── Partition 0 │ │ ├── Partition 1 │ │ │ │ │ (Primary) │ │ │ (Primary) │ │ │ │ ├── Partition 3 │ │ ├── Partition 2 │ │ │ │ │ (Backup) │ │ │ (Backup) │ │ │ │ │ │ │ │ │ │ │ │ 固化内存 + 磁盘 │ │ 固化内存 + 磁盘 │ │ │ └──────────────────┘ └──────────────────┘ │ │ │ │ ┌──────────────────┐ │ │ │ Client Node │ ← 不存数据,接收请求并路由到 Server │ │ └──────────────────┘ │ └────────────────────────────────────────────────────────────┘ ``` ## 本章小结 - Ignite 是多角色平台:可当内存数据库、缓存、SQL 数据库、计算网格 - 核心区别于 Redis:支持 SQL + ACID 事务 + 计算网格 + 持久化 - 固化内存是核心:数据在 JVM 堆外,不受 GC 影响,可超堆大小 - Cache 是基本存储单元,支持分区/复制/本地三种模式 - Ignite 填补了"Redis 太轻量、MySQL 太重"之间的空白 ## 思考题 1. 什么场景下 Ignite 比 Redis 更合适? 2. 固化内存解决了什么痛点? --- 下一篇:[02 - 集群架构与数据分区](./02-architecture.md)
预览
发布文章
添加摘要让读者更快了解文章内容
取消
确认发布
AI 写作助手
输入一个主题,AI 将为你生成一篇 Markdown 博客文章
AI 正在写作中...
取消
开始生成
AI 优化助手
描述你的修改需求,AI 将在原文基础上进行补充或微调
AI 正在优化中...
取消
开始优化
画布
从已有图里选
✕
图名
保存后生成 /images/excalidraw/<图名>.svg(只能用字母、数字、短横线、下划线、点)
取消
保存并插入