知序
返回
保存草稿
发布
H1
H2
H3
1
2
3
Excalidraw 图
AI 写作
AI 优化
目录
输入内容后显示目录
Markdown
# 05 - SQL 与索引 ## Ignite 的 SQL 能力 Ignite 支持完整的 ANSI-99 SQL,通过 JDBC/ODBC 驱动访问。 ``` Ignite SQL 的特点: ✅ 支持:JOIN、GROUP BY、ORDER BY、HAVING、子查询、UNION、DISTINCT ✅ 支持:DDL(CREATE/DROP TABLE)、DML(INSERT/UPDATE/DELETE/SELECT) ✅ 支持:JDBC 标准协议(任何支持 JDBC 的工具都能连) ❌ 不支持:外键约束 ⚠️ 有限支持:唯一约束(仅主键保证唯一) ``` ### 定义 SQL 表 ```java // 方式 1:通过注解定义 class User { @QuerySqlField(index = true) private String id; @QuerySqlField private String name; @QuerySqlField(index = true) private int age; } // 方式 2:通过 DDL 创建 ignite.sql(SqlStatement.of( "CREATE TABLE IF NOT EXISTS User (" + " id VARCHAR PRIMARY KEY," + " name VARCHAR," + " age INT" + ") WITH " + " \"CACHE_NAME=UserCache\"," + " \"VALUE_TYPE=com.example.User\"" )); ``` ### 查询示例 ```java // JDBC 方式 try (Connection conn = DriverManager.getConnection("jdbc:ignite:thin://127.0.0.1/"); Statement stmt = conn.createStatement()) { ResultSet rs = stmt.executeQuery( "SELECT name, AVG(age) as avg_age " + "FROM User " + "WHERE age > 18 " + "GROUP BY name " + "HAVING AVG(age) > 25 " + "ORDER BY avg_age DESC" ); while (rs.next()) { System.out.println(rs.getString("name") + " - " + rs.getDouble("avg_age")); } } // Ignite API 方式(嵌入式,无网络开销) SqlFieldsQuery sql = new SqlFieldsQuery( "SELECT name, age FROM User WHERE age > ?" ).setArgs(18); List<List<?>> result = userCache.query(sql).getAll(); ``` ## 并置查询 vs 非并置查询 ``` 并置查询:查询涉及的数据只在同一个分区内 例:SELECT * FROM Order WHERE userId = 'user_1' → 如果 Order 按 userId 分区 → 只需查一个节点 → 极快 非并置查询(分布式查询):查询需要跨多个分区 例:SELECT * FROM Order WHERE amount > 1000 → 需要扫描所有分区的 Order → 所有 Server 节点参与 → 慢一些 Ignite 的执行方式: 1. 查询发到所有持有相关 Cache 的 Server 节点 2. 每个节点本地执行查询 3. 结果汇总到发起查询的节点 4. 排序、聚合后返回 类似 ES 的 两阶段查询(Query Then Fetch) ``` ``` 性能差异: 并置查询:单节点,1-5ms 非并置查询:多节点+网络+汇总,10-50ms+ 优化原则:尽量让查询走并置! ``` ## 索引 ### 主索引 ``` Ignite 使用 B+ 树作为主索引结构 主键默认自动建索引 每个 Cache/Table 创建时自动建立主索引 ``` ### 二级索引 ```java // 注解方式声明二级索引 class User { @QuerySqlField(index = true) private String id; // 主键级别索引 @QuerySqlField(index = true) // 普通二级索引(B+树) private String name; @QuerySqlField(index = true, inlineSize = 10) private String email; // 内联索引(值直接存在索引页中,不存指针) @QuerySqlField(orderedGroups = { @QuerySqlField.Group(name = "idx_age_city", order = 0), @QuerySqlField.Group(name = "idx_age_city", order = 1) }) private int age; // 组合索引 idx_age_city @QuerySqlField(orderedGroups = { @QuerySqlField.Group(name = "idx_age_city", order = 2) }) private String city; // 组合索引 idx_age_city(age, city) } ``` ### 索引类型 ``` ┌──────────────┬────────────────────────────┬──────────────────┐ │ 索引类型 │ 原理 │ 适用场景 │ ├──────────────┼────────────────────────────┼──────────────────┤ │ 普通索引 │ B+ 树,索引页存指针→数据页 │ 通用查询 │ │ 内联索引 │ B+ 树,索引页直接存数据值 │ 高频短值查询 │ │ 组合索引 │ B+ 树,多个字段联合建索引 │ 多条件查询 │ │ 全文索引 │ 分词器 → 倒排索引(实验性) │ 全文搜索(不如 ES)│ │ 地理空间索引 │ Geohash │ 位置范围查询 │ └──────────────┴────────────────────────────┴──────────────────┘ ``` ``` 内联索引 vs 普通索引的区别: 普通索引: B+ 树节点 → 数据指针 → 数据页 → 读取完整数据 内联索引: B+ 树节点 → 直接包含值(如 email 的前 10 字节) → 对于长度短的字段,不需要额外一次 IO 到数据页 适用:长度短、查询频繁的字段(如 status、type、email 前缀) ``` ## 分布式 JOIN IGNITE 的 JOIN 有三种模式: ``` 1. 并置 JOIN(Co-located JOIN)— 最快 要求:JOIN 的两张表按相同 Affinity Key 分区 SELECT o.*, u.name FROM Order o JOIN User u ON o.userId = u.id WHERE o.userId = 'user_1' -- Order 和 User 都按 userId 分区 → 数据在同一节点 → 单节点 JOIN 2. 非并置 JOIN(Non-colocated JOIN)— 较慢 两表没有并置关系,Ignite 会把小表数据广播到所有节点 SELECT o.*, p.name FROM Order o JOIN Product p ON o.productId = p.id -- Order 按 userId 分区,Product 按 productId 分区 → 需要广播 3. 本地 JOIN(Local JOIN) 只用于 REPLICATED 模式(所有节点全量数据) ``` ``` 分布式 JOIN 优化建议: 1. 设计时就让关联表按相同亲和键分区 2. 小表用 REPLICATED 模式(全量复制到所有节点) 3. 避免跨 Cache 的非必要 JOIN 4. 大数据量 JOIN 优先考虑在应用层做,或使用外部 OLAP 引擎 ``` ## 面试常见问题 **Q:Ignite 的 SQL 和传统关系型数据库有什么区别?** A:语法上高度兼容 ANSI-99,但有一些差异:① 不支持外键约束 ② 唯一约束仅主键有效 ③ 分布式环境下非并置查询涉及网络通信,性能不如单节点数据库 ④ 更适合 OLTP 和简单 OLAP,不擅长大规模离线分析。 **Q:什么是并置查询?为什么它比分布式查询快?** A:并置查询是指查询涉及的数据在同一分区(同一节点),只需单节点处理,不需要跨节点通信。分布式查询需要广播到所有节点,汇总结果,有一次网络往返开销。设计时让关联数据用相同 Affinity Key 分区,可以让大部分查询走并置。 **Q:内联索引和普通索引有什么区别?** A:普通索引存的是数据指针,读取时需要再走一次 IO 到数据页。内联索引把字段值的前 N 字节直接存在索引页中,避免二级 IO。适合长度短且查询频繁的字段。代价是索引页大小稍大。 --- 下一篇:[06 - 事务与一致性](./06-transactions.md)
预览
发布文章
添加摘要让读者更快了解文章内容
取消
确认发布
AI 写作助手
输入一个主题,AI 将为你生成一篇 Markdown 博客文章
AI 正在写作中...
取消
开始生成
AI 优化助手
描述你的修改需求,AI 将在原文基础上进行补充或微调
AI 正在优化中...
取消
开始优化
画布
从已有图里选
✕
图名
保存后生成 /images/excalidraw/<图名>.svg(只能用字母、数字、短横线、下划线、点)
取消
保存并插入