知序
返回
保存草稿
发布
H1
H2
H3
1
2
3
Excalidraw 图
AI 写作
AI 优化
目录
输入内容后显示目录
Markdown
# 07 - 计算网格与并置处理 ## 计算网格的概念 Ignite 不只是存数据,还能把计算逻辑推到数据所在的节点执行。 ``` 传统架构(拉数据到计算端): Client Server ┌──────────┐ ┌──────────┐ │ 计算逻辑 │ ←─ 1. 拉取数据 ── │ 数据 │ │ sum(...) │ ──→ 2. 返回结果 → │ │ └──────────┘ └──────────┘ 问题:数据在 Server 端有 1GB,需要全量拉到 Client 才能计算 网络带宽是瓶颈,数据局部性被浪费 Ignite 计算网格(推计算到数据端): Client Server ┌──────────┐ ┌──────────┐ │ 发送闭包 │ ──→ 1. 函数过去 → │ 数据+计算 │ │ (计算逻辑) │ ←── 2. 汇总结果 │ sum(...) │ └──────────┘ └──────────┘ 优势:数据不需要网络传输,在本地直接完成计算 只传最终结果(几百字节),不传原始数据(几十 GB) 与 Redis 的对比: Redis 没有计算网格概念,Lua 脚本只能在单节点执行一小段逻辑 Ignite 可以发任意复杂 Java 函数到数据端执行 ``` ## Affinity Call(亲和调用)— 核心概念 Affinity Call 是把计算推到特定数据分区所在的节点执行。 ```java // 普通方式:数据拉到 Client 端计算(慢) double total = 0; for (String userId : userIds) { List<Order> orders = orderCache.get(userId); // 网络拉取 for (Order o : orders) { total += o.getAmount(); } } // 100 个用户 → 最多 100 次网络往返 // Affinity Call:计算推到数据端(快) ignite.compute().affinityCall( "orders", "user_1", // Cache 名 + 亲和键 () -> { // 这段代码在存储 user_1 数据的节点上执行 List<Order> orders = orderCache.get("user_1"); return orders.stream() .mapToDouble(Order::getAmount) .sum(); } ); // 100 个用户 → 100 次网络往返,但每次只传结果(几百字节), // 不传原始数据(可能几十 KB) ``` ``` Affinity Call 原理: 1. Client 发送闭包(Lambda/匿名类)到 Ignite 集群 2. Ignite 根据 affinity key 计算目标分区所在节点 3. 闭包被序列化发送到那个节点 4. 在那个节点上反序列化并执行 5. 节点上可以直接本地访问数据(无网络) 6. 执行结果序列化返回给 Client 适用场景: - 聚合计算:按用户统计订单总额 - 数据清理:删除过期数据 - 批量更新:修改某个群体的数据 - 复杂过滤:需要遍历大量数据的过滤 ``` ## Broadcast Call(广播调用) ```java // Broadcast:在所有 Server 节点上执行 Collection<Integer> results = ignite.compute().broadcast(() -> { // 这段代码在每个 Server 节点上执行 // 可以在这里做全局任务:清理缓存、收集统计信息等 return ignite.cluster().localNode().id().hashCode(); }); // broadcast 返回所有节点的执行结果集合 ``` ``` Broadcast 适用场景: - 集群级别任务(如清理所有节点的临时文件) - 收集各节点的统计信息(内存使用、CPU 负载) - 批量维护操作 ``` ## MapReduce 模式 ```java // Ignite 里的 MapReduce 自动处理分布式执行 IgniteCompute compute = ignite.compute(); // 自动把任务分布到不同节点执行 Collection<Integer> results = compute.apply( (String word) -> word.length(), // Map 函数 Arrays.asList("hello", "world", "ignite", "compute") ); // MapReduce 的三步: // Split:把输入集合拆成子集,分发到各节点 // Map:每个节点对自己的子集执行 map 函数 // Reduce:汇总所有节点的结果 ``` ## Service Grid(服务网格) Service Grid 可以把微服务部署到 Ignite 集群中。 ```java // 定义服务接口 interface HelloService { String sayHello(String name); } // 实现服务 class HelloServiceImpl implements HelloService { @Override public String sayHello(String name) { return "Hello, " + name + "!"; } } // 在 Ignite 集群中部署服务(自动选择节点) ignite.services().deployClusterSingleton("helloService", new HelloServiceImpl()); // "clusterSingleton":集群中只有 1 个实例(类似单例) // 调用服务(Client 端无需知道服务在哪个节点) HelloService hello = ignite.services().serviceProxy("helloService", HelloService.class); String result = hello.sayHello("World"); // 服务挂了会自动在其他节点重启(高可用) ``` ``` Service Grid 部署模式: Cluster Singleton — 集群中仅 1 个实例(类似单例服务) Node Singleton — 每个节点 1 个实例(类似 DaemonSet) Multiple — 指定 N 个实例(按需部署) Service Grid ≠ K8s Service: K8s 管理容器 Pod 的部署和网络 Ignite Service Grid 是进程内服务,部署后直接共享 Ignite 内存数据 没有网络序列化开销(访问数据时) ``` ## 计算网格 vs 传统批处理 ``` 传统方式(拉数据到计算端): [数据源] ── 全量获取 ──→ [计算节点] ──→ 计算结果 (1 TB) (CPU 密集) Ignite 方式(推计算到数据端): [节点1 / 数据] ── 本地计算 ──→ 结果1 [节点2 / 数据] ── 本地计算 ──→ 结果2 ──→ 汇总 → 最终结果 [节点3 / 数据] ── 本地计算 ──→ 结果3 优势: - 网络只传输结果(几个 MB),不传原始数据(1 TB) - 并行计算(多个节点同时算,充分利用集群 CPU) - 数据局部性(CPU 和内存在一起,缓存命中率高) ``` ## 面试常见问题 **Q:什么是 Affinity Call?为什么比普通调飞快?** A:Affinity Call 是把计算逻辑(闭包)发送到数据所在的节点上执行,在本地直接读写数据,只把计算结果(而不是原始数据)传回。避免了大量数据在网络上的搬运,利用了数据局部性原理。类比:大数据领域的"计算向数据移动"。 **Q:Service Grid 和 K8s Service 有什么区别?** A:K8s Service 管理容器 Pod 的部署和网络发现;Ignite Service Grid 是进程内的服务部署,服务代码与 Ignite 数据在同一 JVM 中运行,访问数据零网络开销。两者可以组合使用:K8s 管理 Ignite 节点,Ignite Service Grid 管理业务服务。 **Q:Ignite 的计算能力比 Flink/Spark 强吗?** A:定位不同。Ignite 适合在线、低延迟的计算(毫秒级),计算结果是同步返回的;Flink/Spark 适合离线/准离线的海量数据批处理和流处理(秒到分钟级)。Ignite 的计算网格用于"在线查询加速",不是替代大数据计算框架。 --- 下一篇:[08 - 高可用与运维](./08-clustering-ha.md)
预览
发布文章
添加摘要让读者更快了解文章内容
取消
确认发布
AI 写作助手
输入一个主题,AI 将为你生成一篇 Markdown 博客文章
AI 正在写作中...
取消
开始生成
AI 优化助手
描述你的修改需求,AI 将在原文基础上进行补充或微调
AI 正在优化中...
取消
开始优化
画布
从已有图里选
✕
图名
保存后生成 /images/excalidraw/<图名>.svg(只能用字母、数字、短横线、下划线、点)
取消
保存并插入