知序
返回
保存草稿
发布
H1
H2
H3
1
2
3
Excalidraw 图
AI 写作
AI 优化
目录
输入内容后显示目录
Markdown
# 06 - Java Agent Runtime ## JD 对应能力 目标是在 Java 17 + Spring Boot 3.x 中实现可恢复、可观测的 Agent Runtime,而不只是调用一次 LLM API。 > 💬 **Q:java agent runtime指的是什么呢** > > 这里的 **Java Agent Runtime** 是指“**用 Java 实现的 AI Agent 运行与调度引擎**”,不是 JVM 中用于字节码插桩的 `-javaagent`。 > > 普通 LLM 调用通常只是:`用户问题 → 调模型 → 返回文本`。Agent Runtime 则负责让 AI Agent 能够连续运行:保存会话和任务状态、决定下一步动作、调用工具、接收工具结果、再次调用模型,直到任务完成或触发终止条件。 > > ```text > 用户请求 > ↓ > Agent Runtime > ├─ 读取会话、Memory 和当前任务状态 > ├─ 调用 LLM 做规划或决策 > ├─ 校验并执行 Tool / RAG / MCP > ├─ 将执行结果更新到状态 > ├─ 判断继续、重试、等待审批还是结束 > └─ 持久化状态并输出 SSE 事件 > ``` > > 它通常包含以下模块: > > 1. **会话与上下文管理**:管理 `thread_id`、多轮消息、用户权限和上下文压缩。 > 2. **状态机与调度循环**:实现 ReAct、Plan-and-Execute 等流程,决定下一节点。 > 3. **模型网关**:统一接入通义、DeepSeek、OpenAI 等模型,支持流式和结构化输出。 > 4. **工具运行器**:执行本地 Tool、HTTP API 或 MCP 工具,并处理参数校验、权限、超时和幂等。 > 5. **Memory 与持久化**:用 Redis/MySQL 保存短期记忆、任务状态、检查点和审计记录。 > 6. **可靠性控制**:限制循环次数、时间和成本,支持重试、打断、人工审批、降级与恢复。 > 7. **可观测性**:记录模型调用、工具调用、状态迁移、Token、耗时和失败原因。 > > 例如用户说“查询订单,如果延期就创建工单”,Runtime 需要先规划步骤,调用订单查询工具,判断是否延期,再调用工单工具;创建工单前可能暂停等待审批,服务重启后还要能从原状态恢复。 > > 在截图 JD 中,Java Agent Runtime 对应的重点技术是:**Java 17、Spring Boot 3.x、Spring Statemachine、LangChain4j/Spring AI、Redis、MySQL、Kafka/RocketMQ、OkHttp、SSE 和 JUnit 5**。 ## 运行时分层  *图:Java Agent Runtime 的整体组成* ```text API/SSE → Session → Agent State Machine → Model/Tool/RAG ↓ ↓ Redis/MySQL Trace/Metric/Eval ``` - Session:thread_id、用户上下文、多轮消息和租户权限。 - State:当前计划、步骤、Memory、工具结果、重试与终止原因。 - Model Gateway:统一接入 OpenAI、Claude、豆包、通义、DeepSeek。 - Tool Runtime:schema、授权、超时、重试、幂等和结果裁剪。 - Persistence:Redis 保存热状态,MySQL/RDS 保存任务和审计记录。 ## Spring 技术点 - Spring Boot 3.x:配置、依赖注入、Web/SSE、Actuator。 - Spring Statemachine:状态、事件、Guard、Action、持久化与恢复。 - LangChain4j/Spring AI:模型、结构化输出、Tool、RAG 与 Memory。 - OkHttp:连接池、读写超时、流式响应和取消请求。 - Kafka/RocketMQ:长任务、事件通知、失败重试与死信队列。 - JUnit 5:节点、状态迁移、超时、工具失败和恢复测试。 ## 必测场景 1. 模型返回非法 JSON 时进入修复或降级路径。 2. 工具超时不会让状态永远停在 RUNNING。 3. 同一幂等键不会重复执行外部副作用。 4. SSE 断开能取消下游调用并释放资源。 5. Runtime 重启后能从持久化状态继续任务。 6. Agent 达到步数、时间或成本预算后可解释地结束。 ## 工作区实践 参考 [`../learn-claude-code/s20_comprehensive/java-project/README.md`](../learn-claude-code/s20_comprehensive/java-project/README.md),将其工具、Memory、Task、MCP 和日志能力改造成 Spring Boot 服务,并补充状态持久化与 JUnit 5 故障测试。
预览
发布文章
添加摘要让读者更快了解文章内容
取消
确认发布
AI 写作助手
输入一个主题,AI 将为你生成一篇 Markdown 博客文章
AI 正在写作中...
取消
开始生成
AI 优化助手
描述你的修改需求,AI 将在原文基础上进行补充或微调
AI 正在优化中...
取消
开始优化
画布
从已有图里选
✕
图名
保存后生成 /images/excalidraw/<图名>.svg(只能用字母、数字、短横线、下划线、点)
取消
保存并插入