知序
返回
保存草稿
发布
H1
H2
H3
1
2
3
Excalidraw 图
AI 写作
AI 优化
目录
输入内容后显示目录
Markdown
# 18 - 线上服务突然 OOM 了怎么排查 > 导读:凌晨收到 OOM 告警时,第一反应往往决定了这次故障能不能查到根因。本文以一次订单服务 OOM 为例,把"保留现场 → 快速恢复 → 分析 GC 日志 → 分析堆 Dump → 定位代码"这条链路走一遍,并给出生产环境必配的 JVM 参数。 ## 一、先建立全局认知 ### Q:OOM 告警来了,为什么第一件事不是重启? A:因为重启会销毁唯一一份现场。OOM 的根因(哪个对象占了多少内存、被谁引用着)只存在于**那一刻的堆内存和 GC 日志**里,进程一停就永久丢失,之后只能靠复现或者猜。 真实告警长这样: ``` 告警信息: java.lang.OutOfMemoryError: Java heap space GC overhead limit exceeded ``` 正确顺序是**先取现场,再恢复**: ```bash # 1. 如果服务还活着,先 dump 堆内存 jmap -dump:format=b,file=heap_dump.hprof <pid> # 2. 如果已经崩了,确保 JVM 启动参数里有自动 dump # -XX:+HeapDumpOnOutOfMemoryError # -XX:HeapDumpPath=/data/logs/heap_dump.hprof # 3. 保留 GC 日志 # -Xloggc:/data/logs/gc.log # -XX:+PrintGCDetails # -XX:+PrintGCDateStamps ``` 生产环境建议直接把这些固化到启动参数里,一次配置长期生效: ```bash java -Xms4g -Xmx4g \ -XX:+HeapDumpOnOutOfMemoryError \ -XX:HeapDumpPath=/data/logs/ \ -Xloggc:/data/logs/gc.log \ -XX:+PrintGCDetails \ -XX:+PrintGCDateStamps \ -jar app.jar ``` > 取舍:`-XX:+HeapDumpOnOutOfMemoryError` 的代价是 OOM 瞬间会写一个等于堆大小的文件(上面配置是 4G),并带来短暂的写盘阻塞。相比"事后完全无法定位",这个代价在生产环境完全值得——磁盘空间留够即可。 ### Q:告警里的两种 OOM 报错信息,读起来有区别吗? A:有,它们指向的严重程度不同: - `Java heap space`:堆内存真的不够用了,某次分配申请不到空间。可能是流量突增,也可能是一次性加载了超大对象(大查询、大文件)。 - `GC overhead limit exceeded`:GC 花了超过 98% 的时间却只回收了不到 2% 的堆空间。它的含义是"GC 已经救不回来了",通常说明堆里长期驻留的对象太多,**更偏向内存泄漏的信号**。 两者都指向"堆",区别在于一个是分配失败、一个是回收失效。 ## 二、理解核心机制 ### Q:怎么从 GC 日志区分"内存本来就不够"和"内存泄漏"? A:看 **Full GC 之后老年代的使用率能不能降下来**,这是分水岭。 ``` 正常的 GC 日志: Young GC: 50ms, 每 5 秒一次 Full GC: 200ms, 每小时一次 异常的 GC 日志: Young GC: 100ms, 每 0.5 秒一次 Full GC: 2000ms, 每 10 秒一次 ← 老年代一直满 Full GC 后老年代使用率 95% ← 内存泄漏! ``` 用 GCViewer 或 GCEasy(在线)打开 `gc.log`,重点看三个指标: 1. **Full GC 频率**——正常应该很少,频繁说明老年代持续被填满; 2. **GC 后老年代使用量**——如果每次回收后依然很高,说明有对象回收不掉,基本可以判定泄漏; 3. **GC 暂停时间**——直接对应接口的响应抖动。 如果是"内存本来就不够",Full GC 后使用率会明显回落,只是很快又被填满;如果是泄漏,回落幅度会越来越小。这个区别决定了后面是"加堆/调参"还是"改代码"。 ### Q:快速恢复这一步该怎么做,为什么不能等查完再恢复? A:因为排查可能耗时几小时,而线上每一分钟都在损失。原则是**先恢复,再排查**: ``` 1. 重启故障实例(最快) 2. 如果是集群,摘掉故障节点,流量打到其他节点 3. 如果是全部节点都 OOM → 回滚最近的代码变更 ``` 第 3 条是关键:**所有节点同时 OOM,几乎一定和最近的发布有关**,此时回滚比任何分析都有效。反过来,只有单节点 OOM,则优先怀疑该节点的特殊流量或数据倾斜。 ## 三、放进真实场景 ### Q:完整的 OOM 排查流程是怎样的? A:五个阶段串成闭环:  [编辑 Excalidraw 源图](/images/java-interview-copy/online-troubleshoot/18-online-oom-troubleshoot-online-oom-troubleshoot-workflow-diagram.excalidraw)  *图:OOM 告警六步:保留现场到持续监控* ``` OOM 告警 │ ├→ 1. 保留现场(heap dump + GC log) ├→ 2. 快速恢复(重启/摘节点/回滚) ├→ 3. 分析 GC 日志(Full GC 频率、老年代使用率) ├→ 4. MAT 分析堆 dump(找到占用最大的对象) ├→ 5. 顺着引用链定位代码 └→ 6. 修复 + 上线 + 持续监控 ``` ### Q:拿到堆 Dump 后,怎么从"对象"找到"代码"? A:用 MAT(Memory Analyzer Tool)打开 `heap_dump.hprof`(VisualVM、JProfiler 也可以),MAT 会自动生成 **Leak Suspects Report**,告诉你哪个对象占用最多、它是从哪条 GC Root 引用链上来的。 一次真实的 MAT 输出: ``` MAT 分析结果示例: Problem Suspect 1: Thread "http-nio-8080-exec-15" 占用 1.2 GB(堆总共 4 GB) 引用链: Thread → OrderController.exportOrders() → ArrayList<OrderDTO> (5,000,000 个元素) → 每个 OrderDTO 约 200 字节 原因:导出订单接口没有分页,一次查了 500 万条记录全部加载到内存 ``` **引用链就是答案**:它把"谁持有了这些对象"直接指向了具体的类和方法。对照结果修复代码: ```java // 错误写法:一次性加载全部数据 public void exportOrders(HttpServletResponse response) { List<Order> orders = orderMapper.selectAll(); // 500 万条! writeToExcel(orders, response); } // 正确写法:流式查询 + 分批写入 public void exportOrders(HttpServletResponse response) { try (Cursor<Order> cursor = orderMapper.selectAllWithCursor()) { ExcelWriter writer = new ExcelWriter(response.getOutputStream()); int batch = 0; List<Order> buffer = new ArrayList<>(1000); for (Order order : cursor) { buffer.add(order); if (buffer.size() >= 1000) { writer.write(buffer); buffer.clear(); } } if (!buffer.isEmpty()) writer.write(buffer); } } ``` 修复的关键不是"加 `-Xmx`",而是**让内存占用与数据量解耦**:游标(`Cursor`)让结果集分批从数据库取,缓冲区固定 1000 条,内存峰值就不再随订单总数增长。 ### Q:常见的 OOM 原因有哪些,分别怎么处理? A:MAT 的表现和修复方式可以做成一张对照表: | 原因 | MAT 中的表现 | 解决方案 | |------|-------------|---------| | 大查询没分页 | 大量 ArrayList/HashMap 对象 | 加分页,限制查询条数 | | 缓存没有上限 | 某个 Map 持续增长 | 用 LRU 缓存(Caffeine),设置 maxSize | | 连接/线程泄漏 | 大量 Connection/Thread 对象 | 检查连接池配置,确保 finally 关闭 | | 大文件加载到内存 | byte[] 占用几百 MB | 用流式处理,不要一次性读入内存 | | 第三方库 bug | 某个框架类占用异常 | 升级版本或换库 | | 内存泄漏(最难查) | 某个集合持续增长不释放 | 找到 GC Root 引用链,定位代码 | 排序上有个经验:**最难查的是内存泄漏**(需要读代码逻辑),最好查的是"大查询没分页"(MAT 里一眼可见)。如果 OOM 是周期性出现的(重启后几天复发),基本可以直接锁定泄漏。 ## 四、总结与自测 ### Q:面试中怎么用几句话答清楚这道题? A:按"现场 → 工具 → 原因 → 加分项"四层回答: 1. **先讲保留现场的重要性**:`-XX:+HeapDumpOnOutOfMemoryError` 必配,否则重启即失现场; 2. **讲排查工具**:GC 日志分析(GCEasy)+ 堆分析(MAT); 3. **给出常见原因**:大查询没分页、缓存无上限、连接泄漏; 4. **加分项**:讲出生产环境的完整 JVM 参数配置,以及监控告警(Prometheus + Grafana 监控堆内存使用率)形成的闭环。 ### Q:怎么避免这类问题再次发生? A:把这一次的教训固化成三件事: - **参数兜底**:HeapDump、GC 日志进入标准启动模板,所有服务统一; - **修复要治本**:导出、批处理类接口一律走流式/分页,禁止无界查询; - **监控前置**:堆使用率、Full GC 次数、GC 耗时进监控大盘并设阈值告警——大多数 OOM 在爆发前都有几小时的"内存缓慢上涨"窗口。 --- ## 自测 1. 服务已经 OOM 崩溃,但启动参数里没有 `HeapDumpOnOutOfMemoryError`,你还有哪些手段? 2. GC 日志里 Full GC 后老年代使用率稳定在 95%,说明什么问题,下一步查什么? 3. 为什么"所有节点同时 OOM"时,回滚比分析更优先?
预览
发布文章
添加摘要让读者更快了解文章内容
取消
确认发布
AI 写作助手
输入一个主题,AI 将为你生成一篇 Markdown 博客文章
AI 正在写作中...
取消
开始生成
AI 优化助手
描述你的修改需求,AI 将在原文基础上进行补充或微调
AI 正在优化中...
取消
开始优化
画布
从已有图里选
✕
图名
保存后生成 /images/excalidraw/<图名>.svg(只能用字母、数字、短横线、下划线、点)
取消
保存并插入