知序
返回
保存草稿
发布
H1
H2
H3
1
2
3
Excalidraw 图
AI 写作
AI 优化
目录
输入内容后显示目录
Markdown
# 20 - 线上 CPU 飙到 100% 怎么排查 > 导读:CPU 打满但服务没挂,是最典型的"知道有问题、不知道问题在哪"的故障。本文用一次 8 核机器被打满的真实排查过程,讲清从 `top` 到 `thread -n` 的定位链路,以及四类最容易踩的 CPU 陷阱(死循环、正则回溯、大对象序列化、并行流)。 ## 一、先建立全局认知 ### Q:CPU 100% 的根因分哪两类,为什么必须先区分? A:分成**垃圾回收(GC)导致**和**业务代码导致**两类。区分它们的成本很低,但方向选错的代价很大——如果是 GC 导致,你却去翻业务代码,会浪费大量时间。 真实告警: ``` 告警信息: CPU 使用率: 100%(持续 5 分钟) 负载 Load Average: 8.5(8 核机器,已打满) 服务响应: P99 从 200ms 飙到 5s ``` 判据是 **CPU 最高的那些线程叫什么名字**: ``` %CPU 接近 100% × 核数 → CPU 密集型问题(死循环、大量计算) %CPU 波动大 + 频繁 GC → GC 导致的 CPU 高(见 GC 章节) ``` - 线程名形如 `GC task thread#0`、`G1 Young RemSet` → 走 GC 方向,先用 `jstat -gcutil <pid> 1000` 确认; - 线程名是 `http-nio-8080-exec-*` 之类的业务线程 → 走本文的代码定位流程。 ### Q:标准的定位流程是哪五步? A:从"哪个进程"逐层收窄到"哪行代码":  [编辑 Excalidraw 源图](/images/java-interview-copy/online-troubleshoot/20-online-cpu-100-online-cpu-100-diagnosis-flow-diagram.excalidraw) ``` 1. top 定位进程:找到 CPU 最高的 Java 进程 PID 2. top -H 定位线程:找到进程中 CPU 最高的线程 TID 3. 进制转换:TID 转 16 进制 4. jstack 拿线程栈:根据 16 进制的 nid 找到对应线程 5. 分析代码:顺着线程栈定位到具体方法 ``` 这套流程的本质是**两次收窄 + 一次对齐**:进程 → 线程(收窄范围),TID → 十六进制 nid(把操作系统视角的线程号对齐到 JVM 视角)。 ## 二、理解核心机制 ### Q:怎么找到 CPU 最高的进程? A: ```bash # top 命令,按 CPU 排序(默认就是) top # 输出示例: # PID USER %CPU %MEM COMMAND # 12345 app 800% 15.2 java ← 8 核机器,800% ≈ 8 个核全满 ``` 注意 `%CPU` 是**所有核相加**的:8 核机器上单个进程显示 800%,代表 8 个核都被吃满;显示 100% 则只吃满了 1 个核。这个差别很重要——单核打满往往是单线程死循环,全部核打满更可能是并行流或 GC。 ### Q:怎么找到 CPU 最高的线程? A: ```bash # 找到进程 12345 中 CPU 最高的线程 top -H -p 12345 # 输出示例: # PID %CPU # 12346 90.5 ← 这个线程占了 90% 的 CPU! # 12347 5.2 # 12348 2.1 # 或者用 ps 命令 ps -mp 12345 -o THREAD,tid,time | sort -rn | head -10 ``` `-H` 是关键参数,它让 `top` 以**线程**而不是进程为单位展示。没有它,你只能看到"Java 进程占用了 800% CPU",看不出是哪个线程。 ### Q:为什么必须把线程 ID 转成 16 进制? A:因为 `jstack` 输出的线程标识 `nid` 是十六进制,而 `top -H` 输出的是十进制,**不转换就匹配不上**: ```bash # 假设 CPU 最高的线程 TID 是 12346 # 转换为 16 进制(jstack 里的 nid 是 16 进制) printf "%x\n" 12346 # 输出:303a ``` 这是整条链路里最容易被忽略、也最容易卡住的一步。 ### Q:拿到线程栈后,怎么读出问题代码? A: ```bash # 导出线程栈 jstack 12345 > jstack.log # 在 jstack.log 中搜索 nid=0x303a grep -A 30 "nid=0x303a" jstack.log # 或者直接用管道 jstack 12345 | grep -A 30 "nid=0x303a" ``` 线程栈输出示例: ``` "http-nio-8080-exec-15" #35 daemon prio=5 os_prio=0 tid=0x00007f8c1c001000 nid=0x303a runnable [0x00007f8c0c3e1000] java.lang.Thread.State: RUNNABLE at com.example.service.ReportService.calculate(ReportService.java:42) at com.example.controller.ReportController.export(ReportController.java:28) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) ... // 关键信息: // - nid=0x303a → 对应 CPU 高的线程 // - RUNNABLE → 线程正在执行(不是等待) // - ReportService.java:42 → 问题代码位置! ``` 三个信息连起来读:**nid 确认身份,线程状态确认"在跑而不是在等",栈顶行号直接给出代码位置**。如果线程状态是 `WAITING` 或 `BLOCKED`,那 CPU 高就不是它造成的,需要换下一个候选线程。 ### Q:怎么确认这段代码就是元凶? A:顺着 `ReportService.java:42` 打开代码核对: ```java // 问题代码:死循环 public ReportVO calculate(List<Order> orders) { BigDecimal total = BigDecimal.ZERO; for (int i = 0; i < orders.size(); i++) { // 第 42 行:死循环!永远满足条件 while (orders.get(i).getStatus() == 1) { total = total.add(orders.get(i).getAmount()); // 对象状态没变,死循环 } } return new ReportVO(total); } ``` 这段代码的问题在于 `while` 的判断条件在循环体内从未改变——`status` 一直是 1,循环永远不会退出,且每次都在累加,CPU 也就永远不会降下来。 ## 三、放进真实场景 ### Q:有没有更快的工具,能跳过上面这一串命令? A:有,Arthas 的 `thread -n 3` 一条命令顶上面五步: ```bash # 1. 启动 arthas,选择目标 Java 进程 java -jar arthas-boot.jar # 2. 查看当前 CPU 最高的几个线程(实时刷新) dashboard # 3. 直接看 CPU 最高线程的栈(一条命令代替上面所有步骤!) thread -n 3 # 输出示例: # "http-nio-8080-exec-15" Id=35 cpuUsage=92% RUNNABLE # at com.example.service.ReportService.calculate(ReportService.java:42) # at ... # 4. 查看某个线程的详细栈 thread 35 # 5. 反编译可疑代码,确认问题(不用去 IDE 里找文件!) jad com.example.service.ReportService calculate ``` ``` thread -n 3 的含义: 打印 CPU 占用率最高的前 3 个线程的堆栈 一条命令 = top + top -H + 进制转换 + jstack + grep 五步!! ``` > 取舍:传统五步法的优势是**零依赖**——任何一台生产机器上都可用;Arthas 需要预装 jar 包(或能联网下载),但它省去了进制转换和人工匹配,且能直接 `jad` 反编译。实践中的常见做法是**镜像里预装 Arthas**,事故时直接用。 ### Q:除了死循环,还有哪些原因会让 CPU 飙高?怎么快速识别? A: | 原因 | 线程状态 | 典型表现 | 定位方法 | |------|:--------:|---------|---------| | **死循环** | RUNNABLE | 单个/少数线程 CPU 100%,持续不降 | `thread -n` 看堆栈,找 while/for 循环 | | **正则表达式灾难回溯** | RUNNABLE | CPU 突然飙高,处理特定输入时触发 | 找 `Pattern.matcher()` 调用的栈帧 | | **JSON 大对象序列化** | RUNNABLE | 大对象 `toString()` 或序列化时 CPU 高 | 找 `ObjectMapper.writeValueAsString` 等 | | **频繁 Young GC** | GC 线程占比高 | CPU 周期性飙高 | `jstat -gc` 看 YGC 频率 | | **并发死锁后的自旋** | RUNNABLE | 多个线程都高但不等比例 | 先 `thread -b` 查死锁 | | **Stream API 大数据量** | RUNNABLE | `parallelStream()` 吃满所有核 | 找 `stream().parallel()` | | **Hash 碰撞严重** | RUNNABLE | HashMap 退化为链表,大量遍历 | MAT 看 HashMap 的 `table` 和链表长度 | 后三种(正则、序列化、并行流)是最容易在生产环境踩到的,下面分别展开。 ### Q:正则表达式的"灾难性回溯"是怎么把 CPU 打满的? A:嵌套量词会让匹配失败前的尝试路径数量呈指数级增长: ```java // 问题代码:灾难性回溯 // 输入:"aaaaaaaaaaaaaaaaaaaaaaaaaaaaab" // 正则在匹配失败前会尝试所有匹配路径,复杂度指数级增长 Pattern pattern = Pattern.compile("(a+)+b"); Matcher matcher = pattern.matcher(input); boolean matches = matcher.matches(); // ← CPU 100%,永不返回! ``` 关键在于输入**几乎匹配但最终失败**(一长串 `a` 后面跟一个 `b`):`(a+)+` 的嵌套结构会让回溯尝试所有可能的分组切分方式,输入每多一个字符,尝试次数就翻倍。 修复方式是消除嵌套量词,或换用线性时间的引擎: ```java // 修复方案一:避免嵌套量词 Pattern pattern = Pattern.compile("a+b"); // 修复方案二:设置超时(JDK 9+) Pattern pattern = Pattern.compile("(a+)+b"); Matcher matcher = pattern.matcher(input); // 使用 matcher 的超时版本(需要外部库如 Google re2j) // 更推荐:引入 google/re2j,保证线性时间 ``` > 注意:这段输入"20 多个 a 加一个 b"看起来很短,但已经足够让 CPU 卡死。**正则的风险不取决于输入长度,而取决于模式结构**。 ### Q:大对象序列化为什么也会吃 CPU? A:因为日志打印触发了隐式序列化: ```java // 问题:打印大对象的 toString() // 订单对象里有订单明细列表,可能几千条 log.info("order detail: {}", order); // ← toString() 递归序列化所有字段 // 监控可见某个线程长时间 RUNNABLE 在 toString() 上 ``` `log.info` 的 `{}` 占位符虽然是懒加载的,但**一旦这行日志真的要输出**(INFO 级别开启),就会调用 `order.toString()`,把整个对象图拼成字符串——订单明细几千条时,这一步就是纯 CPU 消耗。 修复思路是**从"打印整个对象"降级为"打印关键字段"**: ```java // 修复:使用 JSON.toJSONString 限制序列化深度 // Jackson log.info("order: {}", objectMapper.writeValueAsString(order)); // Fastjson log.info("order: {}", JSON.toJSONString(order, SerializerFeature.DisableCircularReferenceDetect)); // 更优:通过日志框架的懒加载 + 条件判断 if (log.isDebugEnabled()) { log.debug("order detail: {}", JSON.toJSONString(order)); } // 最佳:大对象不要全量打印日志 log.info("order id: {}, amount: {}", order.getId(), order.getAmount()); ``` 最后一行才是真正的解法:**日志里只放能定位问题的字段**,而不是把整个对象丢进去。 ### Q:`parallelStream` 怎么会把整个服务的 CPU 吃光? A: ```java // 问题代码:parallelStream 没有限制并发度 public void batchProcess(List<Item> items) { items.parallelStream().forEach(item -> { // 100 万个 item,默认 ForkJoinPool.commonPool() // commonPool 的并行度 = CPU 核数 - 1 // 如果每条处理都耗时,此时其他请求全被阻塞 heavyProcess(item); }); } ``` `parallelStream()` 默认使用 **ForkJoinPool.commonPool**,它的并行度是 `CPU 核数 - 1`,并且**整个 JVM 共用**。也就是说,一个批量任务会占满几乎所有核,把正常的 Web 请求线程挤掉——CPU 打满只是表象,真正的故障是"其他接口全被拖慢"。 修复方式是让批量任务使用独立的、有上限的线程池: ```java // 修复:自定义线程池,限制并发 ForkJoinPool customPool = new ForkJoinPool(4); customPool.submit(() -> { items.parallelStream().forEach(item -> heavyProcess(item)); }).get(); // 或者直接不用 parallelStream,用普通线程池 + 分片 ExecutorService executor = Executors.newFixedThreadPool(4); List<List<Item>> batches = Lists.partition(items, 500); CompletableFuture<?>[] futures = batches.stream() .map(batch -> CompletableFuture.runAsync(() -> batchProcess(batch), executor)) .toArray(CompletableFuture[]::new); CompletableFuture.allOf(futures).join(); ``` > 一句话原则:**公共资源池不要承载不确定耗时的任务**。`commonPool`、`CompletableFuture` 的默认池、`Timer` 的默认线程,都是同一类坑。 ## 四、总结与自测 ### Q:面试里怎么用四句话答完这道题? A: 1. **标准流程**:`top` 找进程 → `top -H` 找线程 → `printf "%x\n"` 转 16 进制 → `jstack` 找 nid → 定位代码; 2. **进阶工具**:Arthas 的 `thread -n 3` 一条命令搞定(展示你对效率工具有认知); 3. **常见场景**:死循环、正则灾难回溯、大对象序列化/`toString`、`parallelStream` 打满 CPU; 4. **GC 导致的 CPU 高**:先区分是业务代码 CPU 高还是 GC 线程 CPU 高,用 `jstat -gc` 确认; 5. **预防措施**:JVM 参数保留 GC 日志 + 线上预装 Arthas + APM 监控 CPU 曲线。 ### Q:怎么区分是业务代码导致的 CPU 高,还是 GC 导致的? A:三个观察点交叉验证: - **看线程栈**:`thread -n 3` 找到 CPU 高的线程,如果名字含 "GC",说明是 GC 导致的; - **看 GC 频率**:`jstat -gcutil <pid> 1000`,如果 FGC 频繁(每分钟多次),说明 GC 压力大; - **看内存曲线**:如果堆内存已经用完 + GC 后回收不了多少,说明内存本身就紧张。 一句话总结:**CPU 高 + FGC 频繁 + 老年代满 = GC 导致;CPU 高 + FGC 正常 = 业务代码问题**。 ### Q:`thread -n 3` 看到了问题代码,但没有源码怎么办? A:Arthas 的 `jad` 命令可以直接反编译线上 class 文件:`jad com.example.ReportService calculate`,即使没有源码也能看到方法体内容。这也是把 Arthas 预装进镜像的价值之一——排查时不需要对版本、找代码。 ### Q:`jstack` 执行很慢,把线上拖得更卡了怎么办? A:`jstack` 本身有开销(需要 STW 获取所有线程栈),生产环境卡顿是正常的。三个替代方案: - 先 `top -H` 只看 CPU 最高的线程,再只针对性地输出到文件离线检索,**不要管道 grep**(管道会拉长持有时间); - 用 `kill -3 <pid>` 让 JVM 自动把线程栈输出到 GC 日志文件(零 STW 开销); - 用 Arthas 的 `thread -n`,它比全量 `jstack` 轻量。 --- ## 自测 1. 8 核机器上 `top` 显示 java 进程 `%CPU = 100%`,和 `%CPU = 800%`,可能的原因有什么不同? 2. `top -H` 看到线程 TID 是 12346,接下来为什么要执行 `printf "%x\n" 12346`? 3. 一个批量任务的 `parallelStream` 把 CPU 打满并拖慢了所有接口,怎么改?
预览
发布文章
添加摘要让读者更快了解文章内容
取消
确认发布
AI 写作助手
输入一个主题,AI 将为你生成一篇 Markdown 博客文章
AI 正在写作中...
取消
开始生成
AI 优化助手
描述你的修改需求,AI 将在原文基础上进行补充或微调
AI 正在优化中...
取消
开始优化
画布
从已有图里选
✕
图名
保存后生成 /images/excalidraw/<图名>.svg(只能用字母、数字、短横线、下划线、点)
取消
保存并插入