知序
返回
保存草稿
发布
H1
H2
H3
1
2
3
Excalidraw 图
AI 写作
AI 优化
目录
输入内容后显示目录
Markdown
# 线上问题排查 · 知识地图 > 导读:告警响起后的头十分钟,决定了这次故障是"十分钟止血"还是"排查一整晚"。本文把 JVM、MySQL、Redis、Kafka、调用链五类高频线上故障整理成一张可对号入座的地图——看到什么现象,就翻哪一篇。  *图:从告警到定位,先分类,再深挖。* --- ## 一、先建立全局认知 ### Q:线上告警响起的头十分钟,应该按什么顺序处理? A:固定五步,顺序不要颠倒——**保留现场 → 判断分类 → 快速止血 → 离线分析根因 → 修复并沉淀**。  *图:线上告警应急五步:保留现场到复盘沉淀* ``` 线上告警 │ ├─ 1. 保留现场 (dump / jstack / 日志快照) │ ├─ 2. 根据告警类型 → 查知识地图定位文档 │ ├─ 3. 快速止血 (重启 / 回滚 / 摘流量) │ ├─ 4. 离线分析根因 (GC 日志 / heap dump / 慢查询) │ └─ 5. 修复 + 上线 + 补充监控 + 沉淀文档 ``` 顺序之所以重要,是因为第 1 步和第 3 步是互相冲突的:**重启能最快恢复服务,但会销毁全部现场**。先动手重启,往往意味着后面只能靠猜。 ### Q:为什么"保留现场"必须排在"重启恢复"之前? A:因为排查依赖的证据几乎都是**进程内、易失**的,进程一停就永久丢失: | 现场证据 | 获取方式 | 丢失后果 | |------|------|------| | 堆内存快照 | `jmap -dump` / `jcmd GC.heap_dump` | 无法用 MAT 定位内存泄漏的引用链 | | 线程栈 | `jstack <pid>` / `kill -3 <pid>` | 死锁、线程池满的现场无法还原 | | GC 日志 | 启动参数 `-Xloggc` 或 `-Xlog:gc*` | 无法判断 Full GC 频率与老年代回收效果 | | 慢查询证据 | `performance_schema` / 慢查询日志 | 无法确认是 SQL 慢还是锁等待 | | 监控曲线 | Prometheus / Grafana 截图 | 事后无法判断是突发还是渐变 | 可操作的做法是:**服务还活着时先 dump,再重启**;如果已经崩溃,靠启动参数里的 `-XX:+HeapDumpOnOutOfMemoryError` 兜底——这个参数是生产环境必配项,成本几乎为零,缺了它就只能靠复现。 ### Q:知道要保留现场之后,怎么快速判断该走哪条排查路径? A:先分清两类现象,再二分定位: 1. **资源异常类**(CPU、内存、IO、磁盘)→ 看机器指标,走 JVM / 系统排查; 2. **业务报错类**(超时、报错码、数据不一致)→ 看日志与链路,走数据库 / 中间件 / 调用链排查。 最容易走错的是"CPU 高"和"接口变慢",因为它们的根因可能横跨好几层。下面的速查树就是用来避免这个岔路的。 --- ## 二、按现象对号入座 ### Q:CPU 打满时,怎么区分是 GC 导致的还是业务代码导致的? A:一条命令区分——`top -H -p <pid>`(或 Arthas 的 `thread -n 3`)看 CPU 最高的线程名: ``` top 看 %CPU → top -H 看线程 → 线程名含 "GC" = GC 导致(走 40-jvm-gc-tuning.md) → 线程名是业务线程 = 代码死循环(走 20-online-cpu-100.md) ``` - **GC 导致**:线程名形如 `GC task thread#0`、`G1 Young RemSet`,配合 `jstat -gcutil <pid> 1000` 能看到 FGC 频繁、老年代回收不掉 → 见 [40-jvm-gc-tuning.md](/curriculum/7/chapter/34) - **业务代码导致**:线程名是 `http-nio-8080-exec-*` 之类的业务线程,状态 `RUNNABLE`,栈顶落在某个方法上 → 见 [20-online-cpu-100.md](/curriculum/7/chapter/30) ### Q:内存相关的告警,怎么区分是"泄漏"、"溢出"还是"GC 卡顿"? A:看**内存曲线在 GC 之后能不能回落**,这是三条路径的分水岭: | 现象 | 判断 | 对应文档 | |------|------|------| | 内存持续上升,Full GC 后也降不下来 | 对象被强引用持有,回收不掉 | [32-online-memory-leak.md](/curriculum/7/chapter/32) | | 内存涨到上限后进程崩溃,抛 `OutOfMemoryError` | 需求超过堆上限,或泄漏累积到顶 | [18-online-oom-troubleshoot.md](/curriculum/7/chapter/29) | | 内存没满,但 Full GC 频繁、STW 长、接口周期性卡顿 | 分配速率过高或老年代过小 | [40-jvm-gc-tuning.md](/curriculum/7/chapter/34) | 一句话记忆:**GC 后能回落 = 分配压力问题;GC 后不回落 = 泄漏;直接崩 = 溢出**。泄漏与溢出还会叠加——泄漏是因,溢出是果。 ### Q:数据库相关的故障,怎么区分慢查询、死锁和连接池耗尽? A:  *图:MySQL 三类问题:慢查询、Deadlock、连接池耗尽* ``` MySQL 问题 ──┬──→ 执行时间长(慢查询) → 26-mysql-slow-query.md │ ├──→ 报错 Deadlock → 38-mysql-deadlock.md │ └──→ 连接池耗尽/连接超时 → 见"补充建议"① ``` 三者的现象差别很明显:慢查询是**接口整体变慢、没有报错**;死锁是**业务报错 `Deadlock found`、部分事务被回滚**;连接池耗尽是**日志出现 `Cannot get connection`、请求排队**。注意连接池耗尽经常是慢查询的下游结果——先看慢查询,再看连接池。 ### Q:Redis 相关的告警,怎么判断是不是大 Key 引起的? A:  *图:Redis 四类问题:内存倾斜、缓存失效、热点 key* ``` Redis 问题 ──┬──→ 单节点内存高/倾斜 → 48-redis-bigkey.md │ ├──→ 缓存大量同时失效 → 见"补充建议"② │ ├──→ 大量请求直接打 DB → 见"补充建议"③ │ └──→ 热点 key 打满单节点 → 见"补充建议"④ ``` 判据是**"单个 key 大"还是"key 集体失效"**:内存倾斜、`DEL` 阻塞、主从延迟指向大 Key;同一时刻大批 key 过期指向雪崩;命中率暴跌且 DB 压力上涨指向穿透或击穿。 ### Q:消息队列和调用链的问题,该从哪里入手? A:这两类当前目录还没有独立文档,先按下面的分流判断:  *图:Kafka 与调用链问题:表现与对应建议* ``` Kafka 问题 ──┬──→ 消息积压几十万条 → 见"补充建议"⑤ │ ├──→ 消息丢失(生产/消费/落盘)→ 见"补充建议"⑤ │ └──→ 消费者频繁 rebalance → 见"补充建议"⑤ 调用链问题 ────┬──→ 单个接口突然超时 → 查被调方的慢查询/CPU/GC │ ├──→ 全局性延迟升高 → 网络/负载均衡/基础设施 │ ├──→ 间歇性连接超时 → 见"补充建议"⑥ │ └──→ 线程池拒绝策略触发 → 见"补充建议"⑦ ``` 关键判据是**范围**:只有个别接口慢 → 基本是被调方的问题(继续往下游查慢查询/CPU/GC);全部接口一起慢 → 先怀疑网络、负载均衡或基础设施。 --- ## 三、本目录尚未覆盖的 8 个高频场景 ### Q:数据库连接池耗尽怎么排查? A:现象是日志报 `Cannot get connection, pool exhausted`,请求排队等待连接、接口超时。 核心排查点: - 慢查询导致连接释放慢(先查慢查询) - 连接池最大连接数配置过小(HikariCP 默认 10) - 连接泄漏(获取连接后未归还) - 事务中调了外部 RPC → 连接持有时间过长 典型解决: - HikariCP 配置 `leak-detection-threshold`(泄漏检测) - 调整 `maximum-pool-size` 到合理值(公式:核心数 × 2 + 有效磁盘数) - 确保事务尽量短,不在事务中调用外部服务 ### Q:缓存雪崩发生了怎么恢复? A:现象是大量缓存 key 在同一时刻过期,缓存层瞬间"裸奔",请求全打向 DB,DB CPU 飙升并进一步拖垮上游。 排查:Redis 监控中 key 过期量忽然激增;检查多个热门 key 的 TTL 是否被设成了同一绝对值。 解决: - 过期时间加随机值(TTL ± 30%) - 热点数据永不过期 + 异步更新 - 熔断降级:缓存不可用时直接返回兜底数据 ### Q:缓存穿透怎么识别和治理? A:现象是大量查询**不存在的 key**(通常是恶意攻击或代码 bug),Redis 全部 miss,每次落到 DB,DB 压力暴增。 排查:Redis 命中率监控突然下降;DB 查询日志中出现大量异常参数(如 `WHERE id IN (-1, -2, ...)`)。 解决: - 布隆过滤器(Bloom Filter)预判 key 是否存在 - 空值缓存(不存在也写一条,TTL 短一些,如 30s) - 接口层参数校验(如 ID 必须 > 0) ### Q:缓存击穿和雪崩有什么区别,怎么解决? A:击穿是**单个热点 key 失效**瞬间,它的请求全部打到 DB;雪崩是**批量 key 同时失效**。范围不同,但都会把压力瞬间转移到数据库。 解决: - 互斥锁:查 DB 前先 `SET NX` 锁,只允许一个线程查 DB 并写缓存 - 逻辑过期:value 中嵌入过期时间戳,读到过期数据后异步更新 - 物理不过期:热点数据由后台定时任务刷新 ### Q:Kafka 消息积压怎么排查? A:现象是 Consumer Group 的 lag 持续增长,消息堆积几百万条,业务延迟严重。 排查: 1. 消费速度 < 生产速度(看生产/消费 QPS 比值) 2. 消费端处理时间变长(慢查询、外部调用超时) 3. 分区数不够,消费者扩不上去 4. Rebalance 风暴(频繁加入/退出消费者组) 解决: - 增加分区数 + 消费者数(分区需提前规划) - 批量消费优化(`max.poll.records` 调大) - 消费逻辑异步化(消费 → 写内存队列 → 线程池处理) - 紧急情况:临时扩容消费者 + 增加分区 ### Q:微服务调用超时引发雪崩怎么办? A:现象是服务 A 调用服务 B 超时,B 响应慢 → A 线程池堆积 → A 接口超时 → 上游超时 → 全链路雪崩。 排查: - 链路追踪(SkyWalking / Jaeger)定位最慢节点 - 关联分析下游服务的 GC / CPU / 慢查询日志 - 检查超时配置(链路中的超时是否逐级递减) 解决: - 熔断(Sentinel / Hystrix):下游异常率过高时快速失败 - 降级:核心链路返回兜底数据 - 设置合理的超时 + 重试次数(避免重试风暴) ### Q:磁盘 IO 高或磁盘满了怎么处理? A:现象是日志写入失败 `No space left on device`,`iowait` 飙升,服务响应变慢。 排查: ``` df -h → 哪个分区满了 du -sh * → 哪个目录占空间最大 iostat → IO 瓶颈是否在磁盘 lsof → 是否有已删除但未释放的大文件(deleted 句柄) ``` 解决: - 日志轮转(logback 配置 `maxHistory` + `maxFileSize`) - 清理过期日志 / 临时文件 - 重启持有 deleted 文件句柄的进程(释放空间) ### Q:接口 QPS 突然暴涨怎么判断是正常还是被攻击? A:现象是监控突然告警流量暴涨,例如正常 QPS 500 瞬间变成 5000+。 先区分来源: - 是否有线上活动/运营推送(正常突增) - 是否刷量/爬虫/攻击(异常突增) - 是否上游系统 bug(循环调用) 排查:Nginx/网关日志取 top URL + top IP;链路追踪看调用来源。 解决: - 正常突增:提前预估容量,快速扩容(K8s HPA) - 异常突增:网关层限流(Nginx `limit_req` / Sentinel) - IP 黑名单 + UA 校验(反爬) --- ## 四、工具速查与总结 ### Q:排查过程中最常用的工具有哪些? A: | 工具 | 用途 | 关键命令 | |------|------|---------| | **Arthas** | Java 在线诊断(CPU/线程/反编译) | `thread -n 3`, `dashboard`, `jad` | | **MAT** | 堆 Dump 分析(内存泄漏/OOM) | 打开 hprof → Leak Suspects Report | | **GCEasy** | GC 日志在线分析 | 上传 gc.log → 可视化报表 | | **mysqldumpslow** | MySQL 慢查询汇总 | `mysqldumpslow -s t -t 10` | | **redis-cli --bigkeys** | Redis 大 Key 扫描 | `redis-cli --bigkeys -i 0.1` | | **rdb-tools** | RDB 离线分析 | `rdb -c memory dump.rdb` | | **top / top -H** | 进程/线程 CPU 排序 | `top -H -p <pid>` | | **jstack** | 线程栈快照 | `jstack <pid>` | | **jstat** | GC 统计 | `jstat -gcutil <pid> 1000` | | **jmap** | 堆快照 | `jmap -dump:format=b,file=heap.hprof <pid>` | | **strace** | 系统调用追踪 | `strace -p <pid>` | | **lsof** | 打开文件句柄 | `lsof -p <pid>` | > 工具选择上有一个取舍:`jstack` 会 STW 获取全量线程栈,对大堆进程开销明显;线上优先用 Arthas 的 `thread -n`(只取 CPU 最高的几个线程),把全量 `jstack` 作为兜底手段。 ### Q:这套排查方法能不能压缩成一句话? A:可以——**先保现场,再判分类;先止血,后挖根因;修完补监控,最后沉淀成文档**。排查能力不是靠记住每个命令,而是靠这条稳定的处理顺序,加上"看到现象能对上号"的索引能力。 --- ## 自测 1. 服务 OOM 后同事直接重启了,你还剩哪些手段定位根因? 2. `top` 看到 CPU 100%,下一步该执行什么命令,怎么判断是否要转去看 GC? 3. 用户反馈"接口全部变慢",和"只有下单接口变慢",你的排查路径有什么不同?
预览
发布文章
添加摘要让读者更快了解文章内容
取消
确认发布
AI 写作助手
输入一个主题,AI 将为你生成一篇 Markdown 博客文章
AI 正在写作中...
取消
开始生成
AI 优化助手
描述你的修改需求,AI 将在原文基础上进行补充或微调
AI 正在优化中...
取消
开始优化
画布
从已有图里选
✕
图名
保存后生成 /images/excalidraw/<图名>.svg(只能用字母、数字、短横线、下划线、点)
取消
保存并插入