知序
返回
保存草稿
发布
H1
H2
H3
1
2
3
Excalidraw 图
AI 写作
AI 优化
目录
输入内容后显示目录
Markdown
# 30 - 线程池满了怎么办 > 导读:本文从一次"线程池频繁触发拒绝策略、用户看到系统繁忙"的线上现象出发,讲清拒绝策略怎么选、自定义策略怎么写、参数怎么动态调、指标怎么监控告警。适合需要治理线上线程池、以及准备后端面试的同学。 ## 一、先建立全局认知 ### Q:线程池"满了"到底指什么?为什么必须有拒绝策略? A:先给结论:线程池并不是一个简单的"任务队列",它是"核心线程 + 等待队列 + 非核心线程"三层结构,只有这三层全部用尽时才算"满"。 - **核心线程(corePoolSize)**:线程池常驻的线程数,即使空闲也保留(除非开启 allowCoreThreadTimeOut)。 - **工作队列(workQueue)**:核心线程忙不过来时,任务先在这里排队。 - **最大线程数(maximumPoolSize)**:队列也满了之后,才允许临时扩容到的线程上限。 - **拒绝策略(RejectedExecutionHandler)**:当线程数达到最大值且队列也满时,对"还进来的新任务"做最后处理的兜底逻辑——这就是线程池的"最后一道闸门"。 之所以必须有拒绝策略,是因为线程池的资源是有界的。如果没有这道闸门,要么无限排队导致内存被撑爆,要么无限建线程导致系统崩溃。拒绝策略的本质是逼你在"丢弃、报错、降级"之间做一次显式选择,而不是让系统以不可控的方式挂掉。 ### Q:一个任务提交进来,线程池的完整流转过程是怎样的? A:任务并不是"有线程就执行、没线程就执行",而是严格按下面的顺序判定,每一步都是"上一步满了才走下一步":  *图:线程池提交任务的四道判断关卡* ```text 提交任务 → 核心线程数未满?→ 创建核心线程执行 ↓ 满了 队列未满?→ 放入队列等待 ↓ 满了 最大线程数未满?→ 创建非核心线程执行 ↓ 满了 触发拒绝策略 ```  *图:任务在线程池中的判定链路,从核心线程、队列、非核心线程一直到最后的拒绝策略。* [编辑 Excalidraw 源图](/images/java-interview-copy/concurrent/30-thread-pool-reject-thread-pool-reject-saturation-flow-diagram.excalidraw) 这个顺序很容易反直觉:**队列的优先级高于"创建非核心线程"**。也就是说,如果用的是无界队列,队列永远不会满,`maximumPoolSize` 永远不会生效。这正是理解后面"为什么队列类型很关键"的钥匙。 ## 二、理解核心机制 ### Q:JDK 内置的四种拒绝策略分别是什么,各适合什么场景? A:四种策略对应四种"满"时态度——报错、反压、静默丢弃、丢旧留新: ```java // 1. AbortPolicy(默认):直接抛 RejectedExecutionException new ThreadPoolExecutor.AbortPolicy(); // 适用:关键业务,宁可报错也不能丢失 // 2. CallerRunsPolicy:由提交任务的线程执行 new ThreadPoolExecutor.CallerRunsPolicy(); // 适用:不想丢弃任务,可以接受调用方变慢(反压机制) // 3. DiscardPolicy:静默丢弃,不抛异常 new ThreadPoolExecutor.DiscardPolicy(); // 适用:可丢弃的非关键任务(如日志上报) // 4. DiscardOldestPolicy:丢弃队列中最老的任务,重新提交当前任务 new ThreadPoolExecutor.DiscardOldestPolicy(); // 适用:只关心最新数据的场景(如实时行情刷新) ``` 选型的关键是先回答一个问题:**这个任务丢了会不会有业务后果?** 有后果且必须感知,选 AbortPolicy(配合上游重试/降级);有后果但可以不急,选 CallerRunsPolicy(用调用方变慢做反压);没后果,选 DiscardPolicy;只关心最新值,选 DiscardOldestPolicy。 ### Q:为什么生产环境推荐自定义拒绝策略? A:因为四种内置策略都太"安静"或太"粗暴":AbortPolicy 只抛异常、DiscardPolicy 完全无声,都不便于观测和分级处理。真实的生产需求是"既要留痕,又要按业务分级降级"。 ```java public class CustomRejectedHandler implements RejectedExecutionHandler { private static final Logger log = LoggerFactory.getLogger(CustomRejectedHandler.class); private final AtomicLong rejectedCount = new AtomicLong(0); @Override public void rejectedExecution(Runnable r, ThreadPoolExecutor executor) { long count = rejectedCount.incrementAndGet(); // 1. 记录日志 log.error("线程池拒绝任务!pool={}, active={}, queue={}, rejected={}", executor.getPoolSize(), executor.getActiveCount(), executor.getQueue().size(), count); // 2. 监控告警(每 100 次告警一次,避免告警风暴) if (count % 100 == 1) { alertService.send("线程池拒绝任务累计: " + count); } // 3. 降级处理(根据业务选择) if (r instanceof PriorityTask && ((PriorityTask) r).isHighPriority()) { // 高优先级任务:由调用线程执行(CallerRuns) r.run(); } else { // 低优先级任务:丢弃 + 记录到数据库,后续补偿 saveToCompensationTable(r); } } } ``` 这份实现里藏着三个生产级的设计取舍: - **日志 + 计数**:拒绝次数用 `AtomicLong` 累计并打日志,保证"丢了多少"可追溯,而不是悄无声息。 - **按次数而非每次都告警**:告警风暴本身也是一种故障。用 `count % 100 == 1` 把告警频率压下来,既不失灵也不轰炸。 - **按任务优先级分流**:高优先级任务退化为 CallerRuns(牺牲调用方速度保住任务),低优先级任务落库留待补偿(保住主流程吞吐)。这比任何单一内置策略都更贴近业务。 ### Q:队列该用 LinkedBlockingQueue 还是 SynchronousQueue? A:两者对应两种完全不同的排队哲学: - `LinkedBlockingQueue`(有界):任务先入队,队列满了才创建非核心线程,适合大多数场景。 - `SynchronousQueue`(无缓冲):不存储任务,直接交给线程执行,队列满了立刻创建新线程,适合任务量波动大、需要快速响应的场景(如 `Executors.newCachedThreadPool`)。 这里要特别提醒:`LinkedBlockingQueue` 一定要用**有界**构造(带容量参数)。如果用了默认的无界队列,队列永远不会满,`maximumPoolSize` 形同虚设,堆积的任务会不断占用内存——这是线程池最常见的一类配置错误。 ## 三、放进真实场景 ### Q:线上线程池频繁触发拒绝策略、用户看到"系统繁忙",应该怎么处理? A:先还原场景:业务线程池配置为核心 10、最大 20、队列 100,突发流量下频繁触发拒绝策略,大量请求被丢弃。这个"核心 10、最大 20、队列 100"的组合本身就偏保守——队列只有 100 太浅,突发流量下极易打满并触发拒绝。 处理这类问题的正确顺序是"先止损、再观测、后调优",而不是一上来就改参数: 1. 止损:先把拒绝策略从默认的 AbortPolicy 换成能分级降级的自定义策略,避免请求被静默丢弃而无人知晓。 2. 观测:采集 active、queue size、rejected 等指标,确认到底是线程不够、队列太浅,还是任务本身变慢。 3. 调优:结合下面几节的动态调参与压测,逐步放大容量。 ### Q:如何在不重启的前提下动态调整线程池参数? A:`ThreadPoolExecutor` 的核心参数支持运行时修改,配合配置中心(Nacos/Apollo)就能做到"线上随时可调": ```java // 线程池核心参数支持运行时修改 @Component public class DynamicThreadPoolManager { private final ThreadPoolExecutor executor; // 通过配置中心(Nacos/Apollo)动态调整 @NacosValue(value = "${thread.pool.core-size:10}", autoRefreshed = true) private int coreSize; @NacosValue(value = "${thread.pool.max-size:20}", autoRefreshed = true) private int maxSize; @PostConstruct public void init() { // 监听配置变更 configService.addListener("thread-pool-config", event -> { int newCore = Integer.parseInt(event.get("coreSize")); int newMax = Integer.parseInt(event.get("maxSize")); resize(newCore, newMax); }); } public void resize(int coreSize, int maxSize) { // 注意:必须先设置 maxSize 再设置 coreSize(如果 newCore > oldMax 会报错) if (maxSize >= coreSize) { executor.setMaximumPoolSize(maxSize); executor.setCorePoolSize(coreSize); log.info("线程池调整: core={}, max={}", coreSize, maxSize); } } // 也可以动态调整队列容量(需要用 ResizableCapacityLinkedBlockingQueue) } ``` 这里最容易踩的坑是**设置顺序**:当新的 coreSize 大于旧的 maxSize 时,如果先设 `setCorePoolSize` 会直接抛异常,所以必须先设置 maxSize 再设置 coreSize。另外要注意,`ThreadPoolExecutor` 原生不支持动态改队列容量,想调队列需要换用可扩容的队列实现(如 `ResizableCapacityLinkedBlockingQueue`)。 ### Q:如何监控线程池、提前发现饱和? A:与其等它拒绝,不如在逼近阈值时就告警。做法是定时采集指标并上报监控系统: ```java // 定时采集线程池指标 @Scheduled(fixedRate = 10000) // 每 10 秒 public void monitorThreadPool() { ThreadPoolExecutor pool = businessThreadPool; int activeCount = pool.getActiveCount(); int poolSize = pool.getPoolSize(); int queueSize = pool.getQueue().size(); int queueCapacity = pool.getQueue().remainingCapacity() + queueSize; long completedCount = pool.getCompletedTaskCount(); long rejectedCount = ((CustomRejectedHandler) pool.getRejectedExecutionHandler()).getRejectedCount(); // 上报到监控系统(Prometheus/Grafana) Metrics.gauge("thread_pool_active", activeCount); Metrics.gauge("thread_pool_queue_size", queueSize); Metrics.counter("thread_pool_rejected_total").increment(rejectedCount); // 告警规则 double queueUsage = (double) queueSize / queueCapacity; if (queueUsage > 0.8) { alertService.send("线程池队列使用率超过 80%: " + queueSize + "/" + queueCapacity); } double threadUsage = (double) activeCount / pool.getMaximumPoolSize(); if (threadUsage > 0.9) { alertService.send("线程池活跃线程超过 90%: " + activeCount + "/" + pool.getMaximumPoolSize()); } } ``` 设计上值得注意:队列使用率阈值(80%)比线程使用率阈值(90%)更早触发,因为队列开始堆积往往先于线程打满,早一步告警就多一分缓冲时间。指标建议用累加型(counter)记录拒绝总数,用瞬时型(gauge)记录当前活跃数与队列长度,二者结合才能区分"历史累计拒绝"和"此刻正在饱和"。 ### Q:线程池参数到底怎么设置? A:先分清任务类型,再落经验值,最后靠压测收敛: ```text CPU 密集型任务(计算、排序): 核心线程数 = CPU 核数 + 1 队列可以小一些 IO 密集型任务(数据库、HTTP 调用): 核心线程数 = CPU 核数 × 2(或更多) 队列可以大一些 经验公式: 核心线程数 = CPU 核数 × 目标 CPU 利用率 × (1 + 等待时间/计算时间) 实际建议: 不要靠公式,靠压测。在预发环境模拟线上流量,观察线程池指标,逐步调优。 配合动态调参,线上随时可调。 ``` 关于"为什么 CPU 密集型是核数 +1":+1 是为了在某个线程偶尔发生缺页或短暂阻塞时,仍有线程顶上,避免 CPU 出现空转空隙;而 IO 密集型任务的线程大部分时间在等待,所以线程数可以远高于核数。不过这些经验值只适合作为**初始值**——真实业务里等待时间/计算时间的比例很难估算准,最终还是要靠压测数据说话。 ### Q:CallerRunsPolicy 有什么隐患? A:调用线程(通常是 Tomcat 线程)去执行任务,会阻塞 Tomcat 线程。如果任务耗时长,Tomcat 线程被占满,整个服务无法接收新请求。适合任务执行快、不想丢弃的场景。 也就是说,CallerRunsPolicy 是把"线程池饱和"转换成"调用方被拖慢"的一种反压。它作为临时机制是有效的,但如果任务本身很慢,它会从线程池问题升级成全站不可用问题——所以用它之前,先确认任务足够快。 ## 四、总结与自测 ### Q:面试里怎么答这道题? A:按下面四点作答,层层递进: 1. 四种拒绝策略各自适用场景,生产环境推荐自定义策略(日志 + 告警 + 降级)。 2. 动态调参:通过配置中心运行时修改 coreSize/maxSize,不需要重启(注意先设 max 再设 core)。 3. 监控告警:采集活跃线程数、队列使用率、拒绝次数,设置阈值告警。 4. 参数设置:不靠公式靠压测,CPU 密集型线程少队列小,IO 密集型线程多队列大。 ### Q:如果拒绝策略、动态调参、监控都用上了,还是不够,兜底怎么办? A:这说明容量已经超出单实例线程池的上限,再调参数只是拆东墙补西墙。此时应往上走一层:从调用方做限流(在入口就把超出容量的流量挡掉,而不是让它在池里排队),或对任务做异步化/削峰(用消息队列把瞬时洪峰摊平到更长的时间窗口)。线程池治理的终点不是"把池调得无限大",而是让系统在过载时仍能以可控的方式降级。 --- ## 自测 1. 线程池任务提交的判定顺序是什么?为什么说无界队列会让 maximumPoolSize 失效? 2. 四种内置拒绝策略分别适合什么场景?自定义策略为什么要"每 100 次告警一次"? 3. 动态调整 coreSize/maxSize 时,为什么必须先设 maximumPoolSize?队列容量能否动态调整? 4. CallerRunsPolicy 在什么情况下会把"线程池饱和"升级为"全站不可用"?你会怎么避免?
预览
发布文章
添加摘要让读者更快了解文章内容
取消
确认发布
AI 写作助手
输入一个主题,AI 将为你生成一篇 Markdown 博客文章
AI 正在写作中...
取消
开始生成
AI 优化助手
描述你的修改需求,AI 将在原文基础上进行补充或微调
AI 正在优化中...
取消
开始优化
画布
从已有图里选
✕
图名
保存后生成 /images/excalidraw/<图名>.svg(只能用字母、数字、短横线、下划线、点)
取消
保存并插入