摘要:结合ThreadPoolExecutor类的源码深度分析线程池执行任务的整体流程。

本文分享自华为云社区《【高并发】通过ThreadPoolExecutor类的源码深度解析线程池执行任务的核心流程》,作者: 冰 河。

ThreadPoolExecutor类中存在一个workers工作线程集合,用户可以向线程池中添加需要执行的任务,workers集合中的工作线程可以直接执行任务,或者从任务队列中获取任务后执行。ThreadPoolExecutor类中提供了整个线程池从创建到执行任务,再到消亡的整个流程方法。本文,就结合ThreadPoolExecutor类的源码深度分析线程池执行任务的整体流程。

在ThreadPoolExecutor类中,线程池的逻辑主要体现在execute(Runnable)方法,addWorker(Runnable, boolean)方法,addWorkerFailed(Worker)方法和拒绝策略上,接下来,我们就深入分析这几个核心方法。

execute(Runnable)方法

execute(Runnable)方法的作用是提交Runnable类型的任务到线程池中。我们先看下execute(Runnable)方法的源码,如下所示。

public void execute(Runnable command) {//如果提交的任务为空,则抛出空指针异常if (command == null)throw new NullPointerException();//获取线程池的状态和线程池中线程的数量int c = ctl.get();//线程池中的线程数量小于corePoolSize的值if (workerCountOf(c) < corePoolSize) {//重新开启线程执行任务if (addWorker(command, true))return;c = ctl.get();}//如果线程池处于RUNNING状态,则将任务添加到阻塞队列中if (isRunning(c) && workQueue.offer(command)) {//再次获取线程池的状态和线程池中线程的数量,用于二次检查int recheck = ctl.get();//如果线程池没有未处于RUNNING状态,从队列中删除任务if (! isRunning(recheck) && remove(command))//执行拒绝策略reject(command);//如果线程池为空,则向线程池中添加一个线程else if (workerCountOf(recheck) == 0)addWorker(null, false);}//任务队列已满,则新增worker线程,如果新增线程失败,则执行拒绝策略else if (!addWorker(command, false))reject(command);
}

整个任务的执行流程,我们可以简化成下图所示。

接下来,我们拆解execute(Runnable)方法,具体分析execute(Runnable)方法的执行逻辑。

(1)线程池中的线程数是否小于corePoolSize核心线程数,如果小于corePoolSize核心线程数,则向workers工作线程集合中添加一个核心线程执行任务。代码如下所示。

//线程池中的线程数量小于corePoolSize的值
if (workerCountOf(c) < corePoolSize) {//重新开启线程执行任务if (addWorker(command, true))return;c = ctl.get();
}

(2)如果线程池中的线程数量大于corePoolSize核心线程数,则判断当前线程池是否处于RUNNING状态,如果处于RUNNING状态,则添加任务到待执行的任务队列中。注意:这里向任务队列添加任务时,需要判断线程池是否处于RUNNING状态,只有线程池处于RUNNING状态时,才能向任务队列添加新任务。否则,会执行拒绝策略。代码如下所示。

if (isRunning(c) && workQueue.offer(command)) 

(3)向任务队列中添加任务成功,由于其他线程可能会修改线程池的状态,所以这里需要对线程池进行二次检查,如果当前线程池的状态不再是RUNNING状态,则需要将添加的任务从任务队列中移除,执行后续的拒绝策略。如果当前线程池仍然处于RUNNING状态,则判断线程池是否为空,如果线程池中不存在任何线程,则新建一个线程添加到线程池中,如下所示。

//再次获取线程池的状态和线程池中线程的数量,用于二次检查
int recheck = ctl.get();
//如果线程池没有未处于RUNNING状态,从队列中删除任务
if (! isRunning(recheck) && remove(command))//执行拒绝策略reject(command);
//如果线程池为空,则向线程池中添加一个线程
else if (workerCountOf(recheck) == 0)addWorker(null, false);

(4)如果在步骤(3)中向任务队列中添加任务失败,则尝试开启新的线程执行任务。此时,如果线程池中的线程数量已经大于线程池中的最大线程数maximumPoolSize,则不能再启动新线程。此时,表示线程池中的任务队列已满,并且线程池中的线程已满,需要执行拒绝策略,代码如下所示。

//任务队列已满,则新增worker线程,如果新增线程失败,则执行拒绝策略
else if (!addWorker(command, false))reject(command);

这里,我们将execute(Runnable)方法拆解,结合流程图来理解线程池中任务的执行流程就比较简单了。可以这么说,execute(Runnable)方法的逻辑基本上就是一般线程池的执行逻辑,理解了execute(Runnable)方法,就基本理解了线程池的执行逻辑。

注意:有关ScheduledThreadPoolExecutor类和ForkJoinPool类执行线程池的逻辑,在【高并发专题】系列文章中的后文中会详细说明,理解了这些类的执行逻辑,就基本全面掌握了线程池的执行流程。

在分析execute(Runnable)方法的源码时,我们发现execute(Runnable)方法中多处调用了addWorker(Runnable, boolean)方法,接下来,我们就一起分析下addWorker(Runnable, boolean)方法的逻辑。

addWorker(Runnable, boolean)方法

总体上,addWorker(Runnable, boolean)方法可以分为三部分,第一部分是使用CAS安全的向线程池中添加工作线程;第二部分是创建新的工作线程;第三部分则是将任务通过安全的并发方式添加到workers中,并启动工作线程执行任务。

接下来,我们看下addWorker(Runnable, boolean)方法的源码,如下所示。

private boolean addWorker(Runnable firstTask, boolean core) {//标记重试的标识retry:for (;;) {int c = ctl.get();int rs = runStateOf(c);// 检查队列是否在某些特定的条件下为空if (rs >= SHUTDOWN &&! (rs == SHUTDOWN &&firstTask == null &&! workQueue.isEmpty()))return false;//下面循环的主要作用为通过CAS方式增加线程的个数for (;;) {//获取线程池中的线程数量int wc = workerCountOf(c);//如果线程池中的线程数量超出限制,直接返回falseif (wc >= CAPACITY ||wc >= (core ? corePoolSize : maximumPoolSize))return false;//通过CAS方式向线程池新增线程数量if (compareAndIncrementWorkerCount(c))//通过CAS方式保证只有一个线程执行成功,跳出最外层循环break retry;//重新获取ctl的值c = ctl.get();  //如果CAS操作失败了,则需要在内循环中重新尝试通过CAS新增线程数量if (runStateOf(c) != rs)continue retry;}}//跳出最外层for循环,说明通过CAS新增线程数量成功//此时创建新的工作线程boolean workerStarted = false;boolean workerAdded = false;Worker w = null;try {//将执行的任务封装成workerw = new Worker(firstTask);final Thread t = w.thread;if (t != null) {//独占锁,保证操作workers时的同步final ReentrantLock mainLock = this.mainLock;mainLock.lock();try {//此处需要重新检查线程池状态//原因是在获得锁之前可能其他的线程改变了线程池的状态int rs = runStateOf(ctl.get());if (rs < SHUTDOWN ||(rs == SHUTDOWN && firstTask == null)) {if (t.isAlive())throw new IllegalThreadStateException();//向worker中添加新任务workers.add(w);int s = workers.size();if (s > largestPoolSize)largestPoolSize = s;//将是否添加了新任务的标识设置为trueworkerAdded = true;}} finally {//释放独占锁mainLock.unlock();}//添加新任成功,则启动线程执行任务if (workerAdded) {t.start();//将任务是否已经启动的标识设置为trueworkerStarted = true;}}} finally {//如果任务未启动或启动失败,则调用addWorkerFailed(Worker)方法if (! workerStarted)addWorkerFailed(w);}//返回是否启动任务的标识return workerStarted;
}

乍一看,addWorker(Runnable, boolean)方法还蛮长的,这里,我们还是将addWorker(Runnable, boolean)方法进行拆解。

(1)检查任务队列是否在某些特定的条件下为空,代码如下所示。

// 检查队列是否在某些特定的条件下为空
if (rs >= SHUTDOWN &&! (rs == SHUTDOWN &&firstTask == null &&! workQueue.isEmpty()))return false;

(2)在通过步骤(1)的校验后,则进入内层for循环,在内层for循环中通过CAS来增加线程池中的线程数量,如果CAS操作成功,则直接退出双重for循环。如果CAS操作失败,则查看当前线程池的状态是否发生了变化,如果线程池的状态发生了变化,则通过continue关键字重新通过外层for循环校验任务队列,检验通过再次执行内层for循环的CAS操作。如果线程池的状态没有发生变化,此时上一次CAS操作失败了,则继续尝试CAS操作。代码如下所示。

for (;;) {//获取线程池中的线程数量int wc = workerCountOf(c);//如果线程池中的线程数量超出限制,直接返回falseif (wc >= CAPACITY ||wc >= (core ? corePoolSize : maximumPoolSize))return false;//通过CAS方式向线程池新增线程数量if (compareAndIncrementWorkerCount(c))//通过CAS方式保证只有一个线程执行成功,跳出最外层循环break retry;//重新获取ctl的值c = ctl.get();  //如果CAS操作失败了,则需要在内循环中重新尝试通过CAS新增线程数量if (runStateOf(c) != rs)continue retry;
}

(3)CAS操作成功后,表示向线程池中成功添加了工作线程,此时,还没有线程去执行任务。使用全局的独占锁mainLock来将新增的工作线程Worker对象安全的添加到workers中。

总体逻辑就是:创建新的Worker对象,并获取Worker对象中的执行线程,如果线程不为空,则获取独占锁,获取锁成功后,再次检查线线程的状态,这是避免在获取独占锁之前其他线程修改了线程池的状态,或者关闭了线程池。如果线程池关闭,则需要释放锁。否则将新增加的线程添加到工作集合中,释放锁并启动线程执行任务。将是否启动线程的标识设置为true。最后,判断线程是否启动,如果没有启动,则调用addWorkerFailed(Worker)方法。最终返回线程是否起送的标识。

//跳出最外层for循环,说明通过CAS新增线程数量成功
//此时创建新的工作线程
boolean workerStarted = false;
boolean workerAdded = false;
Worker w = null;
try {//将执行的任务封装成workerw = new Worker(firstTask);final Thread t = w.thread;if (t != null) {//独占锁,保证操作workers时的同步final ReentrantLock mainLock = this.mainLock;mainLock.lock();try {//此处需要重新检查线程池状态//原因是在获得锁之前可能其他的线程改变了线程池的状态int rs = runStateOf(ctl.get());if (rs < SHUTDOWN ||(rs == SHUTDOWN && firstTask == null)) {if (t.isAlive())throw new IllegalThreadStateException();//向worker中添加新任务workers.add(w);int s = workers.size();if (s > largestPoolSize)largestPoolSize = s;//将是否添加了新任务的标识设置为trueworkerAdded = true;}} finally {//释放独占锁mainLock.unlock();}//添加新任成功,则启动线程执行任务if (workerAdded) {t.start();//将任务是否已经启动的标识设置为trueworkerStarted = true;}}
} finally {//如果任务未启动或启动失败,则调用addWorkerFailed(Worker)方法if (! workerStarted)addWorkerFailed(w);
}
//返回是否启动任务的标识
return workerStarted;

addWorkerFailed(Worker)方法

在addWorker(Runnable, boolean)方法中,如果添加工作线程失败或者工作线程启动失败时,则会调用addWorkerFailed(Worker)方法,下面我们就来看看addWorkerFailed(Worker)方法的实现,如下所示。

private void addWorkerFailed(Worker w) {//获取独占锁final ReentrantLock mainLock = this.mainLock;mainLock.lock();try {//如果Worker任务不为空if (w != null)//将任务从workers集合中移除workers.remove(w);//通过CAS将任务数量减1decrementWorkerCount();tryTerminate();} finally {//释放锁mainLock.unlock();}
}

addWorkerFailed(Worker)方法的逻辑就比较简单了,获取独占锁,将任务从workers中移除,并且通过CAS将任务的数量减1,最后释放锁。

拒绝策略

我们在分析execute(Runnable)方法时,线程池会在适当的时候调用reject(Runnable)方法来执行相应的拒绝策略,我们看下reject(Runnable)方法的实现,如下所示。

final void reject(Runnable command) {handler.rejectedExecution(command, this);
}

通过代码,我们发现调用的是handler的rejectedExecution方法,handler又是个什么鬼,我们继续跟进代码,如下所示。

private volatile RejectedExecutionHandler handler;

再看看RejectedExecutionHandler是个啥类型,如下所示。

package java.util.concurrent;public interface RejectedExecutionHandler {void rejectedExecution(Runnable r, ThreadPoolExecutor executor);
}

可以发现RejectedExecutionHandler是个接口,定义了一个rejectedExecution(Runnable, ThreadPoolExecutor)方法。既然RejectedExecutionHandler是个接口,那我们就看看有哪些类实现了RejectedExecutionHandler接口。

看到这里,我们发现RejectedExecutionHandler接口的实现类正是线程池默认提供的四种拒绝策略的实现类。

至于reject(Runnable)方法中具体会执行哪个类的拒绝策略,是根据创建线程池时传递的参数决定的。如果没有传递拒绝策略,则默认会执行AbortPolicy类的拒绝策略。否则会执行传递的类的拒绝策略。

在创建线程池时,除了能够传递JDK默认提供的拒绝策略外,还可以传递自定义的拒绝策略。如果想使用自定义的拒绝策略,则只需要实现RejectedExecutionHandler接口,并重写rejectedExecution(Runnable, ThreadPoolExecutor)方法即可。例如,下面的代码。

public class CustomPolicy implements RejectedExecutionHandler {public CustomPolicy() { }public void rejectedExecution(Runnable r, ThreadPoolExecutor e) {if (!e.isShutdown()) {System.out.println("使用调用者所在的线程来执行任务")r.run();}}
}

使用如下方式创建线程池。

new ThreadPoolExecutor(0, Integer.MAX_VALUE,60L, TimeUnit.SECONDS,new SynchronousQueue<Runnable>(),Executors.defaultThreadFactory(),new CustomPolicy());

至此,线程池执行任务的整体核心逻辑分析结束。

点击关注,第一时间了解华为云新鲜技术~

深入分析3种线程池执行任务的逻辑方法相关推荐

  1. java线程池详解及五种线程池方法详解

    基础知识 Executors创建线程池 Java中创建线程池很简单,只需要调用Executors中相应的便捷方法即可,比如Executors.newFixedThreadPool(int nThrea ...

  2. hibernate 并发获取session失败 空指针_高并发之|通过ThreadPoolExecutor类的源码深度解析线程池执行任务的核心流程...

    核心逻辑概述 ThreadPoolExecutor是Java线程池中最核心的类之一,它能够保证线程池按照正常的业务逻辑执行任务,并通过原子方式更新线程池每个阶段的状态. ThreadPoolExecu ...

  3. Java Executor源码解析(3)—ThreadPoolExecutor线程池execute核心方法源码【一万字】

    基于JDK1.8详细介绍了ThreadPoolExecutor线程池的execute方法源码! 上一篇文章中,我们介绍了:Java Executor源码解析(2)-ThreadPoolExecutor ...

  4. Java线程池的使用方法

    前言 多线程的异步执行方式,虽然能够最大限度发挥多核计算机的计算能力,但是如果不加控制,反而会对系统造成负担.线程本身也要占用内存空间,大量的线程会占用内存资源并且可能会导致Out of Memory ...

  5. Java四种线程池newCachedThreadPool,newFixedThreadPool,newScheduledThreadPool,newSingleThreadExecutor...

    1.new Thread的弊端 执行一个异步任务你还只是如下new Thread吗? Java new Thread(new Runnable() {@Override public void run ...

  6. java 线程工厂_Java并发编程:Java的四种线程池的使用,以及自定义线程工厂

    引言 通过前面的文章,我们学习了Executor框架中的核心类ThreadPoolExecutor ,对于线程池的核心调度机制有了一定的了解,并且成功使用ThreadPoolExecutor 创建了线 ...

  7. Java 四种线程池的用法分析

    1.new Thread的弊端 执行一个异步任务你还只是如下new Thread吗? new Thread(new Runnable() {@Overridepublic void run() {// ...

  8. java线程池饱和策略_干货:Java几种线程池的分析和使用。

    原标题:干货:Java几种线程池的分析和使用. 利用线程池的优势: 1.降低资源消耗.通过重复利用已创建的线程降低线程创建和销毁造成的消耗. 2.提高响应速度.当任务到达时,任务可以不需要等到线程创建 ...

  9. Java四种线程池类

    Java中四种具有不同功能常见的线程池.他们都是直接或者间接配置 ThreadPoolExecutor来实现他们各自的功能.这四种线程池分别是newFixedThreadPool, newCached ...

最新文章

  1. CycliBarriar和CountdownLatch(计数器)
  2. 模式识别机器学习术语
  3. 发现文件夹和文件夹都显示为蓝色和绿色,是否中毒了?
  4. SAP Cloud Application Programming CatalogService 默认的路径
  5. 生信宝典被分享最多的15篇文章
  6. NWT失败反省:做视频的多了,汝眼里怎么只有腾讯
  7. mirdeep2使用笔记
  8. java获取微信用户信息(UnionID)
  9. 「深度小课堂」如何开发一款属于自己的时尚屏保应用?
  10. 新唐N76E003与ST公司STM8S003F3芯片对比 史上最全的没有之一
  11. 计算机d盘给c盘,win10电脑D盘合并分区到c盘的两种方法
  12. 网易详述8个月全过程:员工申请仲裁要求支付61万赔偿
  13. 台式计算机关机后自行重启,台式电脑关机后自动重启的具体解决方法
  14. pipe 半双工_linux进程间通信之管道(无名管道pipe)实现全双工双向通信
  15. 滴滴裁员并不代表互联网进入寒冬,只是精细化管理时代到来了
  16. 超市仓库商品库存管理系统
  17. vs2017旗舰版_2017年的所有旗舰手机都有明显的妥协。 这是他们告诉我们有关设计的信息。...
  18. ESXI 7.0 安装教程
  19. 笔记 -- 时间复杂度 log2n
  20. 罗德里格旋转公式 (Rodrigues’ Rotation Formula)

热门文章

  1. (5)通过Node.js 运行JS代码
  2. 实践 | Centos 7搭建LVS+Keepalived高可用Web服务群集群
  3. Bootstrap 弹出提示插件Popover 的选项
  4. python生成4位验证码random_python 生成验证码很简单:random和srting的方法
  5. 启航篇——四旋翼飞行器之入坑两年心路历程和毕设总结
  6. Git笔记(13) 分支管理
  7. 运行Gazebo出现[Err] [REST.cc:205] Error in REST reques
  8. oracle电梯案例,Oracle技术嘉年华的一个案例,redo的那些事,连载一
  9. 什么叫显示动力学_什么叫显示动力学,什么叫隐式动力学分析!
  10. #3120. 「CTS2019 | CTSC2019」珍珠