在开发过程中,合理地使用线程池能够带来3个好处。

  • 降低资源消耗。通过重复利用已创建的线程降低线程创建和销毁造成的消耗。
  • 提高响应速度。当任务到达时,任务可以不需要等到线程创建就能立即执行。
  • 提高线程的可管理性。线程是稀缺资源,如果无限制地创建,不仅会消耗系统资源,
    还会降低系统的稳定性,使用线程池可以进行统一分配、调优和监控。

1. 线程池的使用原理

从图中可以看出,当提交一个新任务到线程池时,线程池的处理流程如下。

  1. 线程池判断核心线程池里的线程是否都在执行任务。如果不是,则创建一个新的工作
    线程来执行任务。如果核心线程池里的线程都在执行任务,则进入下个流程。
  2. 线程池判断工作队列是否已经满。如果工作队列没有满,则将新提交的任务存储在这
    个工作队列里。如果工作队列满了,则进入下个流程。
  3. 线程池判断线程池的线程是否都处于工作状态。如果没有,则创建一个新的工作线程
    来执行任务。如果已经满了,则交给饱和策略来处理这个任务。

ThreadPool的执行示意图:

ThreadPoolExecutor执行execute方法分下面4种情况。

  1. 如果当前运行的线程少于corePoolSize,则创建新线程来执行任务(注意,执行这一步骤需要获取全局锁)。
  2. 如果运行的线程等于或多于corePoolSize,则将任务加入BlockingQueue。
  3. 如果无法将任务加入BlockingQueue(队列已满),则创建新的线程来处理任务(注意,执行这一步骤需要获取全局锁)。
  4. 如果创建新线程将使当前运行的线程超出maximumPoolSize,任务将被拒绝,并调用
    RejectedExecutionHandler.rejectedExecution()方法。

下面我们从源码的角度分析一下ThreadPoolExecutor的execute()方法:

 public void execute(Runnable command) {if (command == null)throw new NullPointerException();int c = ctl.get();// 如果线程数小于基本线程数,则创建线程并执行当前任务if (workerCountOf(c) < corePoolSize) {if (addWorker(command, true))return;c = ctl.get();}// 如线程数大于等于基本线程数或线程创建失败,则将当前任务放到工作队列中。if (isRunning(c) && workQueue.offer(command)) {int recheck = ctl.get();if (! isRunning(recheck) && remove(command))//抛出RejectedExecutionException异常reject(command);//如果线程池不处于运行中或任务无法放入队列中,并且当前线程的数量小于最大允许的线程数量,则创建一个工作线程执行任务。else if (workerCountOf(recheck) == 0)addWorker(null, false);}else if (!addWorker(command, false))//抛出RejectedExecutionException异常reject(command);}

工作线程:线程池创建线程时,会将线程封装成工作线程Worker,Worker在执行完任务后,还会循环获取工作队列里的任务来执行。我们可以从Worker类的run()方法里看到这点。

final void runWorker(Worker w) {Thread wt = Thread.currentThread();Runnable task = w.firstTask;w.firstTask = null;w.unlock(); // allow interruptsboolean completedAbruptly = true;try {while (task != null || (task = getTask()) != null) {w.lock();// If pool is stopping, ensure thread is interrupted;// if not, ensure thread is not interrupted.  This// requires a recheck in second case to deal with// shutdownNow race while clearing interruptif ((runStateAtLeast(ctl.get(), STOP) ||(Thread.interrupted() &&runStateAtLeast(ctl.get(), STOP))) &&!wt.isInterrupted())wt.interrupt();try {beforeExecute(wt, task);Throwable thrown = null;try {task.run();} catch (RuntimeException x) {thrown = x; throw x;} catch (Error x) {thrown = x; throw x;} catch (Throwable x) {thrown = x; throw new Error(x);} finally {afterExecute(task, thrown);}} finally {task = null;w.completedTasks++;w.unlock();}}completedAbruptly = false;} finally {processWorkerExit(w, completedAbruptly);}}

ThreadPoolExecutor中线程执行任务的示意图 如下:

2. 线程池的使用

2.1 设置线程池的大小

  • 如果线程池设置地过大,那么大量的线程将在相对很少的CPU和内存资源上发生竞争,这不仅会导致更高的内存使用量,而且可能会耗尽CPU资源。
  • 如果线程池设置地过小,那么导致许多空闲的处理器无法执行工作,从而降低吞吐率
  1. 对于计算密集型的任务,在拥有N个处理器的系统上,当线程池的大小设置为N+1时,通常能实现最优的利用率
  2. 对于包含I/O操作或者其他阻塞操作的任务,由于线程不会一直执行,因此线程池的规模应该更大。要正确的设置线程池的大小,还需要估算任务的等待时间与计算时间的比值。

下面我们将给出如何设置线程池的大小:

2.2 线程工厂

每当线程池需要创建一个线程池时,都是通过线程工厂方法将创建一个新的、非守护线程,并且不包含特殊的配置信息。

ThreaFactory接口:

public interface ThreadFactory {/*** Constructs a new {@code Thread}.  Implementations may also initialize* priority, name, daemon status, {@code ThreadGroup}, etc.** @param r a runnable to be executed by new thread instance* @return constructed thread, or {@code null} if the request to*         create a thread is rejected*/Thread newThread(Runnable r);
}

2.3 线程池的创建

我们可以通过ThreadPoolExecutor来创建一个线程池。

new ThreadPoolExecutor(corePoolSize, maximumPoolSize, keepAliveTime,milliseconds,runnableTaskQueue, handler);

创建一个线程池时需要输入几个参数,如下。

  • corePoolSize(线程池的基本大小):当提交一个任务到线程池时,线程池会创建一个线程来执行任务,即使其他空闲的基本线程能够执行新任务也会创建线程,等到需要执行的任务数大于线程池基本大小时就不再创建。
  • runnableTaskQueue(任务队列):用于保存等待执行的任务的阻塞队列。可以选择以下几个阻塞队列。
    • ArrayBlockingQueue:是一个基于数组结构的有界阻塞队列
    • LinkedBlockingQueue:一个基于链表结构的有界阻塞队列
    • SynchronousQueue:一个不存储元素的阻塞队列。
    • PriorityBlockingQueue:一个具有优先级的无限阻塞队列。
  • maximumPoolSize(线程池最大数量):线程池允许创建的最大线程数。
  • ThreadFactory:用于设置创建线程的工厂,可以通过线程工厂给每个创建出来的线程设置更有意义的名字。使用开源框架guava提供的ThreadFactoryBuilder
  • RejectedExecutionHandler(饱和策略):当队列和线程池都满了,说明线程池处于饱和状态,那么必须采取一种策略处理提交的新任务。
    • AbortPolicy: 直接抛出异常
    • CallerRunsPolicy:只用调用者所在线程来运行任务
    • DiscardOldestPolicy:丢弃最近的一个任务,并执行当前线程。
    • DiscardPolicy:不处理丢掉
  • keepAliveTime(线程活动保持时间):线程池的工作线程空闲后,保持存活的时间。所以,如果任务很多,并且每个任务执行的时间比较短,可以调大时间,提高线程的利用率。
  • TimeUnit(线程活动保持时间的单位):可选的单位有天(DAYS)、小时(HOURS)、分钟(MINUTES)、毫秒(MILLISECONDS)、微秒(MICROSECONDS,千分之一毫秒)和纳秒

在调用构造函数后在定制ThreadPoolExecutor

在调用完ThreadPoolExecutor的构造函数之后,仍然可以通过设置函数(Setter)来修改大多数传递给他的构造函数的参数。(比如线程池的基本大小、最大大小、存活时间、线程工厂、以及拒绝执行处理器(Reject Exectuon Handler)、工作队列等待)

public class ModifyThreadPoolExecutor {public static void main(String[] args) {ExecutorService executorService = Executors.newCachedThreadPool();if(executorService instanceof ThreadPoolExecutor){((ThreadPoolExecutor)executorService).setCorePoolSize(10);((ThreadPoolExecutor)executorService).setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy());}elsethrow new AssertionError("Ops, bad assumption");}
}

扩展ThreadPoolExecutor

ThreadPoolExecutor是可以扩展的,它提供了几个可以在子类中重写的方法。包括beforeExecute、afterExecute和terminated。

  • beforeExecute():执行任务的线程在执行任务之前将调用beforeExecute()方法
  • afterExecute():执行任务的线程在执行任务之后将调用afterExecute()方法
  • terminated():线程池在完成关闭操作时调用terminated,也就是在所有任务都已经完成并且所有的工厂者线程也已经关闭后。terminated可以用来释放Executor在其生命周期里分配的各种资源,还可以执行发送通知、记录日志或者收集finalize统计信息等操作。
public class TimingThreadpool extends ThreadPoolExecutor{private final ThreadLocal<Long> startTime =new ThreadLocal<>();private final Logger logger= Logger.getLogger("TimingThreadpool");private final AtomicLong numTasks=new AtomicLong();private final AtomicLong totalTime=new AtomicLong();public TimingThreadpool(int corePoolSize, int maximumPoolSize, long keepAliveTime, TimeUnit unit, BlockingQueue<Runnable> workQueue) {super(corePoolSize, maximumPoolSize, keepAliveTime, unit, workQueue);}@Overrideprotected void beforeExecute(Thread t, Runnable r) {super.beforeExecute(t, r);logger.fine((String.format("Thread %s: start %s ",t,r)));startTime.set(System.nanoTime());numTasks.incrementAndGet();}@Overrideprotected void afterExecute(Runnable r, Throwable t) {try {long endTime=System.nanoTime();long taskTime=endTime-startTime.get();long l = totalTime.addAndGet(taskTime);logger.fine((String.format("Thread %s end %s ,time =%dns",t,r,taskTime)));} finally {super.afterExecute(r, t);}}@Overrideprotected void terminated() {try {logger.fine(String.format("Terminated: avg time =%dns",totalTime.get()/numTasks.get()));} finally {super.terminated();}}
}

2.4 向线程池提交任务

可以使用两个方法向线程池提交任务,分别为execute()和submit()方法。

  1. execute()方法用于提交不需要返回值的任务,所以无法判断任务是否被线程池执行成功。
  2. submit()方法用于提交需要返回值的任务。线程池会返回一个future类型的对象,通过这个future对象可以判断任务是否执行成功,并且可以通过future的get()方法来获取返回值,get()方法会阻塞当前线程直到任务完成,而使用get(long timeout,TimeUnit unit)方法则会阻塞当前线程一段时间后立即返回,这时候有可能任务没有执行完。

2.5 关闭线程池

关闭线程池有两种方式,一种是调用shutdown()方法还有一种是调用shutdownNow()方法来关闭线程池。它们的原理是遍历线程池中的工作线程,然后逐个调用线程的interrupt方法来中断线程,所以无法响应中断的任务可能永远无法终止。

但是他们之间也存在一些区别:

  • shutdownNow首先将线程池的状态设置成STOP,然后尝试停止所有的正在执行或暂停任务的线程,并返回等待执行任务的列表
  • shutdown只是将线程池的状态设置成SHUTDOWN状态,然后中断所有没有正在执行任务的线程。

当调用shutdown()和shutdownNow()方法之后,线程池执行isShutdown方法就会返回true。当所有的任务都已关闭后,才表示线程池关闭成功,这时调用isTerminaed方法会返回true。

2.6 合理地配置线程池

要合理配置线程池,需要先分析任务的特性:

  1. 任务的性质:CPU密集型任务、IO密集型任务 和 混合型任务。
  2. 优先级:高、中、低。
  3. 执行时间:长、中、短。
  4. 任务的依赖性:是否依赖其他的系统资源,如数据库连接等。

配置方案

  • 根据任务性质,可做如下配置:

    • CPU密集型任务

      尽量使用小规模线程池,一般线程数量:CPU核心数 + 1。

      因为CPU密集型任务的CPU利用率很高,过多线程导致上下文切换过多,造成额外开销。

    • IO密集型任务

      使用稍大的线程池,尽量配置多的线程,一般线程配置数量:CPU核心数 * 2。

      这种任务CPU利用率不是很高,因此可以让CPU在等待IO的时候去处理别的任务。

    • 混合型任务

      任务分解成:CPU密集 和 IO密集 型任务,然后分别用不同规模线程池处理。

      注意:只要分解后的两个任务执行时间相差不大,会比原来串行执行吞吐量高。

      但是,如果相差时间不大,先执行完的任务 要等待 后执行完的任务,最终执行时间依然取决于 后执行完的任务,还要加上任务拆分、合并的开销,得不偿失。

  • 优先级,可以使用优先级队列PriorityBlockingQueue来处理,它会让优先级高的任务先执行。

  • 执行时间不同的任务,可以交给不同规模的线程池来处理,或使用优先级队列,让短任务先执行。

  • 数据库依赖性任务,线程提交SQL等待数据库返回结果,等待时间越长,则CPU空闲时间越长。因此,可以将线程数量设置较大,能更好利用CPU。

使用线程池建议:建议使用有界队列,可以增加系统稳定性 和 预警能力。

2.7 线程池的监控

如果系统大量使用线程池,则有必要对线程池进行监控。

可以通过线程池提供的参数进行监控

  • taskCount:需要执行的任务数量
  • completedTaskCount:已完成的任务数量
  • largestPoolSize:线程池中曾经创建过的最大线程数量
  • getPoolSize:线程池的线程数量,只增不减
  • getActiveCount:获取活动的线程数量

也可继承线程池来自定义线程池进行监控,重写beforeExecute()afterExecute()terminated()方法进行监控。

Java高并发编程(十一):Java中线程池相关推荐

  1. Java高并发编程详解系列-线程池原理自定义线程池

    之前博客的所有内容是对单个线程的操作,例如有Thread和Runnable的使用以及ThreadGroup等的使用,但是对于在有些场景下我们需要管理很多的线程,而对于这些线程的管理有一个统一的管理工具 ...

  2. 高并发编程-自定义简易的线程池(2),体会原理

    文章目录 概述 示例 概述 高并发编程-自定义简易的线程池(1),体会原理 中只实现了任务队列,我们这里把其余的几个也补充进来 拒绝策略 关闭线程池 最小 最大 活动线程数 - 示例 比较简单,直接上 ...

  3. Java高并发编程详解系列-线程上下文设计模式及ThreadLocal详解

    导语   在之前的分享中提到过一个概念就是线程之间的通信,都知道在线程之间的通信是一件很消耗资源的事情.但是又不得不去做的一件事情.为了保证多线程线程安全就必须进行线程之间的通信,保证每个线程获取到的 ...

  4. Java高并发编程详解系列-线程安全数据同步

    在多线程中最为复杂和最为重要的就是线程安全.多个线程访问同一个对象的时候会导致线程安全问题.通过加锁可以避免这种问题.但是在串行执行的过程中又不用考虑线程安全问题,而使用串行程序效率低没有办法将CPU ...

  5. Java高并发编程详解系列-线程异常处理

    前面的博客中主要描述的关于线程的概念,通过源码分析了解线程的基本操作方式,但是如何在线程运行期间获取异常信息呢?这就要使用到一个Hook线程了 线程运行时的异常   在Thread类中,关于线程运行时 ...

  6. Java高并发编程详解系列-线程通信

      进程间的通信,又被称为是进程内部的通信,我们都知道每个进程中有多个线程在执行,多个线程要互斥的访问共享资源的时候会发送对应的等待信号或者是唤醒线程执行等信号.那么这些信号背后还有什么样的技术支持呢 ...

  7. java高并发(十八)线程池

    在之前已经使用过线程池了.在使用中,基本上就是初始化好线程池的实例之后,把任务丢进去,等待调度执行就可以了.使用起来非常简单方便. new Thread弊端 每次new Thread新建对象,性能差 ...

  8. Java高并发程序设计(六)--线程池(1)

    线程的创建和关闭需要花费时间,可能会浪费资源,所以可以通过让线程复用来解决这个问题. 线程池就是这样一个概念,当需要创建线程的时候直接从线程池中获取,当关闭线程的时候直接归还线程给线程池. Threa ...

  9. java executor_Java并发编程(08):Executor线程池框架

    一.Executor框架简介 1.基础简介 Executor系统中,将线程任务提交和任务执行进行了解耦的设计,Executor有各种功能强大的实现类,提供便捷方式来提交任务并且获取任务执行结果,封装了 ...

  10. 高并发编程-自定义简易的线程池(1),体会原理

    文章目录 概述 示例 概述 我们工作中,并发编程必然离不开jdk提供的j.u.c中的线程池 ,假设让我们自己去设计一个线程池,该从哪几个方面来着手考虑呢? 首先: 既然是线程池 , 那必然 有个初始化 ...

最新文章

  1. 管理95后员工,管理者必知的4条底层逻辑
  2. 手握2.2亿美元,但想不起密码,还有两次机会,一起支支招啊!
  3. 【CV秋季划】人脸美颜与风格化视频上新
  4. 【分析】立即购买vs加入购物车,移动电商购买流程差异分析
  5. 凄怆与悲凉(灾区现场最新照片)
  6. SEO【总结】by 2019年5月
  7. Spring MVC 到底是如何工作的
  8. [Java] Spring事务REQUIRES_NEW导致项目没有响应-原因DB maxActive没设置
  9. Tomcat URL重写
  10. 科来数据包生成器找不到网卡适配器
  11. 微信公众号消息推送教程
  12. Marlin固件运动控制代码分析
  13. 【Oracle】并行等待之PX Deq: Signal ACK
  14. CSAPP:archlab
  15. 元宇宙赔掉底裤?Meta 13个月「烧完」50个白宫
  16. golang:context介绍
  17. Alkyne-PEG-OH 炔烃PEG羟基Alkyne-PEG-OH 炔烃PEG羟基
  18. 推荐几个免费的PDF to Word文件转换器
  19. cad调了比例因子没反应_CAD制图初学入门技巧:将CAD图形缩放为指定尺寸
  20. mysql中更改数据库名字_【实操篇】_MySQL如何更改数据库名字?

热门文章

  1. 【laravel5.4】laravel5.4系列之生成_ide_helper.php文件
  2. 《memory leak: stackwalk》
  3. java中的static方法可以被重写吗?(从方法调用过程理解)
  4. 41.虚拟存储器以及相关算法
  5. 人脸识别加VR技术 港媒:中国高科技加入“垃圾战”
  6. 霍夫变换(hough transform)原理
  7. Fedora 30将获得Bash 5.0,淘汰Yum推迟到Fedora 31
  8. node python 速度_为什么python在递归上比node.js慢得多
  9. 006_Topic消息模式发送对象消息
  10. 012_Redis的aof持久化方式