点击上方“方志朋”,选择“设为星标”

回复”666“获取新整理的面试资料

作者:空无

来源:https://urlify.cn/63QrYv

问题描述

前几天,在帮同事排查一个线上偶发的线程池错误

逻辑很简单,线程池执行了一个带结果的异步任务。但是最近有偶发的报错:

java.util.concurrent.RejectedExecutionException: Task java.util.concurrent.FutureTask@a5acd19 rejected from java.util.concurrent.ThreadPoolExecutor@30890a38[Terminated, pool size = 0, active threads = 0, queued tasks = 0, completed tasks = 0]

本文中的模拟代码已经问题都是在HotSpot java8 (1.8.0_221)版本下模拟&出现的

下面是模拟代码,通过Executors.newSingleThreadExecutor创建一个单线程的线程池,然后在调用方获取Future的结果

public class ThreadPoolTest {public static void main(String[] args) {final ThreadPoolTest threadPoolTest = new ThreadPoolTest();for (int i = 0; i < 8; i++) {new Thread(new Runnable() {@Overridepublic void run() {while (true) {Future<String> future = threadPoolTest.submit();try {String s = future.get();} catch (InterruptedException e) {e.printStackTrace();} catch (ExecutionException e) {e.printStackTrace();} catch (Error e) {e.printStackTrace();}}}}).start();}//子线程不停gc,模拟偶发的gcnew Thread(new Runnable() {@Overridepublic void run() {while (true) {System.gc();}}}).start();}/*** 异步执行任务* @return*/public Future<String> submit() {//关键点,通过Executors.newSingleThreadExecutor创建一个单线程的线程池ExecutorService executorService = Executors.newSingleThreadExecutor();FutureTask<String> futureTask = new FutureTask(new Callable() {@Overridepublic Object call() throws Exception {Thread.sleep(50);return System.currentTimeMillis() + "";}});executorService.execute(futureTask);return futureTask;}
}

分析&疑问

第一个思考的问题是:线程池为什么关闭了,代码中并没有手动关闭的地方。看一下 Executors.newSingleThreadExecotor的源码实现:

public static ExecutorService newSingleThreadExecutor() {return new FinalizableDelegatedExecutorService(new ThreadPoolExecutor(1, 1,0L, TimeUnit.MILLISECONDS,new LinkedBlockingQueue<Runnable>()));
}

这里创建的实际上是一个 FinalizableDelegatedExecutorService,这个包装类重写了 finalize函数,也就是说这个类会在被GC回收之前,先执行线程池的shutdown方法。

问题来了,GC只会回收不可达(unreachable)的对象,在 submit函数的栈帧未执行完出栈之前, executorService应该是可达的才对。

对于此问题,先抛出结论:

当对象仍存在于作用域(stack frame)时, finalize也可能会被执行

oracle jdk文档中有一段关于finalize的介绍:

https://docs.oracle.com/javas...

A reachable object is any object that can be accessed in any potential continuing computation from any live thread.

Optimizing transformations of a program can be designed that reduce the number of objects that are reachable to be less than those which would naively be considered reachable. For example, a Java compiler or code generator may choose to set a variable or parameter that will no longer be used to null to cause the storage for such an object to be potentially reclaimable sooner.

大概意思是:可达对象(reachable object)是可以从任何活动线程的任何潜在的持续访问中的任何对象;java编译器或代码生成器可能会对不再访问的对象提前置为null,使得对象可以被提前回收

也就是说,在jvm的优化下,可能会出现对象不可达之后被提前置空并回收的情况

举个例子来验证一下(摘自https://stackoverflow.com/questions/24376768/can-java-finalize-an-object-when-it-is-still-in-scope):

class A {@Override protected void finalize() {System.out.println(this + " was finalized!");}public static void main(String[] args) throws InterruptedException {A a = new A();System.out.println("Created " + a);for (int i = 0; i < 1_000_000_000; i++) {if (i % 1_000_00 == 0)System.gc();}System.out.println("done.");}
}
//打印结果
Created A@1be6f5c3
A@1be6f5c3 was finalized!//finalize方法输出
done.

从例子中可以看到,如果a在循环完成后已经不再使用了,则会出现先执行finalize的情况;虽然从对象作用域来说,方法没有执行完,栈帧并没有出栈,但是还是会被提前执行。

现在来增加一行代码,在最后一行打印对象a,让编译器/代码生成器认为后面有对象a的引用

...
System.out.println(a);
//打印结果
Created A@1be6f5c3
done.
A@1be6f5c3

从结果上看,finalize方法都没有执行(因为main方法执行完成后进程直接结束了),更不会出现提前finalize的问题了

基于上面的测试结果,再测试一种情况,在循环之前先将对象a置为null,并且在最后打印保持对象a的引用

A a = new A();
System.out.println("Created " + a);
a = null;//手动置null
for (int i = 0; i < 1_000_000_000; i++) {if (i % 1_000_00 == 0)System.gc();
}
System.out.println("done.");
System.out.println(a);
//打印结果
Created A@1be6f5c3
A@1be6f5c3 was finalized!
done.
null

从结果上看,手动置null的话也会导致对象被提前回收,虽然在最后还有引用,但此时引用的也是null了


现在再回到上面的线程池问题,根据上面介绍的机制,在分析没有引用之后,对象会被提前finalize

可在上述代码中,return之前明明是有引用的 executorService.execute(futureTask),为什么也会提前finalize呢?

猜测可能是由于在execute方法中,会调用threadPoolExecutor,会创建并启动一个新线程,这时会发生一次主动的线程切换,导致在活动线程中对象不可达

结合上面Oracle Jdk文档中的描述“可达对象(reachable object)是可以从任何活动线程的任何潜在的持续访问中的任何对象”,可以认为可能是因为一次显示的线程切换,对象被认为不可达了,导致线程池被提前finalize了

下面来验证一下猜想:

//入口函数
public class FinalizedTest {public static void main(String[] args) {final FinalizedTest finalizedTest = new FinalizedTest();for (int i = 0; i < 8; i++) {new Thread(new Runnable() {@Overridepublic void run() {while (true) {TFutureTask future = finalizedTest.submit();}}}).start();}new Thread(new Runnable() {@Overridepublic void run() {while (true) {System.gc();}}}).start();}public TFutureTask submit(){TExecutorService TExecutorService = Executors.create();TExecutorService.execute();return null;}
}
//Executors.java,模拟juc的Executors
public class Executors {/*** 模拟Executors.createSingleExecutor* @return*/public static TExecutorService create(){return new FinalizableDelegatedTExecutorService(new TThreadPoolExecutor());}static class FinalizableDelegatedTExecutorService extends DelegatedTExecutorService {FinalizableDelegatedTExecutorService(TExecutorService executor) {super(executor);}/*** 析构函数中执行shutdown,修改线程池状态* @throws Throwable*/@Overrideprotected void finalize() throws Throwable {super.shutdown();}}static class DelegatedTExecutorService extends TExecutorService {protected TExecutorService e;public DelegatedTExecutorService(TExecutorService executor) {this.e = executor;}@Overridepublic void execute() {e.execute();}@Overridepublic void shutdown() {e.shutdown();}}
}
//TThreadPoolExecutor.java,模拟juc的ThreadPoolExecutor
public class TThreadPoolExecutor extends TExecutorService {/*** 线程池状态,false:未关闭,true已关闭*/private AtomicBoolean ctl = new AtomicBoolean();@Overridepublic void execute() {//启动一个新线程,模拟ThreadPoolExecutor.executenew Thread(new Runnable() {@Overridepublic void run() {}}).start();//模拟ThreadPoolExecutor,启动新建线程后,循环检查线程池状态,验证是否会在finalize中shutdown//如果线程池被提前shutdown,则抛出异常for (int i = 0; i < 1_000_000; i++) {if(ctl.get()){throw new RuntimeException("reject!!!["+ctl.get()+"]");}}}@Overridepublic void shutdown() {ctl.compareAndSet(false,true);}
}

执行若干时间后报错:

Exception in thread "Thread-1" java.lang.RuntimeException: reject!!![true]

从错误上来看,“线程池”同样被提前shutdown了,那么一定是由于新建线程导致的吗?

下面将新建线程修改为 Thread.sleep测试一下:

//TThreadPoolExecutor.java,修改后的execute方法
public void execute() {try {//显式的sleep 1 ns,主动切换线程TimeUnit.NANOSECONDS.sleep(1);} catch (InterruptedException e) {e.printStackTrace();}//模拟ThreadPoolExecutor,启动新建线程后,循环检查线程池状态,验证是否会在finalize中shutdown//如果线程池被提前shutdown,则抛出异常for (int i = 0; i < 1_000_000; i++) {if(ctl.get()){throw new RuntimeException("reject!!!["+ctl.get()+"]");}}
}

执行结果一样是报错

Exception in thread "Thread-3" java.lang.RuntimeException: reject!!![true]

由此可得,如果在执行的过程中,发生一次显式的线程切换,则会让编译器/代码生成器认为外层包装对象不可达

总结

虽然GC只会回收不可达GC ROOT的对象,但是在编译器(没有明确指出,也可能是JIT)/代码生成器的优化下,可能会出现对象提前置null,或者线程切换导致的“提前对象不可达”的情况。

所以如果想在finalize方法里做些事情的话,一定在最后显示的引用一下对象(toString/hashcode都可以),保持对象的可达性(reachable)

上面关于线程切换导致的对象不可达,没有官方文献的支持,只是个人一个测试结果,如有问题欢迎指出

综上所述,这种回收机制并不是JDK的bug,而算是一个优化策略,提前回收而已;但 Executors.newSingleThreadExecutor的实现里通过finalize来自动关闭线程池的做法是有Bug的,在经过优化后可能会导致线程池的提前shutdown,从而导致异常。

线程池的这个问题,在JDK的论坛里也是一个公开但未解决状态的问题https://bugs.openjdk.java.net/browse/JDK-8145304。

不过在JDK11下,该问题已经被修复:

JUC  Executors.FinalizableDelegatedExecutorService
public void execute(Runnable command) {try {e.execute(command);} finally { reachabilityFence(this); }
}

热门内容:

  • 互联网公司的中年人都去哪了?

  • Github 标星 11.5K!这可能是最好的 Java 博客系统

  • 大批 IDEA 激活码到期之后的乱象...

  • 全面了解 Nginx 主要应用场景

  • 为什么微服务一定要有网关?

  • 那些在一个公司死磕了5-10年的人,最后都怎么样了?

最近面试BAT,整理一份面试资料《Java面试BAT通关手册》,覆盖了Java核心技术、JVM、Java并发、SSM、微服务、数据库、数据结构等等。

获取方式:点“在看”,关注公众号并回复 666 领取,更多内容陆续奉上。

明天见(。・ω・。)ノ♡

一个JDK线程池BUG引发的GC机制思考相关推荐

  1. 一个 Java 线程池bug引发的 GC 机制思考

    本文作者:空无 原文链接:https://segmentfault.com/a/1190000021109130 问题描述 前几天,在帮同事排查一个线上偶发的线程池错误 逻辑很简单,线程池执行了一个带 ...

  2. 一个线程池 bug 引发的 GC 思考!

    问题描述 前几天在帮同事排查生产一个线上偶发的线程池错误,逻辑很简单,线程池执行了一个带结果的异步任务. 但是最近有偶发的报错: java.util.concurrent.RejectedExecut ...

  3. JDK线程池的ThreadFactory

    JDK线程池:Executors.newFixedThreadPool , Executors.newSingleThreadExecutor,由一个ThreadFactory来创建新的线程,默认情况 ...

  4. JAVA 多线程 JAVA 如何开发一个自定义线程池

    1.多线程设计介绍 每一个线程的启动和结束都是比较消耗时间和占用资源的. 如果在系统中用到了很多的线程,大量的启动和结束动作会导致系统的性能变卡,响应变慢. 为了解决这个问题,引入线程池这种设计思想. ...

  5. 20.案例实战:为@Async实现一个自定义线程池

    代码:https://github.com/NIGHTFIGHTING/spring_boot_learning/tree/master/19-20/agan-boot/agan-boot-async ...

  6. juc线程池原理(六):jdk线程池中的设计模式

    一.jdk中默认线程池中的代理模式 单例类线程池只有一个线程,无边界队列,适合cpu密集的运算.jdk中创建线程池是通过Executors类中提供的静态的方法来创建的,其中的单例类线程池的方法如下: ...

  7. 程序员修仙之路-数据结构之设计一个高性能线程池

    原因排查 经过一个多小时的代码排查终于查明了线上程序线程数过多的原因:这是一个接收mq消息的一个服务,程序大体思路是这样的,监听的线程每次收到一条消息,就启动一个线程去执行,每次启动的线程都是新的.说 ...

  8. 深入剖析JDK线程池ThreadPool

    前言 线程池是java人员在工作中经遇到的一个技术,也是一个技术难点,最近遇到一个生产环境线程池使用问题,今天特针对源码和平时的工作经验,对ThreadPoolExecutor进行一个全面的剖析 1. ...

  9. JDK线程池CompletionService的使用

    最近使用多线程优化了一个非常耗时的ping任务,下面的是未优化的源代码,大致就是遍历es取出的list,然后循环判断是否能ping通: SearchResponse searchResponse = ...

最新文章

  1. 虚幻引擎4:打造街机经典游戏学习教程 Unreal Engine 4: Create an Arcade Classic
  2. 2021-01-26 Python自动化办公-处理word文档
  3. 学计算机大四找不到工作怎么办,大四学生延迟毕业找不到工作,我不能被原谅吗?...
  4. 1566:基础练习 十六进制转八进制
  5. 关于家庭路由器网络布线
  6. CoreAnimation动画入门(总结)
  7. 实现Ogre的脚本分离 - 天龙八部的源码分析(一)
  8. Android RecyclerView之粘性头部+点击事件(非原创)
  9. Summary of defect detection algorithms based on deep learning
  10. AI产业链的划分,主要可分为基础层、技术层和应用层
  11. C++-STL(1)-Vector-随机数(randon、default_random_engine)
  12. 【JWT】JWT JWS JWE | 在线JWS解析工具
  13. 网络游戏安全小议(端游/页游/手游)
  14. SQL学习笔记——task4:集合运算与内连结
  15. 【数据结构】二叉树 —— 概念 + 结构
  16. nginx集群与高并发
  17. RISC-V扩展指令示例
  18. 性能测试篇-通过shell脚本优化iozone测试硬盘读写性能
  19. 计算机网络流量监控设计方案,计算机网络流量监控的设计与实现
  20. [代码积累]解决HL7协议、TCP/IP通讯、16进制转字符串,中文乱码的问题。

热门文章

  1. property装饰器
  2. 微酷WeiKuCMS现赠送高速开发系统软件。公司、程序猿的福音呀!
  3. oracle-imp导入小错filesize设置
  4. JPA相关--Annotation
  5. 尚国栋:金融风控贷款违约预测(天池学习赛)
  6. 中国电子学会图形化四级编程题:绳子算法
  7. LeetCode实战:二叉树中的最大路径和
  8. 苹果新功能惹网友众怒,还有隐私可言吗?
  9. 唏嘘!程序员,你的年底KPI完不成的原因找到了!
  10. 解读 | 2019年10篇计算机视觉精选论文(中)