PyTorch线程池泄露Leaking Caffe2 thread-pool after fork

这两天跑模型，换了新环境，在实验室服务器上跑，由于cpu很猛（线程撕裂者3975wx，32核64线程），索性我就干脆设置num_workers = 10，这样做数据增强确实快很多，而且cpu占用率也才25%（这cpu真滴猛）。于是乎训练过程，出现了警告，数量为设置的线程数量：

[W pthreadpool-cpp.cc:90] Warning: Leaking Caffe2 thread-pool after fork. (function pthreadpool)

如果把线程数改小一些，就不会有警告了，但是会影响运行速度，所以可以当作不存在。PyTorch版本1.10之后就会修复了，问题不大。

参考：

https://blog.csdn.net/qq_41963227/article/details/119391566

PyTorch线程池泄露Leaking Caffe2 thread-pool after fork相关推荐

关于MySQL线程池，这也许是目前最全面的实用帖！
作者介绍张秀云,网名飞鸿无痕,现任职于腾讯,负责腾讯金融数据库的运维和优化工作.2007年开始从事运维方面的工作,经历过网络管理员.Linux运维工程师.DBA.分布式存储运维等多个职位.对Linu ...
【JUC并发编程11】线程池
文章目录线程池 11.1 线程池概述 11.2 线程池架构 11.3 线程池使用方式 11.4 线程池底层原则 11.5 线程池的七个参数 11.6 线程池底层工作流程 11.7 自定义线程池线程 ...
关于MySQL线程池，这也许是目前最全面的实用帖！（转载）
关于MySQL线程池,这也许是目前最全面的实用帖! 最近出现多次由于上层组件异常导致DB雪崩的情况,笔者将部分监控DB启用了线程池功能,在使用线程池的过程中不断深入学习的同时,也遇到了不少问题. 本文 ...
(Java) 线程池
线程池:1.出现版本:JDK1.52.包:java.util.concurrent3.Executors类 -->工厂类1.三个静态方法:static ExecutorService newCa ...
【java线程系列】java线程系列之java线程池详解
一线程池的概念及为何需要线程池: 我们知道当我们自己创建一个线程时如果该线程执行完任务后就进入死亡状态,这样如果我们需要在次使用一个线程时得重新创建一个线程,但是线程的创建是要付出一定的代价的,如果在 ...
java线程池详解及五种线程池方法详解
基础知识 Executors创建线程池 Java中创建线程池很简单,只需要调用Executors中相应的便捷方法即可,比如Executors.newFixedThreadPool(int nThrea ...
ThreadPool 线程池
文章目录 ThreadPool 线程池游泳池线程池简介(三大方法,七大参数,四大策略) Executor类线程池参数说明拒绝策略(重点) Executors 线程池的方法与创建 newCach ...
线程池(ThreadPool)
线程池ThreadPool 1.线程池简介 2.线程池参数说明(重点) 2.1 常用参数说明 2.2 拒绝策略(重点) 3.线程池底层工作原理 4.入门案例 1.线程池简介线程池(英语:thre ...
【Java并发编程】面试必备之线程池
什么是线程池是一种基于池化思想管理线程的工具.池化技术:池化技术简单点来说,就是提前保存大量的资源,以备不时之需.比如我们的对象池,数据库连接池等. 线程池好处我们为什么要使用线程池,直接new ...

PyTorch线程池泄露Leaking Caffe2 thread-pool after fork

PyTorch线程池泄露Leaking Caffe2 thread-pool after fork

PyTorch线程池泄露Leaking Caffe2 thread-pool after fork相关推荐

最新文章

热门文章