Pytorch 多线程运行卡死

Pytorch多线程运行卡死，在github上面有类似问题https://github.com/pytorch/pytorch/issues/1355

2类问题问题及解决方案如下

1、由opencv引起，解决方案为禁止opencv内部线程，注意放在全局可能不生效，最好放置

__getitem__函数内部

cv2.setNumThreads(0)

2、其实我遇到的情况并非opencv造成，其多线程较少时卡死很少，线程数设置大时卡死要多一些，而且模型小的时候卡死很少，模型大的时候卡死频繁，这问题比较奇怪，但是后面看到git里面的回复，设置ubuntu文件数量，我尝试这个方案是有效的，在确定数据加载和模型都没有问题的情况下，设置ulimit -n

1.打开/etc/security/limits.conf添加* hard nofile 51200* soft nofile 51200root hard nofile 51200root soft nofile 512002.添加 vim /etc/pam.d/su 或者 /etc/pam.d/common-session
session required pam_limits.so3.编辑/etc/profile，加入ulimit -SHn 51200重启后可以查看ulimit -n是否显示为51200

设置ulimit的方法来自“武汉星巡打杂工 ” https://blog.csdn.net/m0_38129431/article/details/99410754?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase

Pytorch 多线程运行卡死相关推荐

线程的创建与启动——Thread 类有两个常用的构造方法:Thread()与 Thread(Runnable)||多线程运行结果是随机的
线程的创建与启动在 Java 中,创建一个线程就是创建一个 Thread 类(子类)的对象(实例). Thread 类有两个常用的构造方法:Thread()与 Thread(Runnable).对应 ...
java8多线程运行程序_线程，代码和数据–多线程Java程序实际运行的方式
java8多线程运行程序有些事情是您在学术或培训班上没有学到的,经过几年的工作经验后才逐渐了解,然后才意识到,这是非常基本的事情,我为什么错过了这么多年. 了解多线程Java程序的执行方式就是其中之 ...
CornerNet代码学习之pytorch多线程
Cornernet代码之pytorch多线程学习源码剖析 main() train() 页锁定内存守护线程 init_parallel_jobs().pin_memory() 信号量附录-源码内 ...
C++笔记之linux下非阻塞多线程运行多个系统shell命令(popen方法)
参考博文:C++ linux 睡眠函数sleep和std::this_thread::sleep_for 参考博文:C++笔记之linux下运行系统shell命令(popen方法)函数封装参考博文: ...
龙芯LS1C0300B win+eclipseCPU 不运行/卡死/编译问题
最近遇到龙芯LS1C0300B win+eclipseCPU 不运行/卡死/编译问题. 现象:编译完成无报错,烧写进去CPU不运行. 怀疑可能是没移植好.然后就认认真真的排查了各种初始化代码(mai ...
pytest实现多进程与多线程运行超好用的插件，赶紧来瞄一眼吧！
前言:如果想分布式执行用例,用例设计必须遵循以下原则: 1.用例之间都是独立的, 2.用例a不要去依赖用例b 3.用例执行没先后顺序, 4.随机都能执行每个用例都能独立运行成功每个用例都能重复运行,不 ...
wxPython多线程界面卡死或在不同平台崩溃问题
一.测试程序界面二.不使用多线程代码如下(当点击开启日志的时候,直接导致界面卡死) #coding:utf-8 import sys import threading import time imp ...
c 多线程运行混乱_一篇文章读懂 Python 多线程
本文作者为 Michael Driscoll,是其新书 Python 201 的一节.本文译者为 linkcheng,由EarlGrey@编程派校对. 译者简介:linkcheng,专业电子信息工程. ...
python运行卡死_快速解决jupyter启动卡死的问题
问题描述系统:Win10:之前安装过Cpython,现在依次使用pip install ipython与pip install jupyter安装了 Ipython 6.5.0与 jupyter 1 ...

Pytorch 多线程运行卡死

Pytorch 多线程运行卡死相关推荐

最新文章

热门文章

Pytorch 多线程 运行卡死

Pytorch 多线程 运行卡死相关推荐

最新文章

热门文章

Pytorch 多线程运行卡死

Pytorch 多线程运行卡死相关推荐