pytorch 训练时候不动了

因为用的线程太多，打开文件太多了导致的，如下步骤

1 num_workers变小有助于解决这个问题

    train_loader = DataLoader(dataset=train_set,batch_size=args.batchsize,shuffle=True,num_workers=4,pin_memory=True,)

2.提高linux limit

参考https://learnku.com/articles/21457

3.程序中使用了Image.open, 但是没有close

img = Image.open(imgpath).convert("RGBA")
img.close()

4.不使用多线程，使用主线程加载数据

    train_loader = DataLoader(dataset=train_set,batch_size=args.batchsize,shuffle=True,num_workers=0,pin_memory=True,)

5.检查图片，是否有异常图片，加载使用主线程，对与加载的前后，打印文件名，如果，开始加载的文件名打印了，加载结束后的文件名，，没有打印，代表这个文件加载失败，查看文件图片长宽等是否异常，我遇到这个问题是，某些图片，宽只有40，出现了异常。修复或忽略异常图片即可。

pytorch 训练时候不动了相关推荐

让PyTorch训练速度更快，你需要掌握这17种方法
选自efficientdl.com 作者:LORENZ KUHN 机器之心编译编辑:陈萍掌握这 17 种方法,用最省力的方式,加速你的 Pytorch 深度学习训练. 近日,Reddit 上一个帖 ...
PyTorch训练加速17种技巧
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达文自机器之心作者:LORENZ KUHN 编辑:陈萍掌握这 ...
Pytorch 训练与测试时爆显存(cuda out of memory)的终极解决方案，使用cpu(勿喷)
Pytorch 训练与测试时爆显存(cuda out of memory)的终极解决方案,使用cpu(勿喷) 参见了很多方法,都没有用. 简单点,直接把gpu设成-1
送你9个快速使用Pytorch训练解决神经网络的技巧（附代码）
来源:读芯术本文约4800字,建议阅读10分钟. 本文为大家介绍9个使用Pytorch训练解决神经网络的技巧图片来源:unsplash.com/@dulgier 事实上,你的模型可能还停留在石器时 ...
若使用numba.cuda.jit加速pytorch训练代码会怎样
也许没有察觉在使用pytorch训练数据的时候cuda 显卡总是发挥不到最大性能这就是你的cpu程序拖住了你的显卡怎么办目前我能想到的最好方法就是使用numba.cuda.jit这样你也不用 ...
pytorch训练过程中loss出现NaN的原因及可采取的方法
在pytorch训练过程中出现loss=nan的情况 1.学习率太高. 2.loss函数 3.对于回归问题,可能出现了除0 的计算,加一个很小的余项可能可以解决 4.数据本身,是否存在Nan,可以用n ...
这17 种方法让 PyTorch 训练速度更快！
点上方蓝字计算机视觉联盟获取更多干货在右上方 ··· 设为星标 ★,与你不见不散仅作学术分享,不代表本公众号立场,侵权联系删除转载于:选自 | efficientdl.com 作者 | LO ...
DataLoader worker (pid 2287) is killed by signal: Killed. pytorch训练解决方法
DataLoader worker (pid 2287) is killed by signal: Killed. pytorch训练解决方法参考文章: (1)DataLoader worker ( ...
如何用PyTorch训练图像分类器
本文为 AI 研习社编译的技术博客,原标题 : How to Train an Image Classifier in PyTorch and use it to Perform Basic Infe ...

pytorch 训练时候不动了

pytorch 训练时候不动了相关推荐

最新文章

热门文章