pytorch运行过程中死机（内存爆掉或者内存正常）

linux18.04下，在运行pytorch程序的过程中，电脑直接卡死死机，鼠标和键盘都没有反应，只能强制关机。

安装htop观察内存和cpu的使用情况，内存32G，CPU是i7-8700。

程序在之前没有问题，在修改添加了一个整个迭代过程中损失记录total_loss，程序爆掉，无法正常运行，在htop中就眼睁睁看着内存涨到30.8G，然后机器卡死。因为每次开机电脑都会弹出系统损坏，我还以为是内存free部分出现了问题，按照别人的博客加了脚本，没什么用。后来又怀疑是显卡驱动出现了问题。

跑了别的程序发现没有问题，才发觉问题在修改之后的程序上。

https://ptorch.com/news/160.html

在这个链接中讲解了在Pytorch环境下内存爆掉的情况，应该使用

total_loss += loss.item()

而不是使用

total_loss += loss

在循环遍历过程中积累历史，而loss是一个具有autograd历史的可微变量，随着在内存中不断积累

同样可以通过编写total_loss += float(loss)来解决这个问题。

2020-10-03

疫情期间在家远程跑程序，监控显存和内存：

在显存和内存均未超出限制的情况下，运行大概1-5分钟，电脑出现卡死、花屏等情况。（如果不跑程序，电脑正常不死机）

首先在新机器上确定代码没有问题，接着重装系统依旧出现了死机的情况。

在这种情况下，大概率是显卡出现了问题，对于多卡的机器就分开逐卡检测，如果单卡机器直接换一块不用重装驱动的显卡跑程序测试。

pytorch运行过程中死机（内存爆掉或者内存正常）相关推荐

电脑主机开机时一直断电启动循环或者在使用过程中死机只能强制关机
这篇文章只提供参考,我的解决办法不一定能解决你的问题. 电脑主机开机时一直断电启动循环或者在使用过程中死机只能强制关机有可能是你的内存条出了问题,建议检查主机的内存条(看看是不是内存条的金手指脱落 ...
ansys在求解过程中死机关机的解决办法
ansys是一款功能强大的仿真软件.它用于分析工程领域的结构分析和流体动力学.在使用ansys软件时,必须面对许多复杂的问题,并且计算机会崩溃关机.这导致工作人员的时间浪费以及效率低下. ansys关 ...
Pytorch运行过程中解决出现内存不足的问题
1. 前提利用Transformer模型进行O3浓度的反演 2. 问题 2.1 速度慢一开始模型是在CPU上面跑的,为了加快速度,我改成了在GPU上跑方法如下: 1.验证pytorch是否存在G ...
苹果手机升级13无法开机_iOS13.5正式更新，升级过程中死机怎么解决？
今天凌晨,苹果正式推送了 iOS13.5 正式版的更新,此次更新主要优化了戴口罩解锁体验.当 iPhone 检测到用户戴着口罩时,会直接弹出密码输入界面,不需要反复向上滑动. 一般来说,升级更新iPh ...
内存管理——程序运行过程中内存的作用以及如何与cpu、os交互
今年以来,内存条价格暴涨,已经跃升为新的新一代理财产品,所以今天就和大家讨论一下内存条的话题,主要内容就是在程序运行过程中,内存的作用以及如何与CPU,OS交互. 我们先来讨论:计算机的运行究竟是在做 ...
C# winform程序运行过程中提示尝试读取或写入受保护的内存.这通常指示其他内存已损坏的
C# winform程序运行过程中提示"尝试读取或写入受保护的内存.这通常指示其他内存已损坏的" 错误,如下图所示查看详细信息如下未处理System.AccessViolati ...
java在程序运行过程中_Java内存管理-程序运行过程（一）
做一个积极的人编码.改bug.提升自己我有一个乐园,面向编程,春暖花开! 勿在浮沙筑高台,出来混迟早要还的. 相信在做Java开发的伙伴一定知道 JVM(Java Virtual Machine( ...
光纤收发器长距离的传输过程出现死机的解决方案
光纤收发器是网络通信中必不可少的一种设备,但是,我们在使用过程中难免会遇到各种各样的问题,其中,光纤收发器出现死机可以说是很常见的一种故障,那么,光纤收发器经常会出现死机到底是什么原因,是光纤收发器坏 ...
STM32运行过程中降低系统时钟频率
目录 1. 概述 2. 直接修改外部时钟 2.1 生成时钟函数 2.1.1 设置系统时钟为16M: 2.1.2 配置时钟72M: 2.2 测试降频 3. 借助内部时钟 3.1 生成时钟函数 3.2 测 ...

pytorch运行过程中死机（内存爆掉或者内存正常）

pytorch运行过程中死机（内存爆掉或者内存正常）相关推荐

最新文章

热门文章