关于TFP.STS的一个Bug（GPU内存爆掉，无法做预测）

在利用TFP.STS训练模型时，发现GPU内存占用很高，达到98%左右。
训练花费了5627.735171868秒，约94分钟后，发现运行下述代码报错。

temperature_forecast_dist = tfp.sts.forecast(model=model,observed_time_series=training_data,parameter_samples=q_samples_temperature_,num_steps_forecast=num_forecast_steps)

错误为：

File "<string>", line 3, in raise_from
tensorflow.python.framework.errors_impl.ResourceExhaustedError: OOM when allocating tensor with shape[1,1] and type float on /job:localhost/replica:0/task:0/device:GPU:0 by allocator GPU_0_bfc [Op:Unpack]

GPU是爆了，在运行forecast的时候，已没有空间。

想到可以先把model及parameters保存下来，重启一下terminal或许能解决问题。
搜索后，发现类似问题及回复How to save a fitted sts model?，回复的大致意思是目前的版本，还没有这个功能，建议通过numpy中save方法把parameters保存下来；可是model没法保存，是一样不能进行下一步的。

回复是2019年5月29日，这都半年过去了，看来还是没有解决。

关于TFP.STS的一个Bug（GPU内存爆掉，无法做预测）相关推荐

pytorch运行过程中死机（内存爆掉或者内存正常）
linux18.04下,在运行pytorch程序的过程中,电脑直接卡死死机,鼠标和键盘都没有反应,只能强制关机. 安装htop观察内存和cpu的使用情况,内存32G,CPU是i7-8700. 程序在之 ...
mysql内存爆_线上MySQL机器内存爆掉原因分析与解决
现象: 阿里金融某业务的MySQL机器的内存每隔几天就会增长,涨上去后,却不下来.累积后内存爆掉. 分析: 此业务是间隔的对MySQL有大访问,其它时间几乎无访问.排查发现,内存涨时,一般会有MySQ ...
mysql爆内存_线上MySQL数据库机器内存爆掉原因分析与解决
本文主要向大家介绍了线上MySQL数据库机器内存爆掉原因分析与解决,通过具体的内容向大家展现,希望对大家学习MySQL数据库有所帮助. 现象: 阿里金融某业务的MySQL机器的内存每隔几天就会增长,涨 ...
虚拟环境内使用pip安装torch内存爆掉
目录问题描述与解决方案问题描述解决方案确定与电脑相配的cuda版本寻找对应的`.whl`文件打开网站下载完成后进入虚拟环境问题描述与解决方案问题描述在anaconda的虚拟环境内安 ...
AI溃败，被Dota2职业战队打蠢！独家专访OpenAI：我们发现一个Bug
中奇夏乙一璞假装发自温哥华新浪科技&量子位联合报道整整鏖战52分钟. 今天早间进行的Ti8 OpenAI表演赛上,人类职业战队paiN Gaming,在5v5的Dota2人机大战 ...
从一个 bug 中延伸出 canvas 最大内存限制和浏览器渲染原理
本文作者:雨过天晴 https://zhuanlan.zhihu.com/p/540761999 前几天一个同事让我帮忙解决一个 bug,这个 bug 困扰他好几天了.这是一个 App 中的 Hybr ...
【总结】1519- 从一个 bug 中延伸出 canvas 最大内存限制和浏览器渲染原理
本文作者:雨过天晴 https://zhuanlan.zhihu.com/p/540761999 前几天一个同事让我帮忙解决一个 bug,这个 bug 困扰他好几天了.这是一个 App 中的 Hybr ...
深度学习占用gpu内存使用率为0_深度学习的完整硬件指南
原标题 | A Full Hardware Guide to Deep Learning 作者 | Tim Dettmers 译者 | linlh.呀啦呼(Tufts University).Ryan ...
另一个小程序返回的支付结果如何得到_所以，你想用 $8 的价格修一个bug吗？...
disclaimer:我对于 program repair 的了解仅限于一节软件工程的课,观点也大多是基于课上的讨论,我对于 program repair 相关的研究也没有进行更广泛的阅读,所以以下的 ...
踩内存是什么意思啊_Win10任务管理器中的quot;共享GPU内存quot;是什么意思？
WIN10任务管理器中的"共享GPU内存"首次在WINDOWS任务管理器中集成. 红框内中专用GPU内存自然不用说,那是显卡带的内存也就是显存容量.因为我这台机的是GTX1060 ...

关于TFP.STS的一个Bug（GPU内存爆掉，无法做预测）

关于TFP.STS的一个Bug（GPU内存爆掉，无法做预测）相关推荐

最新文章

热门文章