使用FVD时遇到的问题记录：使用tensorflow时batch_size不变的情况下使用数据量更大的dataset发生了显存溢出(OOM)问题的解决

情况：计算 FVD 时，使用 dataset-1 时运行成功，使用数据量(data size)更大的 dataset-2 时运行失败。报错OOM：显存溢出。

查找问题：比较两次计算时的 input video 的 data shape，发现成功的那个是：[2, 64, 224, 224, 3]，失败的那个是：[2, 180, 224, 224, 3]。

注：shape各dim的含义是：[batch_size, num_frames, height, weight, depth]

发现不对劲：input 的 num_frame 的大小应该相同，都是 16。此处的 64 和 180 是 input vid 在 resize 前的 weight 大小。

找到原因：resize 时的 vid shape 没有调整好。要求热size 的 input shape 是 [bs, t, h, w, c]，而我的是 [bs, c, t, h, w]。例如，错误输入：[2, 3, 16, 144, 180] 的 resize 结果为 [2, 180, 224, 224, 3]，而不是期待的 [2, 16, 224, 224, 3]。

解决方案：将 resize 前的 vid shape 用 tensor.permuter() 调好后，问题解决。

小结：所以，bs大小可能会造成显存溢出(OOM)，而使用的数据量(data size)大小不会。起码此处不会。

使用FVD时遇到的问题记录：使用tensorflow时batch_size不变的情况下使用数据量更大的dataset发生了显存溢出(OOM)问题的解决相关推荐

数据量过大时数据库操作的处理
一些大规模的系统,如人口系统的数据甚至超过了1000万条,可谓海量.那么,如何实现快速地从这些超大容量的数据库中提取数据(查询).分析.统计以及提取数据后进行数据分页已成为各地系统管理员和数据库管理 ...
bootstrap 树形表格渲染慢_bootstrap-table-treegrid数据量较大时渲染太久了
bootstrap-table-treegrid数据量较大时渲染太久了森姐姐 2019-10-23 16:48:51 2260 收藏 2 分类专栏: 遇到的问题最后发布:2019-10-23 16 ...
海量数据（数据量比较大时）的处理分析
转载http://www.blogjava.net/lcs/archive/2008/02/18/180396.html 海量数据处理问题是一项艰巨而复杂的任务.原因有以下几个方面: 一.数据量过大, ...
PHP导出Excel时数据量过大的问题
1.设置脚本运行时间 set_time_limit(0) 2.运行内存设置当数据量比较大时就需要设置memory_limit,来防止内存报错,但是这终究不是解决办法,因为系统的内存是有限的,比如你设 ...
当txt文件或者sql文件数据量太大，无法打开时，可以通过Emeditor这个编辑器打开
当txt文件或者sql文件数据量太大,无法打开时,可以通过Emeditor这个编辑器打开,进行处理和编辑. Emeditor 这个软件,可以在占用小部分内存的情况下,快速打开,数据量大的txt或者sq ...
两组数据量相对大时，如何高效进行比对
前言前阵子项目因业务需要,要对接兄弟部门的用户数据,因为兄弟部门并不提供增量用户数据接口,每次只能从兄弟部门那边同步全量用户数据.全量的用户数据大概有几万条.因为是全量数据,因此我们这边要做数据比对 ...
pytorch训练时显存溢出
网络在前期可以正常训练,但训练几轮后就发生显存爆炸的问题,调整输入大小或者每次循环都清除显存也无法解决问题,后来经过查询,是在对loss求和时,直接使用 tl += loss 可以看到,loss是张 ...
python win+r时不成功_Win与R（不使用Anaconda的情况下）
配置R的路径信息: Path:添加R.dll的路径如:E:\software\R\R-3.5.1\bin\x64 R_HOME:R的安装路径如:E:\software\R\R-3.5.1\bin ...
java switch中标签重复_java程序怎样把id相同的记录挑出来，分别存到不同的文件中，除了switch case,数据量很大，id种类很多。...
展开全部下边是我的实现. hawon1 的实现也是正确的,e69da5e6ba903231313335323631343130323136353331333332613761 我与它的不同是没有频 ...

使用FVD时遇到的问题记录：使用tensorflow时batch_size不变的情况下使用数据量更大的dataset发生了显存溢出(OOM)问题的解决

情况：计算 FVD 时，使用 dataset-1 时运行成功，使用数据量(data size)更大的 dataset-2 时运行失败。报错OOM：显存溢出。

查找问题：比较两次计算时的 input video 的 data shape，发现成功的那个是：[2, 64, 224, 224, 3]，失败的那个是：[2, 180, 224, 224, 3]。

注：shape各dim的含义是：[batch_size, num_frames, height, weight, depth]

发现不对劲：input 的 num_frame 的大小应该相同，都是 16。此处的 64 和 180 是 input vid 在 resize 前的 weight 大小。

找到原因：resize 时的 vid shape 没有调整好。要求热size 的 input shape 是 [bs, t, h, w, c]，而我的是 [bs, c, t, h, w]。例如，错误输入：[2, 3, 16, 144, 180] 的 resize 结果为 [2, 180, 224, 224, 3]，而不是期待的 [2, 16, 224, 224, 3]。

解决方案：将 resize 前的 vid shape 用 tensor.permuter() 调好后，问题解决。

小结：所以，bs大小可能会造成显存溢出(OOM)，而使用的数据量(data size)大小不会。起码此处不会。

使用FVD时遇到的问题记录：使用tensorflow时batch_size不变的情况下使用数据量更大的dataset发生了显存溢出(OOM)问题的解决相关推荐

最新文章

热门文章

使用FVD时遇到的问题记录：使用tensorflow时batch_size不变的情况下使用数据量更大的dataset发生了显存溢出(OOM)问题 的解决

情况：计算 FVD 时，使用 dataset-1 时运行成功，使用数据量(data size)更大的 dataset-2 时运行失败。报错OOM：显存溢出。

查找问题：比较两次计算时的 input video 的 data shape，发现成功的那个是：[2, 64, 224, 224, 3]，失败的那个是：[2, 180, 224, 224, 3]。

注：shape各dim的含义是：[batch_size, num_frames, height, weight, depth]

发现不对劲：input 的 num_frame 的大小应该相同，都是 16。此处的 64 和 180 是 input vid 在 resize 前的 weight 大小。

找到原因：resize 时的 vid shape 没有调整好。要求 热size 的 input shape 是 [bs, t, h, w, c]，而我的是 [bs, c, t, h, w]。例如，错误输入：[2, 3, 16, 144, 180] 的 resize 结果为 [2, 180, 224, 224, 3]，而不是期待的 [2, 16, 224, 224, 3]。

解决方案：将 resize 前的 vid shape 用 tensor.permuter() 调好后，问题解决。

小结：所以，bs大小可能会造成显存溢出(OOM)，而使用的数据量(data size)大小不会。起码此处不会。

使用FVD时遇到的问题记录：使用tensorflow时batch_size不变的情况下使用数据量更大的dataset发生了显存溢出(OOM)问题 的解决相关推荐

最新文章

热门文章

使用FVD时遇到的问题记录：使用tensorflow时batch_size不变的情况下使用数据量更大的dataset发生了显存溢出(OOM)问题的解决

找到原因：resize 时的 vid shape 没有调整好。要求热size 的 input shape 是 [bs, t, h, w, c]，而我的是 [bs, c, t, h, w]。例如，错误输入：[2, 3, 16, 144, 180] 的 resize 结果为 [2, 180, 224, 224, 3]，而不是期待的 [2, 16, 224, 224, 3]。

使用FVD时遇到的问题记录：使用tensorflow时batch_size不变的情况下使用数据量更大的dataset发生了显存溢出(OOM)问题的解决相关推荐