数据量太大，内存不够怎么办？

最近遇到这个问题，上网查+问同学，基本解决方法：keras，Pipeline,TFrecord，批次读取训练

先看第一个，keras，可能需要改网络什么的，不太想改（先挖个坑，以后学一下keras，小白一只，勿怪）

第二个，pipeline，听起来高大上也很专业，上网搜罗了一堆资料：
https://www.cnblogs.com/zyly/p/8982335.html
https://blog.csdn.net/chenghtao/article/details/82110434
https://www.jianshu.com/go-wild?ac=2&url=http%3A%2F%2Fwiki.jikexueyuan.com%2Fproject%2Ftensorflow-zh%2Fhow_tos%2Fthreading_and_queues.html
http://wiki.jikexueyuan.com/project/tensorflow-zh/how_tos/reading_data.html
https://www.jianshu.com/p/12b52e54a63c
https://blog.csdn.net/guo1988kui/article/details/83896745
https://blog.csdn.net/west_609/article/details/78608541
（但是有点复杂，难理解，先挖个坑，以后学一下）

第三个：
TFrecord
https://blog.csdn.net/chenghtao/article/details/82110434
问题描述：利用tensorflow进行神经网络训练，当数据集较小或者内存足够大时，通常的做法是将全部数据集加载到内存里，然后再将数据集分批feed给网络进行训练(一般配合yield使用效果更佳)。但是，当数据集大到内存不足以全部加载进来的时候，必须寻找新的加载数据的方法。
解决办法：
可以尝试使用tensorflow提供的队列queue，训练时从文件中分批读取数据。这里选择tensorflwo内定的标准格式TFRecord.

最后：在知乎上找到一个回答
https://zhuanlan.zhihu.com/p/35866604

解决思路其实说来也简单，打破思维定式就好了，不是把所有图片读到内存中，而是只把所有图片的路径一次性读到内存中。

大致的解决思路为：

将上万张图片的路径一次性读到内存中，自己实现一个分批读取函数，在该函数中根据自己的内存情况设置读取图片，只把这一批图片读入内存中，然后交给模型，模型再对这一批图片进行分批训练，因为内存一般大于等于显存，所以内存的批次大小和显存的批次大小通常不相同。

转载于:https://www.cnblogs.com/Ann21/p/11090731.html

数据量太大，内存不够怎么办？相关推荐

模型训练遇到数据量太大而导致内存不够问题？今天教你一招
在比赛和工作中,我们经常会遇到数据量太大而导致内存不够的问题.这里可以细分为两种情况: 情况1:数据太大,无法加载到内存: 情况2:加载数据但训练时内存不够: 针对情况1可以考虑使用Spark或者Da ...
for循环数据量太大_中文文本分类roberta大力出奇迹之数据量大的问题
问题描述: 笔者在文本分类场景中使用了roberta+pool+dense的三分类模型.采用预训练模型做项目的时候经常苦于数据太少,模型泛化性差,因此收集了1300W数据.在我尝试暴力出奇迹的时候,遇 ...
当txt文件或者sql文件数据量太大，无法打开时，可以通过Emeditor这个编辑器打开
当txt文件或者sql文件数据量太大,无法打开时,可以通过Emeditor这个编辑器打开,进行处理和编辑. Emeditor 这个软件,可以在占用小部分内存的情况下,快速打开,数据量大的txt或者sq ...
R语言使用hexbin包的hexbin函数可视化散点图、应对数据量太大、且有数据重叠的情况、普通散点图可视化效果变差的情况、提供了对六边形单元格的二元绑定、通过图例颜色标定每一个区域数据点的数量
R语言使用hexbin包的hexbin函数可视化散点图.应对数据量太大.且有数据重叠的情况.普通散点图可视化效果变差的情况.hexbin函数提供了对六边形单元格的二元绑定.通过图例颜色标定每一个区域数 ...
Matlab曲线图导出eps数据量太大占用很多存储空间
Matlab曲线图导出eps数据量太大占用很多存储空间我的Figure是从simulink里的scope里导出的,因为是采样率很高的时域波形,所以数据量很大.从Figure里导出eps向量格式的话, ...
vue+cesium cesium数据量太大导致浏览器卡顿解决办法
vue+cesium cesium数据量太大导致浏览器卡顿解决办法解决方案 : 不要把任何的cesium对象放在data中监听,因为在data中的变量 , vue会劫持数据 , 导致迟缓. 解 ...
vue el-select数据量太大，导致浏览器崩溃解决办法
下拉数据量太大,浏览器单线程渲染时间较长,会导致浏览器崩溃.为了解决这一问题,可以采用懒加载形式,完美解决 <el-col :span="24"><el-form ...
数据量太大？用数据库水平切分搞定！
本文将介绍数据库架构设计中的一些基本概念,常见问题以及对应解决方案,为了便于读者理解,将以"用户中心"为例,讲解数据库架构设计的常见玩法. 用户中心用户中心是一个非常常见的业务, ...
python not defined怎么解决_数据量太大？散点图装不下怎么办？用Python解决数据密度过大难题
当我们需要观察比较2个变量间的关系时,散点图是我们首选图表. 可当数据量非常大,数据点又比较集中在某个区间中,图表没法看,密密麻麻的怎么看? 怎么办?这时候就得看密度图了什么是密度图? 所谓的密度图 ...
api文档数据量太大崩溃_Tableau的API操作（一）-取消任务刷新
为啥需要取消数据刷新?公司Tableau使用的数据是发布到server上的.依托服务器强悍的性能,所有的报表.分析指标的交互都能做到快速响应.但是最近出现了一个问题,数据量过大导致刷新时间很长(6亿左 ...

数据量太大，内存不够怎么办？

数据量太大，内存不够怎么办？相关推荐

最新文章

热门文章