tf 加速训练，节省内存 fit

如果我们直接用keras的fit函数来训练模型的话，是需要传入全部训练数据，但是好在提供了fit_generator，可以分批次的读取数据，节省了我们的内存，我们唯一要做的就是实现一个生成器（generator）。

直接给出关键代码，数据处理和组网部分略过

处理后的数据格式如下：

第一个列表是特征，[39, 500000]
第二个列表是label

fit_generator

batch_size = 2048
model.fit_generator(GeneratorRandomPatchs(train_x, train_y, batch_size),validation_data=(val_x, val_y),steps_per_epoch=len(train_data) // batch_size,epochs=100,verbose=1
)

def GeneratorRandomPatchs(train_x, train_y, batch_size):totl, col = np.array(train_x).shape  # (39, 500000)  特征数、样本数# 保证 steps_per_epoch * epoch 批次的数据够while True:for index in range(0, col, batch_size):xs, ys = [], []for t in range(totl):xs.append(train_x[t][index: index + batch_size])ys.append(train_y[0][index: index + batch_size])# print(np.array(xs).shape, np.array(ys).shape)yield (xs, ys)

fit_generator 需要传递一个迭代器，如上述例子：GeneratorRandomPatchs，通过yield返回训练数据

batch_size：批处理大小，就是每次入模的样本数。
steps_per_epoch：每个epoch要处理的批数。比如训练数据50W，batch_size是2048，那么一个epoch的批数就是244。

其它参数解释

参考自：

https://blog.csdn.net/zhangpeterx/article/details/90900118

https://blog.csdn.net/qq_39783265/article/details/106752903

https://www.jb51.net/article/188905.htm

https://my.oschina.net/u/4329662/blog/3639783

tf 加速训练，节省内存 fit_generator相关推荐

2020-12-11 keras通过model.fit_generator训练模型(节省内存)
keras通过model.fit_generator训练模型(节省内存) 前言前段时间在训练模型的时候,发现当训练集的数量过大,并且输入的图片维度过大时,很容易就超内存了,举个简单例子,如果我们有2 ...
《预训练周刊》第16期：中科院推出全球首个图文音三模态预训练模型、顶会论文探索100层序列推荐模型的加速训练...
No.16 智源社区预训练组预训练研究观点资源活动关于周刊超大规模预训练模型是当前人工智能领域研究的热点,为了帮助研究与工程人员了解这一领域的进展和资讯,智源社区整理了第16期&l ...
梯度中心化，一行代码加速训练并提升泛化能力
来源 | 晓飞的算法工程笔记优化器(Optimizer)对于深度神经网络在大型数据集上的训练是十分重要的,如SGD和SGDM,优化器的目标有两个:加速训练过程和提高模型的泛化能力.目前,很多工作研究 ...
datagenerator解决训练时候内存不足问题
[Keras]使用数据生成器(data generators)解决训练数据内存问题_m0_37477175的博客-CSDN博客_datagenerator
谷歌大脑提出对智能体进行「正向-反向」强化学习训练，加速训练过程
原文来源:arXiv 作者:Ashley D. Edwards.Laura Downs.James C. Davidson 「雷克世界」编译:嗯~是阿童木呀.KABUDA.EVA 在强化学习问题中,关 ...
[CLPR] 用于加速训练神经网络的二阶方法
本文翻译自: http://www.codeproject.com/Articles/16650/Neural-Network-for-Recognition-of-Handwritten-Digi ...
java 内存_java节省内存的几条建议
java节省内存的几条建议引导语:Java的主要工作是通过编程语言来制作互联网页面.制作动态效果以及网站等技术,以下是小编整理的java节省内存的几条建议,欢迎参考阅读! 1. 尽量在合适的场合使用 ...
pandas的dataframe节省内存
##############################第1种################################################### [1]代码如下(下面的会损失数 ...
javafx阴影_JavaFX技巧来节省内存！属性和可观察对象的阴影场
javafx阴影在 JavaFX的世界中, Properties API允许UI开发人员将值绑定到UI控件. 这种功能出奇的简单,但是当对象模型经常使用属性时,应用程序可能会很快耗尽内存. 我通常会 ...

tf 加速训练，节省内存 fit_generator

tf 加速训练，节省内存 fit_generator相关推荐

最新文章

热门文章