keras：5)fit_generator

1.fit_generator
fit_generator函数参数描述可以参看官方文档，这里说下比较常用的几个参数：
generator: A generator or an instance of Sequence (keras.utils.Sequence) object in order to avoid duplicate data when using multiprocessing. The output of the generator must be either

generator和python的generator没有本质的区别，都是yield返回所需的数据，不过这里是在一个无限循环之中

steps_per_epoch*: Integer. Total number of steps (batches of samples) to yield from generator before declaring one epoch finished and starting the next epoch. It should typically be equal to the number of samples of your dataset divided by the batch*

steps_per_epoch就是一个epoch执行多少次batch，最后一句话也很明确，steps_per_epoch=train_size//batch_size

简单来说，该函数就是解决训练集过大，无法一次性放入内容，每个batch的数据都从磁盘上获取

下面是keras官方的一个Demo

def generate_arrays_from_file(path):while True:with open(path) as f:for line in f:# create numpy arrays of input data# and labels, from each line in the filex1, x2, y = process_line(line)yield ({'input_1': x1, 'input_2': x2}, {'output': y})model.fit_generator(generate_arrays_from_file('/my_file.txt'),steps_per_epoch=10000, epochs=10)

该Demo有个问题就是没有体现出batch_size（暂时认为process_line只生产了一个数据），我们使用下面的代码，让generate_arrays_from_file每次都生产一个batch.

def generate_arrays_from_file(path,batch_size):list_x=[]list_y=[] #保存返回的batch数据count=0while True:with open(path) as f:for line in f:# process_line只返回一条记录x和yx, y = process_line(line)list_x.append(x)list_y.append(y)count+=1if count>=batch_size: #数据记录达到batch_size才返回yield (list_x,list_y)count=0list_x=[];list_y=[]#假定batch_size和train_size的大小
batch_size,train_size=32,1314
model.fit_generator(generate_arrays_from_file('/my_file.txt'),steps_per_epoch=train_size//batch_size, epochs=10)

keras：5)fit_generator相关推荐

2020-12-11 keras通过model.fit_generator训练模型(节省内存)
keras通过model.fit_generator训练模型(节省内存) 前言前段时间在训练模型的时候,发现当训练集的数量过大,并且输入的图片维度过大时,很容易就超内存了,举个简单例子,如果我们有2 ...
DL框架之Keras：深度学习框架Keras框架的简介、安装(Python库)、相关概念、Keras模型使用、使用方法之详细攻略
DL框架之Keras:深度学习框架Keras框架的简介.安装(Python库).相关概念.Keras模型使用.使用方法之详细攻略目录 Keras的简介 1.Keras的特点 2.Keras四大特性 ...
keras系列︱利用fit_generator最小化显存占用比率/数据Batch化
本文主要参考两篇文献: 1.<深度学习theano/tensorflow多显卡多人使用问题集> 2.基于双向LSTM和迁移学习的seq2seq核心实体识别运行机器学习算法时,很多人一开始 ...
Keras之model.fit_generator()的使用
Keras之model.fit_generator()的使用 model.fit_generator()是利用生成器,分批次向模型送入数据的方式,可以有效节省单次内存的消耗一.使用方式 1.引入库 ...
keras cnn注意力机制_TensorFlow、PyTorch、Keras：NLP框架哪家强
全文共3412字,预计学习时长7分钟在对TensorFlow.PyTorch和Keras做功能对比之前,先来了解一些它们各自的非竞争性柔性特点吧. 非竞争性特点下文介绍了TensorFlow.Py ...
DL之Keras：keras保存网络结构、网络拓扑图、网络模型(json、yaml、h5等)注意事项及代码实现
DL之Keras:keras保存网络结构.网络拓扑图.网络模型(json.yaml.h5等)注意事项及代码实现目录 keras保存网络结构.网络拓扑图.网络模型(json.yaml.h5等)注意事项 ...
DL之Keras： Keras深度学习框架的注意事项(默认下载存放路径等)、使用方法之详细攻略
DL之Keras: Keras深度学习框架的注意事项(自动下载存放路径等).使用方法之详细攻略目录 Keras深度学习框架的注意事项 1.Keras自动下载默认数据集/模型存放位置 Windows系 ...
NS之VGG(Keras)：基于Keras的VGG16实现之《复仇者联盟3》灭霸图像风格迁移设计(A Neural Algorithm of Artistic Style)
NS之VGG(Keras):基于Keras的VGG16实现之<复仇者联盟3>灭霸图像风格迁移设计(A Neural Algorithm of Artistic Style) 导读通过代码 ...
DL之Keras：基于Keras框架建立模型实现【预测】功能的简介、设计思路、案例分析、代码实现之详细攻略(经典，建议收藏)
DL之Keras:基于Keras框架建立模型实现[预测]功能的简介.设计思路.案例分析.代码实现之详细攻略(经典,建议收藏) 目录 Keras框架使用分析 Keras框架设计思路案例分析代码实现 ...

keras：5)fit_generator

keras：5)fit_generator相关推荐

最新文章

热门文章