使用生成器和多线程为Keras训练模型的fit函数提供数据

#导入线程包
from multiprocessing.dummy import Pool as ThreadPool

##############################
#定义需要放到线程中去执行的函数，这个函数又输入参数，有返回值
#1，带一个参数： Parameter_List ，
#2，该线程函数返回“一对儿”数据，分别是图片与标注
###############################
def load_seq_crop_data_masktumor_try(Parameter_List): #在线程里面执行的函数，用于数据增广
。。。
return cropp_img, cropp_tumor #线程函数的返回值
##############################
#构造线程环境
#Pool 构造线程对象： pool=Pool(threads_num)
#用线程对象调用fun函数，携带参数params ，并返回结果results：

#     result_list  = pool.map(fun，patrams）
# 禁止添加新的线程  ：pool.close()
# 主进程阻塞等待子进程执行结束、返回结果并退出 pool.join()
# 处理线程执行结果：
#   for idx in range(len(result_list)):
#         a =   result_list[idx]
#         ….

##############################
#生成器调用结构：

#  while 1：
#      。。。。
#       用线程处理数据
#       X = 。。。
#       Y = 。。。
#      。。。。
#     yield (X,Y) #生成器 与while 1配合

################################

#在keras的fit函数中使用多线程：keras内部同样使用线程或者进程将生成器的数据送入训练引擎
#generate_arrays_from_file()是一个生成器函数，在这个函数中使用多线程机制处理数据增广等操作

# max_queue_size=2, workers=2是keras的fit函数自带的队列---线程机制，用于将生成器的数据宋儒道##网络训练函数，网络训练函数从队列中获取数据。

model.fit_generator(
generate_arrays_from_file(args.b, trainidx, img_list, tumor_list, tumorlines, liverlines,
tumoridx, liveridx, minindex_list, maxindex_list),
steps_per_epoch=steps, epochs= 6000, verbose = 1,
callbacks = [model_checkpoint],
max_queue_size=2, workers=2, use_multiprocessing=True
)

使用生成器和多线程为Keras训练模型的fit函数提供数据相关推荐

keras中的fit函数参数_keras的fit_generator与callback函数
fit_generator函数 fit_generator函数 callback类每一个epoch结束(on_epoch_end)时,都要调用callback函数,callback函数(类)都要集成 ...
keras中的回调函数
keras训练 fit(self, x, y, batch_size=32, nb_epoch=10, verbose=1, callbacks=[], validation_split=0.0, v ...
Keras用动态数据生成器(DataGenerator)和fitgenerator动态训练模型
有了这个生成器,我们就可以用fit_generator 方法进行训练,格式套路如下: model.fit_generator(generator, steps_per_epoch=..., epoch ...
TensorFlow2.0教程-使用keras训练模型
TensorFlow2.0教程-使用keras训练模型 Tensorflow 2.0 教程持续更新: https://blog.csdn.net/qq_31456593/article/details ...
keras训练模型，训练集的准确率很高，但是测试集准确率很低的原因
今天在测试模型时发现一个问题,keras训练模型,训练集准确率很高,测试集准确率很低,因此记录一下希望能帮助大家也避坑: 首先keras本身不同的版本都有些不同的或大或小的bug,包括之前也困扰过我的 ...
[深度学习] Keras 如何使用fit和fit_generator
介绍在本教程中,您将了解Keras .fit和.fit_generator函数的工作原理,包括它们之间的差异.为了帮助您获得实践经验,我已经提供了一个完整的示例,向您展示如何从头开始实现Keras数 ...
keras中重要的函数用法及参数详解
1.Dense(全连接层) keras.layers.core.Dense ( units, activation=None, use_bias=True, kernel_initializer='g ...
format函数_畅游人工智能之海 | Keras教程之后端函数（一）
BBIT 畅游人工智能之海 --Keras教程之后端函数(一) Artificial Intelligence 今天我们要开始学习Keras的后端函数. 首先我们要了解什么是后端.Keras依赖于一 ...
C# 网站静态页面生成器 for 多线程版
摘要:该生成器是用于放置于服务器上的一个小程序,用于生成站点中需要静态化的页面生成.我写c/s程序不多,所以本程序可能会有些小的bug.还望高手多多指教! 内容: 首先让大家看看该程序的几个流程界面 ...

使用生成器和多线程为Keras训练模型的fit函数提供数据

使用生成器和多线程为Keras训练模型的fit函数提供数据相关推荐

最新文章

热门文章