paddle.fluid.io.xmap

最近遇到多次paddle.fluid.io.xmap_readers函数，之前一直一知半解，官方的文档如下：

paddle.fluid.io.xmap_readers(mapper, reader, process_num, buffer_size, order=False)

添加链接描述
多线程下，使用自定义映射器 reader 返回样本到输出队列。

参数：
mapper （callable）: 映射 reader 数据的函数。
reader （callable）: 产生数据的 reader。
process_num （int）: 处理样本的线程数。
buffer_size （int）: 数据缓冲队列大小。
order （bool）: 是否保持原始 reader 数据顺序，默认为 False。
返回：一个用户定义的 reader 装饰器。

返回类型：callable，可调用对象。
代码示例：

import paddle.fluid as fluid
import timedef reader_creator_10(dur):def reader():for i in range(10):time.sleep(dur)yield ireturn readerdef mapper(x):return (x + 1)orders = (True, False)
thread_num = (1, 2, 4, 8, 16)
buffer_size = (1, 2, 4, 8, 16)
for order in orders:for t_num in thread_num:for size in buffer_size:user_reader = fluid.io.xmap_readers(mapper,reader_creator_10(0),t_num, size, order)for n in range(3):result = list()for i in user_reader():result.append(i)if not order:result.sort()for idx, e in enumerate(result):assert e == mapper(idx)

下面说一下自己的理解：首先返回的是一个reader 装饰器，先不管什么是装饰器，我们只需知道如何使用这个函数。首先如果直接打印这个函数的输出，你将会得到一个下面的结果：

要获得该函数的结果，可以直接把这个函数当做类似于列表的存在用for 循环来处理。这只是我的理解，有不对的地方请指正。

paddle.fluid.io.xmap_readers相关推荐

paddle video_tag paddle.fluid.io.xmap_readers
paddle video_tag paddle.fluid.io.xmap_readers #源码第1层 infer_reader = get_reader(args.model_name.upper ...
module 'paddle.fluid' has no attribute 'data'
module 'paddle.fluid' has no attribute 'data' 解决: pip install paddlepaddle-gpu==1.7.0.post107 -i htt ...
【深度学习笔记】Windows 下 pip 安装paddle.fluid
环境准备 Windows 7/8/10 专业版/企业版 (64bit) (GPU版本支持CUDA 9.0/10.0,且仅支持单卡) Python 版本 2.7.15+/3.5.1+/3.6/3.7 ( ...
学习飞浆过程中遇到“缺少paddle.fluid”
这部分是我详细的流程,边查问题边记的,所以是流水账.要直接知道答案,请翻到最后. https://www.freesion.com/article/4512610119/ 这个基本和我的遭遇一模一样, ...
paddle 学习总结与使用指南笔记(一)
简单的一个手写字识别任务. import paddle import numpy as np from paddle.vision.transforms import Normalize# 定义图像归 ...
paddle使用指南
文章目录一.10分钟快速上手飞桨:手写数字识别任务 1.1 数据集定义 1.2 数据集加载 1.2.1 直接加载内置数据集 1.2.2 自定义读取数据集 1.3 定义模型 1.3.1 内置模型 1. ...
基于飞桨Res-Unet网络实现肝脏肿瘤分割任务
点击左上方蓝字关注我们 [飞桨开发者说]韩霖,PPDE飞桨开发者技术专家,吉林大学计算机科学与技术学院,主要研究医学影像方向. 项目背景近年来,快速发展的深度学习技术已经渗透进了各行各业,医疗方面也 ...
参数调整新部署rac_开工的欲望 | AI Studio悄然上线新功能，用你的模型生成在线预测服务...
开工第一天,小伙伴们是不是还没有从过年的状态转换过来?今天给大家介绍一个AI Studio新功能,能让大家用自己训练好的模型,轻松生成在线预测服务,通过在线API调用,而且是免费的哦~ 大家是不是已经 ...
开工的欲望｜ AI Studio上线新功能，用你的模型生成在线预测服务
开工第一天,小伙伴们是不是还没有从过年的状态转换过来?今天给大家介绍一个AI Studio新功能,能让大家用自己训练好的模型,轻松生成在线预测服务,通过在线API调用,而且是免费的哦~ 大家是不是已经 ...

paddle.fluid.io.xmap_readers

paddle.fluid.io.xmap_readers相关推荐

最新文章

热门文章