如何理解return paddle.reader.xmap_readers(train_mapper,reader,cpu

paddle的数据读取
paddle读取数据时自带一个多线程读取数据的函数
return paddle.reader.xmap_readers(train_mapper,reader,cpu_count(),102400)该如何理解这个语句呢？

1.train_mapper 从reader生成器里获得一个个数据之后会先使用train_mapper的函数来处理数据。
2.reader参数是一个生成器函数。
3.cpu_count() 线程数
4.102400 可以类比于buffer_size：指一次读取多少个数据。

原本的例子如下：
paddle.reader.xmap_readers(mapper, reader, process_num, buffer_size, order=False)，

这个函数有理解如下：
reader参数是一个生成器函数。
如函数名所示，xmap，里面用到了python的map函数，c
process_num是线程数，可以设置为cpu_count()，把所有核都用上。
buffer_size是一次读取多少个数据。
此外，还有并行读取数据的函数multiprocess_reader，具体的读者可以看技术文档。

如何理解return paddle.reader.xmap_readers(train_mapper,reader,cpu_count(),102400)？相关推荐

如何理解paddle.reader.xmap_readers()函数
参考链接: CV手册 paddle的数据读取 paddle读取数据时自带一个多线程读取数据的函数 paddle.reader.xmap_readers(mapper, reader, process_ ...
[导入]如何理解Return的返回值？
如何理解Return的返回值? 问题: 在创建和录制脚本的时候,发现在脚本vuser_init.Action.vuser_end三部分,都会有一条"return 0;"语句,那么我 ...
如何理解Return的返回值？
如何理解Return的返回值? 问题: 在创建和录制脚本的时候,发现在脚本vuser_init.Action.vuser_end三部分,都会有一条"return 0;"语句,那么 ...
java reader 方法_Java Reader reset()方法
Java Reader reset()方法 java.io.Reader.reset() 重置流.如果流已被标记,然后尝试进行标记,以重新定位.如果该流未被标注,然后尝试将其复位在适当的特定流的一些方 ...
Adobe Reader与Foxi Reader
本文出自Simmy的个人blog:西米在线 http://simmyonline.com/archives/284.html 某客人发来的文件,用Adobe Reader打开打印时,内容无法打印出来, ...
最新的Adobe Reader X Adobe Reader 9.4.1 奥多比PDF阅读器简体中文版绿色安装控台版下载
Adobe Reader X & 9.4.1 绿色安装控制台版奥多比PDF阅读器 Adobe Reader 奥多比阅读器(PDF阅读器) 适用: Windows XP/2003/ Vista ...
python cpu count_Python multiprocessing.cpu_count方法代码示例
本文整理汇总了Python中multiprocessing.cpu_count方法的典型用法代码示例.如果您正苦于以下问题:Python multiprocessing.cpu_count方法的具体用 ...
python猫狗大战代码_pandlepandle+OpenCV+Pyqt+猫狗分类（猫狗大战）
**源代码:** import cv2 import numpy as np import paddle as paddle import paddle.fluid as fluid from PIL ...
PaddlePaddle实现手写藏文识别
原文博客:Doi技术团队链接地址:https://blog.doiduoyi.com/authors/1584446358138 初心:记录优秀的Doi技术团队学习经历前言中央民族大学创业团队巨 ...

如何理解return paddle.reader.xmap_readers(train_mapper,reader,cpu_count(),102400)？

如何理解return paddle.reader.xmap_readers(train_mapper,reader,cpu_count(),102400)？相关推荐

最新文章

热门文章