<>

扩展之tensorflow2.0 | 15 TF2实现一个简单的服装分类任务

小白学PyTorch | 14 tensorboardX可视化教程

小白学PyTorch | 13 EfficientNet详解及PyTorch实现

小白学PyTorch | 12 SENet详解及PyTorch实现

小白学PyTorch | 11 MobileNet详解及PyTorch实现

小白学PyTorch | 10 pytorch常见运算详解

小白学PyTorch | 9 tensor数据结构与存储结构

小白学PyTorch | 8 实战之MNIST小试牛刀

小白学PyTorch | 7 最新版本torchvision.transforms常用API翻译与讲解

小白学PyTorch | 6 模型的构建访问遍历存储(附代码)

小白学PyTorch | 5 torchvision预训练模型与数据集全览

小白学PyTorch | 4 构建模型三要素与权重初始化

小白学PyTorch | 3 浅谈Dataset和Dataloader

小白学PyTorch | 2 浅谈训练集验证集和测试集

小白学PyTorch | 1 搭建一个超简单的网络

小白学PyTorch | 动态图与静态图的浅显理解

参考目录:

  • 1 PIL读取图片

  • 2 TF读取图片

  • 3 TF构建数据集

本文的代码已经上传,在作者公众号后台回复【PyTorch】获取。

1 PIL读取图片

想要把一个图片,转换成RGB3通道的一个张量,我们怎么做呢?大家第一反应应该是PIL这个库

from PIL import Imageimport numpy as npimage = Image.open('./bug1.jpg')image.show()

展示的图片:

然后我们这个image现在是PIL格式的,我们使用numpy.array()来将其转换成numpy的张量的形式:

image = np.array(image)print(image.shape)>>>(326, 312, 3)

可以看到,这个第三维度是3。对于pytorch而言,数据的第一维度应该是样本数量,第二维度是通道数,第三四是图像的宽高,因此PIL读入的图片,往往需要把通道数的这个维度移动到第二维度上才能对接上pytorch的形式。(transpose方法来实现这个功能,这里不细说)

2 TF读取图片

下面是重点啦,对于tensorflow,tf中自己带了一个解码函数,先看一下我的文件目录:

import tensorflow as tfimages = tf.io.gfile.glob('./*.jpeg')print(images,type(images))> ['.\\bug1.jpeg', '.\\bug2.jpeg'] <class 'list'>

可以看出来:

  • 这个tensorflow.io.gfile.glob()是读取路径下的所有符合条件的文件,并且把路径做成一个list返回;
  • 这个功能也可以用glob库函数实现,我记得是glob.glob()方法;
  • 这里的bug1和bug2其实是同一张图片,都是上面的那个小兔子。
image = tf.io.read_file('./bug1.jpeg')image = tf.image.decode_jpeg(image,channels=3)print(image.shape,type(image))> (326, 312, 3) <class 'tensorflow.python.framework.ops.EagerTensor'>

需要注意的是:

  • tf.io.read_file()这个得到的返回值是二进制格式,所以需要下面的tf.image.decode_jpeg进行一个解码;
  • decode_jpeg的第一个参数就是读取的二进制文件,然后channels是输出的图片的通道数,3就是RPB三个通道,如果是1的话,就是灰度图片,ratio是图片大小的一个缩小比例,默认是1,可以是2和4,一会看一下ratio=2的情况;
  • 这个image的type是一个tensorflow特别的Tensor的形式,而不是pytorch的那种tensor的形式了。
image = tf.io.read_file('./bug1.jpeg')image = tf.image.decode_jpeg(image,channels=1,ratio=2)print(image.shape,type(image))> (163, 156, 1) <class 'tensorflow.python.framework.ops.EagerTensor'>

宽高都变成了原来的一半,然后通道数是1,都和预想的一样。使用decode_jpeg等解码函数得到的结果,是uint8的类型的,简单地说就是整数,0到255范围的。在对图片进行操作的时候,我们需要将其标准化到0到1区间的,因此需要将其转换成float32类型的。所以对上述代码进行补充:

image = tf.io.read_file('./bug1.jpeg')image = tf.image.decode_jpeg(image,channels=1,ratio=2)print(image.shape,type(image))image = tf.image.resize(image,[256,256]) # 统一图片大小image = tf.cast(image,tf.float32) # 转换类型image = image/255 # 归一化print(image)

从结果来看,数据类型已经改变:

3 TF构建数据集

下面是dataset更正式的写法,关于TF2的问题,不要百度!百度到的都是TF1的解答,看的我晕死了,TF的API的结构真是不太友好。。。

def read_image(path):    image = tf.io.read_file(path)    image = tf.image.decode_jpeg(image, channels=3, ratio=1)    image = tf.image.resize(image, [256, 256])  # 统一图片大小    image = tf.cast(image, tf.float32)  # 转换类型    image = image / 255  # 归一化    return imageimages = tf.io.gfile.glob('./*.jpeg')dataset = tf.data.Dataset.from_tensor_slices(images)AUTOTUNE = tf.data.experimental.AUTOTUNEdataset = dataset.map(read_image,num_parallel_calls=AUTOTUNE)dataset = dataset.shuffle(1).batch(1)for a in dataset.take(2):    print(a.shape)

代码中需要注意的是:

  • glob获取一个文件的list,本次就两个文件名字,一个bug1.jpeg,一个bug2.jpeg;
  • tf.data.Dataset.from_tensor_slices()返回的就是一个tensorflow的dataset类型,可以简单理解为一个可迭代的list,并且有很多其他方法;
  • dataset.map就是用实现定义好的函数,对处理dataset中每一个元素,在上面代码中是把路径的字符串变成该路径读取的图片张量,对图片的预处理应该也在这部分进行吧;
  • dataset.shuffle就是乱序,.batch()就是把dataset中的元素组装batch;
  • 在获取dataset中的元素的时候,TF1中有什么迭代器的定义啊,什么iter,但是TF2不用这些,直接.take(num)就行了,这个num就是从dataset中取出来的batch的数量,也就是循环的次数吧。
  • AUTOTUNE = tf.data.experimental.AUTOTUNE 就是根据你的cpu的情况,自动判断多线程的数量。上面代码的输出结果为:

- END -

往期精彩回顾

适合初学者入门人工智能的路线及资料下载

机器学习及深度学习笔记等资料打印

机器学习在线手册

深度学习笔记专辑

《统计学习方法》的代码复现专辑

AI基础下载

机器学习的数学基础专辑

获取一折本站知识星球优惠券,复制链接直接打开:

https://t.zsxq.com/662nyZF

本站qq群704220115。

加入微信群请扫码进群(如果是博士或者准备读博士请说明):

pytorch dataset_【小白学PyTorch】16.TF2读取图片的方法相关推荐

  1. 【小白学PyTorch】16.TF2读取图片的方法

    <<小白学PyTorch>> 扩展之tensorflow2.0 | 15 TF2实现一个简单的服装分类任务 小白学PyTorch | 14 tensorboardX可视化教程 ...

  2. 【小白学PyTorch】扩展之Tensorflow2.0 | 20 TF2的eager模式与求导

    [机器学习炼丹术]的学习笔记分享 <<小白学PyTorch>> 扩展之Tensorflow2.0 | 19 TF2模型的存储与载入 扩展之Tensorflow2.0 | 18 ...

  3. 【小白学PyTorch】18.TF2构建自定义模型

    [机器学习炼丹术]的学习笔记分享 <<小白学PyTorch>> 扩展之Tensorflow2.0 | 17 TFrec文件的创建与读取 扩展之Tensorflow2.0 | 1 ...

  4. 【小白学PyTorch】17.TFrec文件的创建与读取

    [机器学习炼丹术]的学习笔记分享 <<小白学PyTorch>> 小白学PyTorch | 16 TF2读取图片的方法 小白学PyTorch | 15 TF2实现一个简单的服装分 ...

  5. data后缀文件解码_小白学PyTorch | 17 TFrec文件的创建与读取

    [机器学习炼丹术]的学习笔记分享<> 小白学PyTorch | 16 TF2读取图片的方法 小白学PyTorch | 15 TF2实现一个简单的服装分类任务 小白学PyTorch | 14 ...

  6. 【小白学PyTorch】扩展之Tensorflow2.0 | 21 Keras的API详解(下)池化、Normalization

    <<小白学PyTorch>> 扩展之Tensorflow2.0 | 21 Keras的API详解(上)卷积.激活.初始化.正则 扩展之Tensorflow2.0 | 20 TF ...

  7. 【小白学PyTorch】扩展之Tensorflow2.0 | 21 Keras的API详解(上)卷积、激活、初始化、正则...

    [机器学习炼丹术]的学习笔记分享 <<小白学PyTorch>> 扩展之Tensorflow2.0 | 20 TF2的eager模式与求导 扩展之Tensorflow2.0 | ...

  8. 【小白学PyTorch】15.TF2实现一个简单的服装分类任务

    <<小白学PyTorch>> 小白学PyTorch | 14 tensorboardX可视化教程 小白学PyTorch | 13 EfficientNet详解及PyTorch实 ...

  9. 【小白学PyTorch】13.EfficientNet详解及PyTorch实现

    <<小白学PyTorch>> 小白学PyTorch | 12 SENet详解及PyTorch实现 小白学PyTorch | 11 MobileNet详解及PyTorch实现 小 ...

最新文章

  1. 你不知道的对称密钥与非对称密钥
  2. 延迟加载图片并监听图片加载完成
  3. explain 之key || explain 之 rows || explain 之 extra
  4. iservice封装有哪些方法_请问这段Java代码能不能封装成一个方法
  5. phoneGap2.9+eclipse开发环境和helloword案例
  6. 博客园中的源代码格式显示
  7. 损失函数_SRGAN损失函数(目标函数)详解
  8. 大数据基础学习二:在VMware虚拟机上安装Ubuntu完整步骤及需要注意的问题(以VMware Workstation 15.1.0 Pro和Ubuntu18.04.3优麒麟版为例)
  9. 【轻量级网络】MobileNet-v2详解
  10. 奇怪,Python有的函数调用需要两对括号?(2)
  11. C#网络编程技术教程pdf 文档分享
  12. java版我的世界MITE怎么下_我的世界mite振金版
  13. [渝粤教育] 许昌学院 英语公共演讲 参考 资料
  14. 单元测试、集成测试、系统测试、验收测试
  15. 获取ios设备的电池信息
  16. 使用Xposed去除微博国际版的启动广告
  17. 使用IE浏览器,禁止访问,显示 Internet Explorer增强安全配置正在阻止来自下列网站的从应用程序中的内容
  18. 浏览器无法访问某个网站,其他网站都正常
  19. USB详解(二)-电气特性篇
  20. 韵达快递客户端 服务器未响应,韵达快递网点客户端

热门文章

  1. swagger api文档_带有Swagger的Spring Rest API –创建文档
  2. lombok 生成代码_使用Project Lombok减少Java应用程序中的样板代码
  3. java实现metro风格_Metro风格的Java组合框(JMetro)–重新介绍
  4. 使用Spring WebFlux从Corda节点流式传输数据
  5. OpenHub框架–下一个有趣的功能
  6. 使用JCache缓存方法结果
  7. java.util接口_函数接口– Java 8中java.util.function包中的函数接口
  8. c#编译时提高兼容性_幻像类型提高了编译时的安全性
  9. ANTLR和网络:一个简单的例子
  10. 存根类 测试代码 java_常规单元测试和存根–测​​试技术4