1.官方的数据集 MNIST

使用torchvision.datasets 里面有很多数据集供选择

import torch
import torchvision
from torchvision import transforms, models
batch_size = 32
transform = transforms.Compose([transforms.ToTensor(),transforms.Normalize(mean=(0.5),std=(0.5)),
])
train_data = torchvision.datasets.MNIST('./mn',train=True,download=True,transform=transform)data_loader_train = torch.utils.data.DataLoader(dataset=train_data,batch_size= batch_size,shuffle=True)test_data = torchvision.datasets.MNIST('./mn',train=False,download=True,transform=transform)data_loader_test = torch.utils.data.DataLoader(dataset=test_data,batch_size= batch_size,shuffle=True)

next(iter(data_loader_train))  # 用于查看数据

2.自建的数据集

读取单个数据文件

device=('cuda' if torch.cuda.is_available() else 'cpu')def load_img(image_path,transform=None,max_size=None,shape=None):image=Image.open(image_path)if max_size:scale=max_size/max(image.size)size=np.array(image.size)*scaleimage=image.resize(size.astype(int),Image.ANTIALIAS)if shape:image=image.resize(shape)if transform:image=transform(image).unsqueeze(0)return image.to(device)transform = transforms.Compose([transforms.ToTensor(),transforms.Normalize(mean=[0.485,0.456,0.406],std=[0.229,0.224,0.225]),
])content = load_img('image/content.jpg',transform,max_size=400)
style = load_img('image/style.jpg',transform,max_size=400)

多张图片的情况 ImageFloder

这个时候需要把不同label 的数据放到不同的文件夹，ImageFolder 会自动加上标签，

from torchvison import datasets
data_dir = './data'
all_imgs=datasets.ImageFolder(os.path.join(data_dir,"train"),transforms.Compose([transforms.RandomResizedCrop(input_size),transforms.RandomHorizontalFlip(),transforms.ToTensor(),
]))
loader = torch.utils.data.DataLoader(all_imgs,batch_size=batch_size,shuffle=True)

img=next(iter(loader))[0]unloader=transforms.ToPILImage()def imshow(tensor,title=None):image=tensor.cpu().clone()image=image.squeeze(0)image=unloader(image)plt.imshow(image)if title is not None:plt.title(title)plt.pause(0.001)plt.figure()
imshow(img[31],title='image')

神经网络加载数据自建数据集官方数据集 pytorch 显示数据集相关推荐

bootstrap-table 一直显示“正在努力地加载数据中，请稍候”的问题
bootstrap-table一直显示"正在努力地加载数据中,请稍候"的问题 bootstrap-table 问题答案参考 bootstrap-table bootstrap- ...
可视化 | Echarts基础异步加载数据交互组件数据集
目录 1. ECharts 简介 2. ECharts 安装 3. ECharts 配置语法 4. ECharts 图饼 5. ECharts 样式设置 6. ECharts 异步加载数据 7. EC ...
CC00053.pbpositions——|HadoopPB级数仓.V11|——PB数仓.v11|核心交易分析|DIM层建表|加载数据|
一.DIM层建表加载数据:DIM层建表加载数据概述 ### --- 首先要确定哪些是事实表.哪些是维表.绿色的是事实表,灰色的维表~~~ 用什么方式处理维表,每日快照.拉链表? ~~~ 小表使用每日快 ...
Android官方开发文档Training系列课程中文版：后台加载数据之处理CursorLoader的查询结果
原文地址:http://android.xsoftlab.net/training/load-data-background/handle-results.html 就像上节课所说的,我们应该在onC ...
在NVIDIA A100 GPU中使用DALI和新的硬件JPEG解码器快速加载数据
在NVIDIA A100 GPU中使用DALI和新的硬件JPEG解码器快速加载数据如今,最流行的拍照设备智能手机可以捕获高达4K UHD的图像(3840×2160图像),原始数据超过25 MB.即使 ...
【TensorFlow-windows】keras接口——利用tensorflow的方法加载数据
前言之前使用tensorflow和keras的时候,都各自有一套数据读取方法,但是遇到一个问题就是,在训练的时候,GPU的利用率忽高忽低,极大可能是由于训练过程中读取每个batch数据造成的,所以又 ...
java程序调用db2 load,java-在DB2 10.5中使用DB2 load命令加载数据时出错
我的应用程序中有一个IBM DB2数据库.我们有一个每月的Java批处理过程,该过程使用 "load Replace" sql命令.在此批处理过程中,每月将更新大约数百万条记录. ...
TensorFlow加载数据的方式
tensorflow作为符号编程框架,需要先构建数据流图,再读取数据,然后再进行训练.tensorflow提供了以下三种方式来加载数据: 预加载数据(preloaded data):在tensorfl ...
Android开发之ContentProvider结合LoaderManager加载数据（图文源代码分享）
ContentProvider作为Android的四大存储方式之一,有着广泛的应用性,它暴露了数据地址,可以让其他应用访问数据,可以用于存储图片.通讯录等信息,这篇博文将详细介绍ContentProv ...

神经网络加载数据自建数据集官方数据集 pytorch 显示数据集

1.官方的数据集 MNIST

2.自建的数据集

读取单个数据文件

多张图片的情况 ImageFloder

神经网络加载数据自建数据集官方数据集 pytorch 显示数据集相关推荐

最新文章

热门文章

神经网络加载数据 自建数据集 官方数据集 pytorch 显示数据集

1.官方的数据集 MNIST

2.自建的数据集

读取单个数据文件

多张图片的情况 ImageFloder

神经网络加载数据 自建数据集 官方数据集 pytorch 显示数据集相关推荐

最新文章

热门文章

神经网络加载数据自建数据集官方数据集 pytorch 显示数据集

神经网络加载数据自建数据集官方数据集 pytorch 显示数据集相关推荐