前言

PyTorch通过torch.utils.data对一般的常用数据进行封装，可以很容易地实现多线程数据预读和批量加载。torchvision已经预先实现了常用的图像数据集，包括CIFAR-10、ImageNet、COCO、MNIST、LSUN等数据集，可以通过torchvision.datasets进行方便的调用。

Dataset

在PyTorch中，Dataset是图像数据集中最为重要的一个类，也是所有数据集加载类都需要继承的父类。自定义的继承自Dataset的子类需要继承Dataset的两个成员方法：

1. def __getitem__(self, index)：该方法定义用索引(0~len(self))获取一条数据或一个样本。
2. def __len__(self)：该方法返回数据集的总长度。

下面利用Kaggle上的某个竞赛数据自定义一个数据集，该数据集可直接从Kaggle官网下载，为了方便起见，可通过如下途径获取：链接: https://pan.baidu.com/s/1MfDa1Ff53LSgefXUN3o8yg 提取码: exu5。

首先引入相应的模块。

from torch.utils.data import Datasetimport pandas as pd

然后自定义数据集，继承自Dataset并实现__getitem__( )与__len__( )两个成员方法。

自定义数据集

以上代码自定义了一个非常简单的数据集MyDataSet，在初始化方法__init__( )中加载数据并将其赋值给一个DataFrame，然后实现__getitem__( )与__len__( )两个成员方法，分别返回指定的一条数据和数据集的长度。

定义好一个数据集后，可以通过实例化一个对象进行相关的访问。

实例化自定义数据集

由于我们自定义的数据集MyDataSet实现了__len__( )方法，因此可以直接使用len( )函数获取数据集长度。实现__getitem__( )方法后，可以直接通过索引访问对应的数据。

DataLoader

上述的MyDataSet类可以读入数据集数据并对读入的数据进行索引，但是显然在实际应用中仅仅拥有这个功能是远远不够的，通常我们还需要以下几个功能：

1. 可以分批次读取。
2. 可以对数据进行随机读取，进行洗牌操作，打乱数据集内数据分布的顺序。
3. 可以并行加载数据(利用多核处理器加快载入数据的效率)。

DataLoader为我们提供了对Dataset的各种操作，可以帮我们实现以上功能，在实例化DataLoader对象时常常用到如下参数：

1. batch_size：每个batch的大小，可用于分批次读取。
2. shuffle：是否进行shuffle洗牌操作，可用于对数据进行随机读取。
3. num_workers：加载数据时使用的子进程数量，可用于实现并行加载数据。

my_loader = torch.utils.data.DataLoader(my_data, batch_size=10, shuffle=True, num_workers=0)

上述代码实例化了一个简单的DataLoader对象，其中batch_size为10，表示每个batch的大小为10，shuffle为Ture，表示对数据进行洗牌操作，num_workers为0，表示不进行并行加载数据。

DataLoader返回的是一个可迭代对象，可以使用迭代器分次获取数据。当然，由于batch要求必须包含Tensor或NumPy数组或Numbers或字典或列表，因此我们在使用前需要修改上述MyDataSet中的__getitem__( )方法，将return self.df.iloc[index]修改为return self.df.iloc[index].SalePrice只返回单列数据。

DataLoader

更常见的用法是使用for-in循环对其进行遍历读取。

for-in循环遍历DataLoader

原始数据有点多，这里只打印了前5条数据。

torchvision

torchvision是PyTorch专门用于处理图像的库，常用的模块有torchvision.datasets、torchvision.models和torchvision.transforms。

• torchvision.datasets

torchvision.datasets提供了很多提前处理好的图片数据集，例如MNIST、COCO、Captions、LSUN等，用户可以直接使用。例如我们利用torchvision.datasets下载MNIST数据集，参数root表示数据加载的目录，train表示是否加载数据的训练集(True加载训练集，False加载测试集)，download表示是否自动下载数据集，transform表示是否需要对数据进行预处理(None为不进行预处理)。

下载数据集

运行上述代码就会开始下载MNIST数据集，因为train参数设置为True，所以下载的是MNIST的训练集。下载结束后，就可以在当前路径下发现新生成了一个data目录，里面已经有下载好的MNIST训练集了。

• torchvision.models

torchvision.models为用户提供了已经训练好的模型，用户可以在加载后直接使用，也可以在进行迁移学习torchvision.models的子模块中包含以下模型结构：

1. AlexNet
2. VGG
3. ResNet
4. SqueezeNet
5. DenseNet

与torchvision.datasets一样，要使用torchvision.models中训练好的模型，同样需要从服务器进行下载。

下载模型

当pretrained设置为True时就可以使用预训练的模型了。

• torchvision.transforms

torchvision.transforms提供了常用的图像转换操作类，可以用作数据处理和数据增强。