图像分类常用数据集

1 CIFAR-10
2.MNIST
3.STL_10
4.Imagenet
5.L-Sun
6.caltech-101

在训练神经网络进行图像识别分类时，常会用到一些通用的数据集合。利用这些数据集合可以对比不同模型的性能差异。下文整理常用的图片数据集合（持续更新中)。
基本信息对比表格：

数据集合	类别数	图像数/类	训练集	测试集	图像大小	格式	数据集大小	图像内容
CIFAR-10	10	6k	5w	1w	32*32	RGB	163M	交通工具，动物
MNIST	10	7k	6w	1w	28*28	灰度	54M	手写数字
STL_10	10	1300(label)+10W(unlabel)	500	800	96*96	RGB	2.5G	与cifar一样
L-sun	10	–	–	–	256*256	RGB	>50G	场景

1 CIFAR-10

CIFAR-10是RGB 彩色图像数据集，是Hinton的学生Alex标注整理发布。
数据集发布网站：http://www.cs.toronto.edu/~kriz/cifar.html

一共包含10 个类别：飞机（ airplane ）、汽车（ automobile ）、鸟类（ bird ）、猫（ cat ）、鹿（ deer ）、狗（ dog ）、蛙类（ frog ）、马（ horse ）、船（ ship ）和卡车（ truck ）。

每个图片的尺寸为32 × 32 ，每个类别有6000个图像，数据集中一共有50000 张训练图片和10000 张测试图片。训练数据背分别放在5个.bin文件中，测试数据放在1个文件中。

一个样本由32323=3073 个字节组成，第一个字节为标签label ，剩下3072 个字节为图像数据。样本和样本之间没高多余的字节分割，每个二进制文件的大小是30730000 字节。

数据集合的文件目录如下：

通过pytorch 读入cifar-10数据文件：

transform=transforms.Compose([transforms.ToTensor(),transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5)), ])

训练集，将目录./data下的cifar-10-batches-py文件夹中的全部训练数据（50000张训练图片）加载到内存中，若download为True时，会自动从网上下载数据并解压

trainset = torchvision.datasets.CIFAR10(root=’./data’, train=True, download=True, transform=transform)

将训练集的50000张图片划分成12500份，每份4张图，用于mini-batch输入。shffule=True在不同epoch的数据遍历时，打乱顺序重新分组。num_workers=2：使用两个子进程来加载数据

trainloader = torch.utils.data.DataLoader(trainset, batch_size=4, shuffle=True, num_workers=2)

测试集，将目录./data下的cifar-10-batches-py文件夹中的全部测试数据（10000张测试图片）加载到内存中，若download为True时，会自动从网上下载数据并解压

testset = torchvision.datasets.CIFAR10(root=’./data’, train=False, download=False, transform=transform)

将测试集的10000张图片划分成2500份，每份4张图，用于mini-batch输入。

testloader = torch.utils.data.DataLoader(testset, batch_size=4, shuffle=False, num_workers=2)

用for 循环enumerate在trainloader和testloader 中取批次数据即可。

for i, data in enumerate(trainloader, 0):

参考资料：https://blog.csdn.net/qq_41185868/article/details/82793025

2.MNIST

3.STL_10

官方网址:https://cs.stanford.edu/~acoates/stl10/

STL-10数据集是用于开发无监督特征学习、深度学习、自学习算法的图像识别数据集。它的灵感来自CIFAR-10数据集，并进行了一些修改。与CIFAR-10相比，每一类别标记训练样本数量较少.但是在监督训练之前，提供了大量的未标记样本来学习图像模型。主要的困难是利用未标记的数据（来自与标记数据相似但不同的分布）来构建有用的先验。我们还期望，该数据集以较高分辨率（96x96）将使其成为开发更具伸缩性的无监督学习方法的基准。

1.10个类：飞机、鸟、汽车、猫、鹿、狗、马、猴、船、卡车。
2.图像为96x96像素，彩色。
3.500张训练图像（10份）/每类，800张测试图像/每类。
4.用于无监督学习的100000张无标签图像。这些样本是从相似但分布更广的图像中提取出来的。例如，10类标签中的动物外，它还包含其5.他类型的动物（熊、兔子等）和车辆（火车、公共汽车等）。
图像是从ImageNet上标记的样本中获取的。

官网提供了matlab 版本(.mat)和python 版本(二进制文件)的数据文件,(我用的是python版本的文件)

二进制文件有数据文件和标签文件：train_X.bin(数据文件)、train_y.bin(标签文件)、test_X.bin和test_y.bin。在每个值中，数据存储格式:uint8的数组。图像以列主顺序存储，一次一个通道。也就是说，前9696值是红色通道，后9696值是绿色，最后一个是蓝色。标签在1到10之间。未标记的数据集unlabeld.bin的格式相同，但不存在“y.bin”文件。

提供一个class_names.txt文件供参考，每行一个类名。

文件fold_index.txt包含用于训练的每个fold的（0开始）索引。第一行包含第一个fold、第二行、第二个fols索引等等等。

感谢Martin Tutek为加载/查看STL-10提供代码！链接:https://github.com/mttk/STL10
stl10在pytorch 中对应的数据载入接口：torchvision.datasets.STL10(root: str, split: str = ‘train’, folds: Optional[int] = None, transform: Optional[Callable] = None, target_transform: Optional[Callable] = None, download: bool = False)

4.Imagenet

网址:http://www.image-net.org/download.php
ImageNet是一个根据WordNet层次结构（目前只有名词）组织的图像数据库，其中每个节点都由成百上千的图像描述。目前平均每个节点有500多个图像。
1500万张,数据大小1TB,但是算力不够的情况下只会用到其中的一些子集.

光imaget 2012 就是150G(下不动,下不动)

pytorch 提供的数据接口针对:ImageNet 2012 Classification Dataset.

要注册,才能下载图像,知乎操作:https://zhuanlan.zhihu.com/p/42696535

5.L-Sun

官网:https://www.yf.io/p/lsun-介绍l-sun 文章,比赛,数据集,有链接直转到数据下载github仓库
github:https://github.com/fyu/lsun

l-sun 是一个场景数据库,包括10个场景.场景和对应的序号为:

bedroom 0 # --40G
bridge 1
church_outdoor 2
classroom 3
conference_room 4
dining_room 5
kitchen 6
living_room 7
restaurant 8
tower 9 #train+test --13.9G

tower-train-Minibatch_size为64,有11067个batch,约合70w张图片)

6.caltech-101

官网:http://www.vision.caltech.edu/Image_Datasets/Caltech101/
加利福尼亚理工学院101类图像数据库,有101类物体的图片。每个类别大约有40到800个图像。大多数类别都有大约50张图片。2003年9月由李飞飞、安德烈托和兰扎托收藏。每个图像的大小大约为300 x 200像素。(9144张,平均每个类别90张)
制作者们仔细点击了这些图片中每个对象的轮廓，轮廓信息包含在“Annotations.tar”下面,有一个matlab脚本可以查看注释,
“show_annotations.m”。

caltech-256,30607张图片,1.2G(平均每个类别119张.)

101 object， 256 object 都是folder 数据集合，使用pytorch dset.ImageFolder接口即可.

MachineLearning(2)-图像分类常用数据集相关推荐

深度学习遥感图像分类常用数据集简介以及下载地址
1. UC Merced Land-Use Data Set 图像像素大小为256*256,总包含21类场景图像,每一类有100张,共2100张. 下载地址:http://weegee.vision. ...
深度学习-07(图像分类、常用数据集、利用CNN实现图像分类、图像分类优化)
文章目录深度学习-07(PaddlePaddle图像分类) 图像分类概述概述什么是图像分类图像分类粒度图像分类发展历程图像分类问题的挑战常用数据集介绍 MNIST数据集 CIFAR10数 ...
CV：计算机视觉技最强学习路线之CV简介(传统视觉技术/相关概念)、早期/中期/近期应用领域(偏具体应用)、经典CNN架构(偏具体算法)概述、常用工具/库/框架/产品、环境安装、常用数据集、编程技巧
CV:计算机视觉技最强学习路线之CV简介(传统视觉技术/相关概念).早期/中期/近期应用领域(偏具体应用).经典CNN架构(偏具体算法)概述.常用工具/库/框架/产品.环境安装.常用数据集.编程技巧 ...
标识别,人脸识别等常用数据集
参考博客: https://www.cnblogs.com/weiyinfu/p/8016405.html#32 常用数据集一.Cifar数据集 Hinton参与收集彩色图像(RGB) 图像尺寸相 ...
【深度学习】深度学习常用数据集
常用数据集 Iris数据集(鸢尾花数据集) MushRoom数据集(蘑菇数据集) Bostom Housing数据集(波士顿房价数据集) Linnerrud 数据集 MINST数据集 Caltech1 ...
常用数据集整理（持续更新ing）
常用数据集整理(持续更新ing) 在做实验过程中经常用到的数据集整理一下,按照学习过程中遇到的数据集的先后顺序进行整理,希望能对科研有所帮助.本博文将随着学习过程持续性更新,有其他常用数据集的 ...
分布式机器学习常用数据集
今天开始跑分布式机器学习论文实验了,这里介绍一下论文的常用数据集(因为我的研究领域是分布式机器学习,所以下面列出的数据集可能偏向这方面,做其他方向的童鞋参考下就好). 1. CV数据集 (1)FEMI ...
第5章图像分类的数据集
第5章图像分类的数据集在我们实际进入到代码编写阶段来构建分类器之前,我们首先回顾下在本书中用到的数据集.一些数据集可理想的获得大于95%的准确率,另一些则还在开放研究阶段,还有一些是图像分类竞赛的部 ...
无人驾驶常用数据集---图像语义分割数据集--Cityscapes数据集的解读（for 小白）
** 无人驾驶常用数据集–图像语义分割数据集–Cityscapes数据集的解读(for 小白) ** 一.什么是Cityscapes数据集? Cityscapes是关于城市街道场景的语义理解图片数据集 ...

MachineLearning(2)-图像分类常用数据集