09.语义分割和数据集
语义分割
PDF:part-2_13.pdf (d2l.ai)
视频:46 语义分割和数据集【动手学深度学习v2】_哔哩哔哩_bilibili
语义分割(semantic segmentation)问题重点关注于如何将图像分割成属于不同语义类别的区域。 与目标检测不同,语义分割可以识别并理解图像中每一个像素的内容:其语义区域的标注和预测是像素级的。与目标检测相比,语义分割标注的像素级的边框显然更加精细。
图像分割和实例分割
计算机视觉领域还有2个与语义分割相似的重要问题,即图像分割(image segmentation)和实例分割(instance segmentation)。 我们在这里将它们同语义分割简单区分一下。
图像分割将图像划分为若干组成区域,这类问题的方法通常利用图像中像素之间的相关性。它在训练时不需要有关图像像素的标签信息,在预测时也无法保证分割出的区域具有我们希望得到的语义。以下面以黑色为主的嘴和眼睛,另一个覆盖以黄色为主的其余部分身体。
实例分割也叫同时检测并分割(simultaneous detection and segmentation),它研究如何识别图像中各个目标实例的像素级区域。与语义分割不同,实例分割不仅需要区分语义,还要区分不同的目标实例。例如,如果图像中有两条狗,则实例分割需要区分像素属于的两条狗中的哪一条。
语义分割数据集
书籍:13.9. 语义分割和数据集 — 动手学深度学习 2.0.0-beta0 documentation (d2l.ai)
代码:semantic-segmentation-and-dataset slides (d2l.ai)
视频:46 语义分割和数据集【动手学深度学习v2】_哔哩哔哩_bilibili
[最重要的语义分割数据集之一是Pascal VOC2012。] 下面我们深入了解一下这个数据集。
import os
import torch
import torchvision
from d2l import torch as d2l
数据集的tar文件大约为2GB,所以下载可能需要一段时间。 提取出的数据集位于../data/VOCdevkit/VOC2012
。
#@save
d2l.DATA_HUB['voc2012'] = (d2l.DATA_URL + 'VOCtrainval_11-May-2012.tar','4e443f8a2eca6b1dac8a6c57641b67dd40621a49')voc_dir = d2l.download_extract('voc2012', 'VOCdevkit/VOC2012') # voc_dir是voc2012的根目录
Downloading …\data\VOCtrainval_11-May-2012.tar from http://d2l-data.s3-accelerate.amazonaws.com/VOCtrainval_11-May-2012.tar…
下载数据完成后,删除上面的下载代码,把voc_dir的值改为
voc_dir = "../data/VOCdevkit/VOC2012"
。防止每次调试运行都会下载解压代码浪费时间。
进入路径../data/VOCdevkit/VOC2012
之后,我们可以看到数据集的不同组件。 ImageSets/Segmentation
路径包含用于训练和测试样本的文本文件,而JPEGImages
和SegmentationClass
路径分别存储着每个示例的输入图像和标签。 此处的标签也采用图像格式,其尺寸和它所标注的输入图像的尺寸相同。 此外,标签中颜色相同的像素属于同一个语义类别。 下面将read_voc_images
函数定义为[将所有输入的图像和标签读入内存]。
#@save
def read_voc_images(voc_dir, is_train=True):"""读取所有VOC图像并标注"""txt_fname = os.path.join(voc_dir, 'ImageSets', 'Segmentation','train.txt' if is_train else 'val.txt')mode = torchvision.io.image.ImageReadMode.RGBwith open(txt_fname, 'r') as f:images = f.read().split()features, labels = [], []for i, fname in enumerate(images):features.append(torchvision.io.read_image(os.path.join(voc_dir, 'JPEGImages', f'{fname}.jpg')))labels.append(torchvision.io.read_image(os.path.join(voc_dir, 'SegmentationClass' ,f'{fname}.png'), mode)) # labels需要存储为没有压缩过的png文件return features, labelstrain_features, train_labels = read_voc_images(voc_dir, True)
标签的图像常用png,因为jpg会压缩
下面我们[绘制前5个输入图像及其标签]。 在标签图像中,白色和黑色分别表示边框和背景,而其他颜色则对应不同的类别。
n = 5
imgs = train_features[0:n] + train_labels[0:n]
imgs = [img.permute(1,2,0) for img in imgs]
d2l.show_images(imgs, 2, n);
接下来,我们[列举RGB颜色值和类名]。
#@save
VOC_COLORMAP = [[0, 0, 0], [128, 0, 0], [0, 128, 0], [128, 128, 0],[0, 0, 128], [128, 0, 128], [0, 128, 128], [128, 128, 128],[64, 0, 0], [192, 0, 0], [64, 128, 0], [192, 128, 0],[64, 0, 128], [192, 0, 128], [64, 128, 128], [192, 128, 128],[0, 64, 0], [128, 64, 0], [0, 192, 0], [128, 192, 0],[0, 64, 128]]#@save
VOC_CLASSES = ['background', 'aeroplane', 'bicycle', 'bird', 'boat','bottle', 'bus', 'car', 'cat', 'chair', 'cow','diningtable', 'dog', 'horse', 'motorbike', 'person','potted plant', 'sheep', 'sofa', 'train', 'tv/monitor']
通过上面定义的两个常量,我们可以方便地[查找标签中每个像素的类索引]。 我们定义了voc_colormap2label
函数来构建从上述RGB颜色值到类别索引的映射,而voc_label_indices
函数将RGB值映射到在Pascal VOC2012数据集中的类别索引。
#@save
def voc_colormap2label():"""构建从RGB到VOC类别索引的映射"""colormap2label = torch.zeros(256 ** 3, dtype=torch.long)for i, colormap in enumerate(VOC_COLORMAP):colormap2label[(colormap[0] * 256 + colormap[1]) * 256 + colormap[2]] = ireturn colormap2label#@save
def voc_label_indices(colormap, colormap2label):"""将VOC标签中的RGB值映射到它们的类别索引"""colormap = colormap.permute(1, 2, 0).numpy().astype('int32')idx = ((colormap[:, :, 0] * 256 + colormap[:, :, 1]) * 256+ colormap[:, :, 2])return colormap2label[idx]
[例如],在第一张样本图像中,飞机头部区域的类别索引为1,而背景索引为0。
y = voc_label_indices(train_labels[0], voc_colormap2label())
y[105:115, 130:140], VOC_CLASSES[1]
(tensor([[0, 0, 0, 0, 0, 0, 0, 0, 0, 1],[0, 0, 0, 0, 0, 0, 0, 1, 1, 1],[0, 0, 0, 0, 0, 0, 1, 1, 1, 1],[0, 0, 0, 0, 0, 1, 1, 1, 1, 1],[0, 0, 0, 0, 0, 1, 1, 1, 1, 1],[0, 0, 0, 0, 1, 1, 1, 1, 1, 1],[0, 0, 0, 0, 0, 1, 1, 1, 1, 1],[0, 0, 0, 0, 0, 1, 1, 1, 1, 1],[0, 0, 0, 0, 0, 0, 1, 1, 1, 1],[0, 0, 0, 0, 0, 0, 0, 0, 1, 1]]),'aeroplane')
预处理数据
我们可以通过再缩放图像使其符合模型的输入形状。 然而在语义分割中,这样做需要将预测的像素类别重新映射回原始尺寸的输入图像。 这样的映射可能不够精确,尤其在不同语义的分割区域。 为了避免这个问题,我们将图像裁剪为固定尺寸,而不是再缩放。 具体来说,我们[使用图像增广中的随机裁剪,裁剪输入图像和标签的相同区域]。
注意随机时需要固定随机种子
#@save
def voc_rand_crop(feature, label, height, width):"""随机裁剪特征和标签图像"""rect = torchvision.transforms.RandomCrop.get_params(feature, (height, width))feature = torchvision.transforms.functional.crop(feature, *rect)label = torchvision.transforms.functional.crop(label, *rect)return feature, label
imgs = []
for _ in range(n):imgs += voc_rand_crop(train_features[0], train_labels[0], 200, 300)imgs = [img.permute(1, 2, 0) for img in imgs]
d2l.show_images(imgs[::2] + imgs[1::2], 2, n);
自定义语义分割数据集类
我们通过继承高级API提供的Dataset
类,自定义了一个语义分割数据集类VOCSegDataset
。 通过实现__getitem__
函数,我们可以任意访问数据集中索引为idx
的输入图像及其每个像素的类别索引。 由于数据集中有些图像的尺寸可能小于随机裁剪所指定的输出尺寸,这些样本可以通过自定义的filter
函数移除掉。 此外,我们还定义了normalize_image
函数,从而对输入图像的RGB三个通道的值分别做标准化。
#@save
class VOCSegDataset(torch.utils.data.Dataset):"""一个用于加载VOC数据集的自定义数据集"""def __init__(self, is_train, crop_size, voc_dir):self.transform = torchvision.transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])self.crop_size = crop_sizefeatures, labels = read_voc_images(voc_dir, is_train=is_train)self.features = [self.normalize_image(feature)for feature in self.filter(features)]self.labels = self.filter(labels)self.colormap2label = voc_colormap2label()print('read ' + str(len(self.features)) + ' examples')def normalize_image(self, img):return self.transform(img.float() / 255)def filter(self, imgs):return [img for img in imgs if (img.shape[1] >= self.crop_size[0] andimg.shape[2] >= self.crop_size[1])]def __getitem__(self, idx):feature, label = voc_rand_crop(self.features[idx], self.labels[idx],*self.crop_size)return (feature, voc_label_indices(label, self.colormap2label))def __len__(self):return len(self.features)
读取数据集
我们通过自定义的VOCSegDataset
类来分别创建训练集和测试集的实例。 假设我们指定随机裁剪的输出图像的形状为320×480320×480320×480320×480320×480320×480, 下面我们可以查看训练集和测试集所保留的样本个数。
crop_size = (320, 480)
voc_train = VOCSegDataset(True, crop_size, voc_dir)
voc_test = VOCSegDataset(False, crop_size, voc_dir)
read 1114 examples
read 1078 examples
设批量大小为64,我们定义训练集的迭代器。 打印第一个小批量的形状会发现:与图像分类或目标检测不同,这里的标签是一个三维数组。
batch_size = 64
train_iter = torch.utils.data.DataLoader(voc_train, batch_size, shuffle=True,drop_last=True,num_workers=d2l.get_dataloader_workers())
for X, Y in train_iter:print(X.shape)print(Y.shape)break
torch.Size([64, 3, 320, 480])
torch.Size([64, 320, 480])
整合所有组件
最后,我们定义以下load_data_voc
函数来下载并读取Pascal VOC2012语义分割数据集。 它返回训练集和测试集的数据迭代器。
#@save
def load_data_voc(batch_size, crop_size):"""加载VOC语义分割数据集"""voc_dir = d2l.download_extract('voc2012', os.path.join('VOCdevkit', 'VOC2012'))num_workers = d2l.get_dataloader_workers()train_iter = torch.utils.data.DataLoader(VOCSegDataset(True, crop_size, voc_dir), batch_size,shuffle=True, drop_last=True, num_workers=num_workers)test_iter = torch.utils.data.DataLoader(VOCSegDataset(False, crop_size, voc_dir), batch_size,drop_last=True, num_workers=num_workers)return train_iter, test_iter
小结
- 语义分割通过将图像划分为属于不同语义类别的区域,来识别并理解图像中像素级别的内容。
- 语义分割的一个重要的数据集叫做Pascal VOC2012。
- 由于语义分割的输入图像和标签在像素上一一对应,输入图像会被随机裁剪为固定尺寸而不是缩放。
练习
- 如何在自动驾驶和医疗图像诊断中应用语义分割?还能想到其他领域的应用吗?
- 回想一下 :numref:
sec_image_augmentation
中对数据增强的描述。图像分类中使用的哪种图像增强方法是难以用于语义分割的?
Discussions
09.语义分割和数据集相关推荐
- camvid数据集介绍_语义分割的数据集
背景 语义分割指的是把图像中的每个像素都划分到某一个类别上. 实现算法上,有传统时代的grab cut.ML时代的TextonForest.DL时代的FCN .SegNet .Dilated Conv ...
- 汇总 | 深度学习中图像语义分割基准数据集详解
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 汇总图像语义分割那些质量最好的数据集与常用benchmark数据集 ...
- pytorch1.2用FCN语义分割手提包数据集
基于pytorch1.2的FCN语义分割手提包数据集 前言 代码 结果分析 loss损失函数图 像素准确度(PA)变化曲线图 标签与分割结果对比图 总结 前言 作为一只刚刚入门深度学习的菜鸟来说,这是 ...
- 语义分割常用数据集整理
语义分割的数据集分为三类:2D图片,2.5D图片(RGB-D),3D图片.每一个类别的数据集都提供了像素级的标签,可以用来评估模型性能.同时其中一部分工作用到了数据增强来增加标签样本的数量. 一.2D ...
- 重磅发布!Google语义分割新数据集来啦!又一个分割SOTA模型
[导读]自动驾驶里视觉一直为人所诟病,特斯拉就是经常被拉出来批判的典型.谷歌最近开发了一个新模型,效果拔群,已被CVPR2021接收. 对于人来说,看一张平面照片能够想象到重建后的3D场景布局,能够根 ...
- 霸榜!Google发布语义分割新数据集!
点上方计算机视觉联盟获取更多干货 仅作学术分享,不代表本公众号立场,侵权联系删除 转载于:新智元 AI博士笔记系列推荐 周志华<机器学习>手推笔记正式开源!可打印版本附pdf下载链接 对于 ...
- 谷歌发布语义分割新数据集!
转自:新智元 编辑:LRS 对于人来说,看一张平面照片能够想象到重建后的3D场景布局,能够根据2D图像中包含的有限信号来识别对象,确定实例大小并重建3D场景布局. 这个问题有一个术语叫做光学可逆问题i ...
- 小菊的语义分割2——数据集的制作(一): ISPRS_Potsdam遥感图像数据集
小菊的语义分割--对ISPRS数据集中的遥感图像进行切分,制作自己的训练数据集 1. 为什么要对遥感图像进行切分? 2. 切分图像,制作数据集 欢迎大家关注我的个人博客:fuhao7i.com 1. ...
- 语义分割-CityScapes数据集
前言 常见的语义分割数据集有VOC2012, MS COCO以及Cityscapes等. 今天我们介绍Cityscapes数据集 1. 数据集简介 Cityscapes数据集,即城市景观数据集,其中包 ...
最新文章
- 【新技术】CentOS系统下docker的安装配置及使用详解
- 设计模式--门面(Facade)模式
- python 编程该看那些书籍_我用python5年后,我发现学python编程必看的三本书!
- illustrator下载_Illustrator笔工具练习
- 图书管理系统python语言-Python简易版图书管理系统
- ThinkPHP在IIS下配置ISAPI伪静态去掉index.php
- attachEvent中this指向(转)
- 用 WP7开发包 安装 WP7程序(XAP文件)
- 【FastDFS】FastDFS在CentOS的搭建
- TBase开源版V2.1.0 集群搭建部署完整版
- Java程序员工资为什么越来越高?
- 【208.11.21 直播QA】TI C2000 Piccolo单芯片——实现双轴伺服电机和马达控制
- 中学学生成绩管理系统
- Linux设备驱动-platform虚拟总线dya01
- java断路器原理_spring cloud 入门系列四:使用Hystrix 实现断路器进行服务容错保护...
- Python:创建函数判断闰年
- 翻译Monoxide: Scale out Blockchains with Asynchronous Consensus Zones
- removing emojis from string python
- 何谓网站优化中的“内容为王”
- 爱奇艺 视频编码信息参考
热门文章
- 树莓派4B运行SPI提速(MIT 机械狗程序)
- SpringBoot2入门教程
- 手机壁纸设置以及图片下载保存到本地
- python pandas series想赋予新的值_pandas Series对象创建及常用操作
- 张俊林:由ChatGPT反思大语言模型(LLM)的技术精要
- Python爬虫入门教程 63-100 Python字体反爬之一,没办法,这个必须写,反爬第3篇...
- 四代可以安装2003服务器系统吗,2003款奥迪A8第四代WFS防盗系统结构与检修
- jetty服务器无响应,【在服务器启动jetty后无法启动_jetty/tomcat】 | IT修真院·坑乎...
- clickhouse 数据TTL使用
- 三元:将对20万名贫困家庭儿童进行健康扶贫