自动驾驶之-MATLAB环境下基于深度学习的语义分割
深度学习，一个大号的，现代的，黑箱的，信号/图像处理器，本文程序运行环境为MATLAB R2018A。
本文简单讲解如何使用深度学习网络进行语义分割。语义分割网络对图像中的每个像素进行分类，从而生成按类别分割的图像，本文将语义分割应用于自动驾驶的道路分割。
为了说明训练过程，本文训练一个SegNet网络，这是一种用于图像语义分割的卷积神经网络 （CNN）。其他类型的语义分割网络包括全卷积网络（FCN）和U-Net等等。
本文使用剑桥大学的CamVid 数据集进行训练，数据集包括驾驶时获得的街道视图图像，为32个语义类（包括汽车、行人和道路）提供像素级标签。
同时还使用VGG-16网络的权重初始化SegNet 网络，因此需要安装 VGG-16 网络模型。
vgg16();建议使用计算能力为 3.0 或更高版本的具有 CUDA 功能的 NVIDIA™ GPU 来运行，使用 GPU 需要并行计算工具箱。
CamVid数据集
下载的CamVid图像及相应的像素标记图如下
加载CamVid图像
使用imageDatastore函数加载CamVid图像
imgDir = fullfile(outputFolder,'images','701_StillsRaw_full');
imds = imageDatastore(imgDir);展示其中一张图像
I = readimage(imds,1);
I = histeq(I);
imshow(I)
加载CamVid像素标记图像
使用 pixelLabelDatastore函数加载CamVid像素标记图像数据。
按照原始SegNet论文，将 CamVid 中的 32 个原始类别分组为11个类别
classes = ["Sky""Building""Pole""Road""Pavement""Tree""SignSymbol""Fence""Car""Pedestrian""Bicyclist"];要将32个类别减少到 11 个类别，需要将原始数据集中的多个类别组合在一起。例如，"Car" 是“Car”，“SUVPickupTruck”，“Truck_Bus”，“Train”和“OtherMoving”的组合。使用camvidPixelLabelIDs函数返回分好组的标签 ID。
labelIDs = camvidPixelLabelIDs();使用类别和标签 ID 创建pixelLabelDatastore
labelDir = fullfile(outputFolder,'labels');
pxds = pixelLabelDatastore(labelDir,classes,labelIDs);将一个像素标记图像进行叠加，读取并显示该图像
C = readimage(pxds,1);
cmap = camvidColorMap;
B = labeloverlay(I,C,'ColorMap',cmap);
imshow(B)
pixelLabelColorbar(cmap,classes);
分析数据集统计信息
使用 countEachLabel函数查看CamVid 数据集中类别标签分布
tbl = countEachLabel(pxds)
tbl=11×3 tableName PixelCount ImagePixelCount____________ __________ _______________'Sky' 7.6801e+07 4.8315e+08 'Building' 1.1737e+08 4.8315e+08 'Pole' 4.7987e+06 4.8315e+08 'Road' 1.4054e+08 4.8453e+08 'Pavement' 3.3614e+07 4.7209e+08 'Tree' 5.4259e+07 4.479e+08 'SignSymbol' 5.2242e+06 4.6863e+08 'Fence' 6.9211e+06 2.516e+08 'Car' 2.4437e+07 4.8315e+08 'Pedestrian' 3.4029e+06 4.4444e+08 'Bicyclist' 2.5912e+06 2.6196e+08
按类别可视化像素计数
frequency = tbl.PixelCount/sum(tbl.PixelCount);
bar(1:numel(classes),frequency)
xticks(1:numel(classes))
xticklabels(tbl.Name)
xtickangle(45)
ylabel('Frequency')
理想情况下，所有类别的数目应该相等。但是，CamVid数据集中的类别是不平衡的，因此可以使用类别加权算法来处理。
调整CamVid数据
CamVid 数据集中的图像大小为720 x 960，为减少训练时间和内存占用，将图像大小和像素标签图像调整为 360 x 480。
imageFolder = fullfile(outputFolder,'imagesResized',filesep);
imds = resizeCamVidImages(imds,imageFolder);
labelFolder = fullfile(outputFolder,'labelsResized',filesep);
pxds = resizeCamVidPixelLabels(pxds,labelFolder);准备训练集和测试集
SegNet网络使用数据集中 60% 的图像进行训练
训练和测试图像数量
numTrainingImages = numel(imdsTrain.Files)
numTestingImages = numel(imdsTest.Files)创建网络
使用 segnetLayers函数创建SegNet网络，segnetLayers可自动从VGG-16网络中迁移权重
imageSize = [360 480 3];
numClasses = numel(classes);
lgraph = segnetLayers(imageSize,numClasses,'vgg16');类别加权平衡
imageFreq = tbl.PixelCount ./ tbl.ImagePixelCount;
classWeights = median(imageFreq) ./ imageFreqclassWeights = 11×1
0.3182
0.2082
5.0924
0.1744
0.7103
0.4175
4.5371
1.8386
1.0000
6.6059
使用 pixelClassificationLayer 函数指定类别权重
pxLayer = pixelClassificationLayer('Name','labels','ClassNames',tbl.Name,'ClassWeights',classWeights)移除当前的pixelClassificationLayer层，使用新的pixelClassificationLayer层更新 SegNet 网络，然后使用 connectLayers 函数将新层连接到网络。
lgraph = removeLayers(lgraph,'pixelLabels');
lgraph = addLayers(lgraph, pxLayer);
lgraph = connectLayers(lgraph,'softmax','labels');指定训练参数
用于训练的优化算法是带动量的随机梯度下降 （SGDM）方法，使用trainingOptions指定用于 SGDM 的超参数。
options = trainingOptions('sgdm', ...'Momentum',0.9, ...'InitialLearnRate',1e-3, ...'L2Regularization',0.0005, ...'MaxEpochs',100, ... 'MiniBatchSize',4, ...'Shuffle','every-epoch', ...'VerboseFrequency',2);数据增强
在训练过程中使用数据增强方法为网络提供更训练样本，有助于提高网络的分类准确率。
augmenter = imageDataAugmenter('RandXReflection',true,...'RandXTranslation',[-10 10],'RandYTranslation',[-10 10]);开始训练
使用pixelLabelImageDatastore组合训练数据和数据增强选项，为训练网络做准备
pximds = pixelLabelImageDatastore(imdsTrain,pxdsTrain,...'DataAugmentation',augmenter);[net, info] = trainNetwork(pximds,lgraph,options);在某一图像上测试网络
为了快速测试网络，在一个测试图像上运行训练好的网络
I = read(imdsTest);
C = semanticseg(I, net);显示结果
B = labeloverlay(I,C,'Colormap',cmap,'Transparency',0.4);
imshow(B)
pixelLabelColorbar(cmap, classes);
将C中的结果与 pxdsTest 中存储的真实值进行比较，绿色和洋红色区域突出显示分割结果与真实值不同的区域。
expectedResult = read(pxdsTest);
actual = uint8(C);
expected = uint8(expectedResult);
imshowpair(actual, expected)
从视觉效果上看，语义分割结果对于道路、天空和建筑物等类别较好。然而，较小的物体，如行人和汽车，并不那么准确。每个类别的重叠量可以使用IoU 指标（也称为 Jaccard ）衡量。
iou = jaccard(C, expectedResult);
table(classes,iou)ans=11×2 tableclasses iou ____________ ________"Sky" 0.92659"Building" 0.7987"Pole" 0.16978"Road" 0.95177"Pavement" 0.41877"Tree" 0.43401"SignSymbol" 0.32509"Fence" 0.492"Car" 0.068756"Pedestrian" 0"Bicyclist" 0
道路、天空和建筑类别的 IoU 分数较高，而行人和汽车等类别的分数较低
评估网络
对整个测试集进行语义分割
pxdsResults = semanticseg(imdsTest,net,'WriteLocation',tempdir,'Verbose',false);semanticseg函数将测试集的结果作为pixelLabelDatastore对象返回，imdsTest中每个测试图像的实际像素标记数据将写入磁盘。使用 evaluateSemanticSegmentation 可以测量测试集结果上的语义分割指标。
metrics = evaluateSemanticSegmentation(pxdsResults,pxdsTest,'Verbose',false);evaluateSemanticSegmentation函数返回整个数据集、单个类别和每个测试图像的各种指标。查看数据集指标，键入metrics.DataSetMetrics .
metrics.DataSetMetricsans=1×5 tableGlobalAccuracy MeanAccuracy MeanIoU WeightedIoU MeanBFScore______________ ____________ _______ ___________ ___________0.88204 0.85097 0.60893 0.79795 0.60981
若要查看每个类别对整体性能的影响，键入metrics.ClassMetrics.
metrics.ClassMetricsans=11×3 tableAccuracy IoU MeanBFScore________ _______ ___________Sky 0.93493 0.89244 0.88152 Building 0.79776 0.75263 0.59707 Pole 0.72635 0.18662 0.52252 Road 0.93676 0.90672 0.71043 Pavement 0.90674 0.72865 0.70362 Tree 0.86657 0.73747 0.66421 SignSymbol 0.7559 0.34519 0.43401 Fence 0.82807 0.50592 0.5083 Car 0.91187 0.75001 0.64352 Pedestrian 0.84866 0.35046 0.45551 Bicyclist 0.84705 0.54208 0.46818
尽管整体数据集性能相当高，但类别指标显示，行人、骑自行车者和汽车类别与道路、天空和建筑物等类相比，没有被分割。
代码
https://mianbaoduo.com/o/bread/Y5mYmZt
参考文献
[1] Badrinarayanan, Vijay, Alex Kendall, and Roberto Cipolla. "SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation." arXiv preprint arXiv:1511.00561, 2015.
[2] Brostow, Gabriel J., Julien Fauqueur, and Roberto Cipolla. "Semantic object classes in video: A high-definition ground truth database." Pattern Recognition Letters Vol 30, Issue 2, 2009, pp 88-97.
自动驾驶之-MATLAB环境下基于深度学习的语义分割相关推荐
- 自动驾驶之-MATLAB环境下基于深度学习的目标检测（停车标志检测）
深度学习,一个大号的,现代的,黑箱的,信号/图像处理器,本文程序运行环境为MATLAB R2018A. 本文简要讲解如何使用深度学习(R-CNN网络)来训练一个停车标志检测器.R-CNN是一种目标检测 ...
- MATLAB环境下基于深度学习的JPEG图像去块（Image Deblocking）
之前主要研究现代信号处理,深度学习嘛,一个大号/深层的,现代的,黑箱的,信号/图像处理器,所以,作为一个研究现代信号处理的,顺便搞些深度学习也是顺理成章的.本文程序运行环境为MATLAB R2018A ...
- 在MATLAB环境下使用深度学习网络DeepLabV3+进行语义分割(云图分割)
摘要:本文主要讲述在MATLAB2020a环境下利用深度神经网络DeepLabV3+进行语义分割,分割感图像中的云层.讲述了:1.训练数据的获取.训练集制作:2.DeepLabV3+模型的构建:3.D ...
- 自动驾驶之-MATLAB环境下利用单目摄像头和语义分割创建占位栅格（occupancy grid）
准备写一些关于自动驾驶方面的东西,以前研究过一些,也比较感兴趣. 本文简单讲解如何使用深度学习语义分割估计车辆可行驶区域(free space),并创建占位栅格(occupancy grid),然后使 ...
- 【毕业设计】基于深度学习实现语义分割算法系统 - 机器视觉
文章目录 0 前言 2 概念介绍 2.1 什么是图像语义分割 3 条件随机场的深度学习模型 3. 1 多尺度特征融合 4 语义分割开发过程 4.1 建立 4.2 下载CamVid数据集 4.3 加载C ...
- MATLAB环境下基于迁移学习的滚动轴承故障诊断
这篇文章主要讲解一下如果迁移学习对滚动轴承进行故障诊断,但是文中所用的微调预训练的 SqueezeNet 卷积神经网络是自然图像训练出来的,与轴承故障诊断中所使用的时频谱图相距甚远,虽然分类精度较高, ...
- 基于深度学习的语义分割代码库
截至: 2018-04-16 Awesome Semantic Segmentation Networks by architecture Semantic segmentation U-Net [h ...
- 毕设路线—pytorch环境下的深度学习的高光谱图像分类问题
毕设快要结束了,一路走来一直记录着点点滴滴的技术内容,主要想写给自己看吧,作为一个项目整理的大致框架,改完最终定稿,再填补每一部分的细节. 另外如果以后有做这个方向的朋友看到了,希望能提供一点小小的帮 ...
- HALCON 21.11：深度学习笔记---语义分割/边缘提取(12)
HALCON 21.11:深度学习笔记---语义分割/边缘提取(12) HALCON 21.11.0.0中,实现了深度学习方法. 本章介绍了如何使用基于深度学习的语义分割,包括训练和推理阶段. 通过语 ...
- matlab 图像矢量量化,MATLAB环境下基于矢量量化的说话人识别系统(1)
第21卷第6期湖 北 工 业 大 学 学 报2006年12月 Vol.21No.6 Journal of Hubei Univer sity of Technology Dec.2006 [收稿日期] ...
最新文章
- 校招经验分享—高考结束！校招还会远么～～
- 高性能服务器架构（一）：缓冲策略
- Java jdbc连接数据库 INSERT插入
- Android应用程序请求SurfaceFlinger服务渲染Surface的过程分析
- java 对象的态_Java面向对象-------多态总结
- linux网络编程（三）select、poll和epoll
- JRebel Idea热更新插件
- erlang环境变量——HOME
- CASS11：超越自我，再续辉煌！CASS10.1.6：延续经典，只为更好！
- Bom及Bom对象的详细介绍
- eplan连接定义点不显示_CAD和EPLAN！电气制图你会选择哪个？
- 毕业论文：vrml设计的虚拟校园
- 11、基于STM32的智能药盒
- 局域网即时通讯软件的实现
- 王者荣耀无法提取模型
- 汇编inc为什么不影响cf_为什么INC和DEC指令不会影响进位标志？
- jenkins docker 编译verify出现crash的问题
- python3.7 统计某一只股票每天的开盘，收盘，最高，最低价格
- java 代码走查_java代码开发完成后，代码走查规范
- android zip解压 速度,如何在Java / Android中加快解压缩时间？