深度学习之语义分割（SegNet）
原文链接：https://arxiv.org/pdf/1511.00561.pdf
github（tensorflow）:https://github.com/aizawan/segnet
基于SegNet的钢铁分割实验：https://github.com/fourmi1995/IronSegExprement-SegNet
1 编解码结构
具体来说，编码器的任务是在给定输入图像后，通过神经网络学习得到输入图像的特征图谱；而解码器则在编码器提供特征图后，逐步实现每个像素的类别标注，也就是分割。
通常，分割任务中的编码器结构比较类似，大多来源于用于分类任务的网络结构，比如VGG。这样做有一个好处，就是可以借用在大数据库下训练得到的分类网络的权重参数，通过迁移学习实现更好的效果。因此，解码器的不同在很大程度上决定了一个基于编解码结构的分割网络的效果。
2 SegNet
SegNet的编码器结构与解码器结构是一一对应的，即一个decoder具有与其对应的encoder相同的空间尺寸和通道数。对于基础SegNet结构，二者各有13个卷积层，其中编码器的卷积层就对应了VGG16网络结构中的前13个卷积层。encoder网络：其结构与VGG16网络的前13层卷积层的结构相似。decoder网络：作用是将由encoder的到的低分辨率的feature maps 进行映射得到与输入图像featuremap相同的分辨率进而进行像素级别的分类。Segnet的亮点：decoder进行上采样的方式，直接利用与之对应的encoder阶段中进行max-pooling时的polling index 进行非线性上采样，这样做的好处是上采样阶段就不需要进行学习。 SegNet主要用于场景理解应用，需要在进行inference时考虑内存的占用及分割的准确率。同时，Segnet的训练参数较少（将前面提到的VGG16的全连接层剔除），可以用SGD进行end-to-end训练。
下图是SegNet的网络结构，其中蓝色代表卷积+Batch Normalization+ReLU，绿色代表max-pooling，红色代表上采样，黄色是Softmax。
SegNet与FCN的对应结构相比，体量要小很多。这主要得益于SegNet中为了权衡计算量而采取的操作：用记录的池化过程的位置信息替代直接的反卷积操作。具体如下图所示。
图中左侧是SegNet使用的解码方式，右侧是FCN对应的解码方式。可以看到，SegNet的做法是先根据位置信息生成稀疏的特征图，再利用后续的卷积计算恢复稠密特征图。而FCN则直接利用反卷积操作求得上采样后的特征图，再将其与编码器特征图相加。
4 总结与思考
关于变体的分析，可以总结为以下三点：
保留编码器所有特征图所实现的效果最好，在这一点上语义分割边缘轮廓描述度量（BF）体现最为明显。
当推理过程的内存受限时，可以使用编码器特征图的压缩形式（比如缩小维度、使用池化信息等），但需要搭配合适的解码器形式（比如SegNet类型的）来提升表现。
在给定编码器时，越大的解码器效果越好。
深度学习之语义分割（SegNet）相关推荐
- 【深度学习】语义分割——综述
语义分割 文章目录 语义分割 什么是语义分割? 什么是图像中的语义信息? 语义分割中的上下文信息 语义分割方法 语义分割神经网络 语义分割待解决的问题 评价指标 目前比较经典的网络 参考文献和资料 什 ...
- HALCON 21.11：深度学习笔记---语义分割/边缘提取(12)
HALCON 21.11:深度学习笔记---语义分割/边缘提取(12) HALCON 21.11.0.0中,实现了深度学习方法. 本章介绍了如何使用基于深度学习的语义分割,包括训练和推理阶段. 通过语 ...
- 【深度学习】语义分割-综述(卷积)
这里写目录标题 0.笔记参考 1. 目的 2. 困难点 3. 数据集及评价指标 3.1数据集 3.2评价指标 4.实现架构 5. 模型发展 5.1基于全卷积的对称语义分割模型 5.1.1FCN(201 ...
- 当前主流的深度学习图像语义分割模型解析
转载自[量子位]公众号 QbitAI 原文地址:http://www.sohu.com/a/155907339_610300 图像语义分割就是机器自动从图像中分割出对象区域,并识别其中的内容. 量子位 ...
- 【深度学习】语义分割：论文阅读：(CVPR 2022) MPViT（CNN+Transformer）：用于密集预测的多路径视觉Transformer
这里写目录标题 0详情 1摘要 2 主要工作 3 网络结构 3.1 Conv-stem 3.2 Multi-Scale Patch Embedding 3.3 Multi-path Transform ...
- 深度学习 Deeplab语义分割
语义分割Deeplab系列算法 背景 Deeplab Family DeeplabV1 DeeplabV2 DeeplabV3 概述 DeeplabV3+ Deeplabv3+实现 参考 背景 语义分 ...
- 【毕业设计】深度学习图像语义分割算法研究与实现 - python 机器视觉
文章目录 0 前言 2 概念介绍 2.1 什么是图像语义分割 3 条件随机场的深度学习模型 3. 1 多尺度特征融合 4 语义分割开发过程 4.1 建立 4.2 下载CamVid数据集 4.3 加载C ...
- Halcon 深度学习之语义分割 预处理 案例解析
语义分割 预处理 文章目录 语义分割 预处理 前言 一.预处理的目的是什么? 1.设置图像预处理的参数,此部分参数后续会写入到训练模型当中,具体参数信息如下图 2.得到语义分割的文件,用于后续的训练当 ...
- 深度学习图像语义分割
一.基本介绍 1. 什么是语义分割 语义分割(Semantic Segmentation)是图像处理和机器视觉一个重要分支,其目标是精确理解图像场景与内容.语义分割是在像素级别上的分类,属于同一类的像 ...
- 【毕业设计】基于深度学习实现语义分割算法系统 - 机器视觉
文章目录 0 前言 2 概念介绍 2.1 什么是图像语义分割 3 条件随机场的深度学习模型 3. 1 多尺度特征融合 4 语义分割开发过程 4.1 建立 4.2 下载CamVid数据集 4.3 加载C ...
最新文章
- D（背）P（包）专题
- PowerDesigner与SQL Server相连
- keras神经网络模型的保存与加载
- 按钮开始多线程_微软MR技术专家分享：AR/VR多线程处理的八年经验与技巧
- adonis.js mysql_Adonis.js——数据库基本操作
- 相干光通信系统的调制与解调
- Css学习总结（4）——CSS选择器总结
- 第一个网站制作上传的过程
- Entity Framework 6.x Code First 基础
- 新手小白之学习python一飞冲天日志之—基本数据类型，条件控制语句
- C语言函数一章教学,c语言案例教程：函数教学讲义.ppt
- unity 导入 obj 模型 和 json 数据
- Flutter 安卓 Platform 与 Dart 端消息通信方式 Channel 源码解析
- 虚拟机安装及网络配置
- JS 应用篇(一)：Underfined与Null的区别
- 基站三角定位法 java_什么是三角定位法？
- for循环中表达式和循环体的执行顺序
- PostgreSQL创建表及约束
- 百度被黑了，百度被真相曝光
- serializers的应用