多光谱（RGB-T）语义分割2019-RTFNet总结

RTFNet: RGB-Thermal Fusion Network for Semantic Segmentation of Urban Scenes

一、Overview
2019年的一篇RGB-T语义分割论文，创新点在于提出了一个新的编码器-译码器模型。实验结果表明，本文提出的RTFNet在MFNet提出的数据集中取得了目前最好的分割效果。
二、 Additional knowledge
1.热（红外）图像主要应用于缺乏光照条件（黑夜）以及强光照射情况的自动驾驶。
2.热（红外）图像相关应用较少的原因：
（1）热成像摄像机最初是为军事用途而发明的，其他领域的使用受限。
（2）热成像相机的制造要比普通相机复杂得多，工艺要求较高，价格昂贵。（近年来价格有所下降，因此这些摄像机可以越来越多地用于民用应用）
（3）使用热成像摄像机获取的热图像噪声较多像素较低，与RGB图像的校准较为困难。
三、Contributions
1.提出了一种融合RGB信息和T信息的深度神经网络模型，用于城市场景的语义分割。
2.证明了使用T信息可以有效提升语义分割效果。
3.在MFNet提出的数据集（第一个RGB-T数据集）中得到了目前最好的结果。
四、Model

图1 RTFNet模型结构 RTFNet模型结构如图1所示，主要由两个并行的编码器和一个译码器构成，其中两个并行的编码器结构相同，均使用ResNet作为骨架，只有输入的通道数不同（3/1），分别用来提取RGB图像和T图像的特征。图1中黑色的矩形代表Fusion layer，目的是将编码器从两个模态提取到的feature map逐元素相加进行信息融合。译码器部分是本文的创新点，没有直接采用一般的上采样操作（反卷积层、反池化层、插值等方法），设计了Upception模块，由于编码器部分得到的feature map分辨率为原来的1/32，因此译码器部分使用五个Upception模块，每个模块会将分辨率恢复为其输入的两倍。表1 Upception Block A＆B结构

图2 Upception Block A＆B结构 Upception结构由A和B两部分构成。其中Upception A中的三个卷积层不改变输入的分辨率和通道数。Upception B中Conv1不改变feature map的分辨率但是将通道数减少为原来的一半；Conv2不改变feature map的分辨率和通道数；TransConv1保持feature map的通道数不变同时将通道数变为原来的两倍（上采样）；TransConv2将feature map的通道数减少为原来的一半同时将分辨率变为原来的两倍，此时两条路径（残差路径和跳连接路径）的结果分辨率相同（原来的两倍）通道数相同（原来的一半），即可逐元素相加。

五、Experiments
使用MFNet论文中提出的数据集（第一个RGB-T语义分割数据集），共有九类标签。评价标准还是一般语义分割通用的mAcc和mIoU。数据集的划分也按照MFNet中提出的：训练集由50%的白天图像和50%的夜间图像组成，验证集由25%的白天图像和25%的夜间图像组成，其余图像用于测试。
1．消融实验
验证加入T图像信息是否可以提升分割精度以及Upception结构是否有用。

图3 消融实验结果对比图3中NRE代表没有RGB图像编码器（仅使用T图像），NTE代表没有T图像编码器（仅使用RGB图像），NUB表示用一般的上采样操作替换Upception模块。实验结果表明，编码器部分使用ResNet-50和152较好。虽然ResNet-152的精度略高，但是ResNet-50的参数更少，因此结合精度和效率来看ResNet-50算是最好的选择。实验结果验证了T信息与RGB信息融合确实可以提高分割精度，而Upception对模型性能的提升也非常明显。 2．与现有方法对比表2 现有方法类别精度对比

由于表中除了最后四个模型都是RGB语义分割模型，为了确保公平，对这些模型采用RGB-T四通道输入。（直接将输入的通道级联，效果不好可以预见的到）。
RTFNet得到了最好的结果。对于某些类别比如护栏的精度为0.0，文中给出的解释是因为数据集中类别不平衡导致的，用于训练的图片中护栏标签极少，因此模型无法从训练数据中学习到这类物体的特征。
3．与现有方法对比（白天和黑夜图片分割效果对比）

表3 现有方法白天和黑夜图片分割效果对比

4．推理速度对比

表4 现有方法推理速度对比

本文的模型推理速度一般，但是足够完成实时的语义分割（fps大于30），主要好在精度比其它方法都要高。
5．分割结果对比展示

图4 可视化结果六、Reproduction 1．复现RTFNet-50测试集上的结果：

图5 复现测试结果 2．可视化分割结果示例（复现）：

多光谱（RGB-T）语义分割2019-RTFNet总结相关推荐

Tensorflow C++ API调用Keras模型实现RGB图像语义分割
我的实验是基于PSPNet模型实现二维图像的语义分割,下面的代码直接从得到的h5文件开始往下做... 也不知道是自己的检索能力出现了问题还是咋回事,搜遍全网都没有可以直接拿来用的语义分割代码,东拼西凑 ...
语义分割【论文解读】新思路：几何感知蒸馏 CVPR-2019
文章转自:知乎原文链接:https://zhuanlan.zhihu.com/p/146165099 作者:Danny明泽简介语义分割是计算机视觉中一个基本而又具有挑战性的问题.通过语义分割 ...
RTFNet——用于城市场景语义分割的RGB和热红外融合网络
Overview Title-RTFNet:用于城市场景语义分割的RGB和热红外融合网络 Time-2019 Journal-IEEE ROBOTICS AND AUTOMATION LETTERS ...
RTFNet：基于可见光/红外图像的城市自动驾驶道路场景语义分割
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达论文下载:https://yuxiangsun.github.io/pub/RAL2019_rtfne ...
NeurIPS 2019 | 用于弱监督图像语义分割的新型损失函数
作者丨赵磊学校丨北京林业大学硕士生研究方向丨语义分割本文已经被 NeurIPS 2019 (2019 Conference and Workshop on Neural Information ...
CVPR 2019 | 近日新出论文汇总（含视频目标分割、GAN、度量学习、高效语义分割等主题）...
点击我爱计算机视觉标星,更快获取CVML新技术 CV君汇总了最近两天新出的CVPR 2019 论文,涵盖内容包括:度量学习.视频目标分割.GAN图像生成.基于RGB图像的物体表面网格生成.深度补全.高 ...
MFNet——向具有多光谱场景的自动驾驶汽车的实时语义分割
Overview Title:MFNet: Towards real-time semantic segmentation for autonomous vehicles with multi-spe ...
Decoders对于语义分割的重要性 | CVPR 2019
点击上方↑↑↑蓝字关注我们~ 「2019 Python开发者日」7折优惠最后3天,请扫码咨询 ↑↑↑ 作者 | Lin-Zhuo Chen 转载自博客链接:https://linzhuo.xyz/p ...
微软亚研院提出用于语义分割的结构化知识蒸馏 | CVPR 2019
作者 | CV君来源 | 我爱计算机视觉今天跟大家分享一篇关于语义分割的论文,刚刚上传到arXiv的CVPR 2019接收论文<Structured Knowledge Distillati ...

多光谱（RGB-T）语义分割2019-RTFNet总结

RTFNet: RGB-Thermal Fusion Network for Semantic Segmentation of Urban Scenes

多光谱（RGB-T）语义分割2019-RTFNet总结相关推荐

最新文章

热门文章