【论文笔记】道路检测 SNE-RoadSeg
论文标题：SNE-RoadSeg: Incorporating Surface Normal Information into Semantic Segmentation for Accurate Freespace Detection
论文地址：https://arxiv.org/abs/2008.11351v1
论文代码：https://github.com/hlwang1124/SNE-RoadSeg
数据集：http://sites.google.com/view/sne-roadseg
发表时间：2020年8月
本文使用表面法线估计器（SNE）对 Depth Image 进行处理，再使用 ResNet 进行特征提取，和仅使用 ResNet 进行特征提取的 RGB Image 的特征进行融合，融合使用了 FCN、DenseNet 的思想，具体融合处理仅仅是元素相加求和。
Abstract
自由空间检测是自动驾驶汽车视觉感知的重要组成部分。最近在数据融合卷积神经网络 (CNN) 方面所做的努力显著改善了语义驾驶场景分割。自由空间可以假设为地平面，其上的点具有相似的表面法线。
因此，在本文中，我们首先介绍了一个名为表面法线估计器（SNE）的新模块，它可以从密集的深度/视差图像中以高精度和高效率推断表面法线信息。此外，我们提出了一种数据融合 CNN 架构，称为 RoadSeg，它可以从 RGB 图像和推断的表面法线信息中提取和融合特征，以实现准确的自由空间检测。出于研究目的，我们发布了一个名为 Ready-to-Drive (R2D) 道路数据集的大型合成自由空间检测数据集，该数据集是在不同的光照和天气条件下收集的。实验结果表明，我们提出的 SNE 模块可以使所有最先进的 CNN 用于自由空间检测，并且我们的 SNE-RoadSeg 在不同数据集中实现了最佳的整体性能。
Personal understanding
本文两处创新：
1、表面法线估计器（SNE）
本质上就是一种特殊的特征提取方法
2、融合架构 RoadSeg
SNE 从深度/视差图像中提取特征，将此特征和 RGB 图像特征通过 RoadSeg 架构进行融合，本质上也是 CNN 的构成的，核心思想是基于 DenseNet 的改进
Method
1、表面法线估计器（SNE）架构如图
SNE 具体流程是严格的数学推导，并且作者给出了推导过程，数学基础好的同学可以详细看一下，会有收获的，不好的同学代码是开源的，可以直接使用，部分推导原文如下：
2、RoadSeg 的数据融合 CNN 架构
首先 Depth Image 经过 SNE 进行特征提取，经过 Conv、BN、ReLU、Max Pooling、残差块......
同时 RGB Image 也经过 Conv、BN、ReLU、Fusion（此处融合只是简单的元素相加）
不同层进行了多次残差、融合、上采样、特征提取操作，思想来源于 FCN 架构。不理解的同学，可以自学一下 FCN 不算太复杂，也可以自学以下 U-Net，道理相似。
这里要提一下，针对 Depth Image 图像的 SNE 输出的特征、RGB Image 特征，作者是使用的 ResNet 为主干进行特征提取，ResNet 架构，已经不属于 SOTA 了，所以这个位置，是可以进行改进的。
Experiments
作者进行了很多次实验，并且在不同的数据集上都进行了对比实验，因为本文是2020年的文章，这里就不介绍过多实验过程了，放一张有价值的图，发现我们的方法是最优的。
这里解释一下，为什么有多种 RoadSeg 架构，这里是因为，针对 Depth Image 经过 SNE 后的特征和 RGB Image 的特征是通过 ResNet 进行特征提取的，而 ResNet 的架构有多种架构
有 ResNET-18、ResNet-34......ResNet-152，为了避免同学们看不懂，这里详细说了以一下
方便自己学习时能够更快理解，并且最终发现， RoadSeg 使用 ResNet-152 效果最好，也正是因为神经网络学习的知识做过多，所以它最准确呀！
【论文笔记】道路检测 SNE-RoadSeg相关推荐
- 图像内复制粘贴篡改取证matlab_[论文笔记] 篡改检测：RGB-N
[论文笔记] Learning Rich Features for Image Manipulation Detection 说在前面 个人心得: 第一次关注篡改检测,最常见的篡改方式是拼接.复制移动 ...
- 道路检测 | SNE-RoadSeg论文阅读
道路检测 | SNE-RoadSeg: Incorporating Surface Normal Information into Semantic Segmentation for Accurate ...
- 路面检测的多尺度网络结构论文笔记
路面检测的多尺度网络结构论文笔记 1.u-net网络结构 u-net网络具有收缩路径和扩张路径,这里的收缩和扩张指的是图像的尺寸.收缩路径由典型的3*3卷积-relu层组成,在每做两次卷积后接一个2* ...
- 3d object是什么文件_[单目3D目标检测论文笔记] 3D Bounding Box Estimation
本文是3D Bounding Box Estimation Using Deep Learning and Geometry的论文笔记及个人理解.这篇文章是单目图像3d目标检测的一个经典工作之一.其目 ...
- 从基础综述、论文笔记到工程经验、训练技巧：值得一看的目标检测好文推荐...
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 本文授权转自知乎作者跑者小越,https://zhuanlan.z ...
- 论文阅读笔记 | 目标检测算法——SAPD算法
如有错误,恳请指出. 文章目录 1. Introduction 2. Soft Anchor-Point Detector 2.1 Detection Formulation with Anchor ...
- 论文阅读笔记 | 目标检测算法——FSAF算法
如有错误,恳请指出 文章目录 1. Introduction 2. FSAF Module 2.1 Network Architecture 2.2 Ground-truth and Loss 2.2 ...
- 《用于水稻病害检测的机器视觉系统：综述》论文笔记
<用于水稻病害检测的机器视觉系统:综述>论文笔记 链接:Machine Vision Systems for Rice Diseases Detection: A Review | IEE ...
- 论文阅读笔记 | 目标检测算法——PP-YOLOv2
如有错误,恳请指出. 文章目录 1. Introduction 2. Revisit PP-YOLO 2.1 Pre-Processing 2.2 Baseline Model 2.3 Trainin ...
- 论文笔记: 贝叶斯在线变点检测：An intuitive understanding
目录 0. 前言0 1. 前言 2. Overview of BOCD 3. Possible extensions 4. References 5. 后记 0. 前言0 本文是关于一篇关于贝叶斯变化 ...
最新文章
- 学习web前端难不难
- fragment 横竖屏 不重建
- R语言使用DALEX包的model_profile函数对caret包生成的多个算法模型的离散变量进行分析、使用偏依赖图（Partial Dependence Plots）解释某个离散特征和目标y的关系
- Python3猜数字小游戏
- 线程池用过吗？ThreadPoolExecutor谈谈你的理解？ —— 为什么用线程池？优势？|| 线程池如何使用？
- 自定义FragmentTabHost实现可控制是否保存fragment状态
- C语言：L1-036 A乘以B (5分)
- 【HNOI2016】序列【莫队】【单调栈】【ST表】
- 使命召唤16计算机内存不足,使命召唤16出现一个问题怎么解决
- HCIP-RS-MPLS-LSP建立-静态LSP
- 网络工程师Day9--GRE配置
- 开启协程_一篇文章搞懂Python协程
- 软件工程 第六章 编码与测试
- 寻找两个正序数组中的中位数 数组
- CAD：AutoCAD快捷键指令大全(非常值得收藏)，本人项目案例实践积累总结
- 软件工程阶段性总结（一）——概述
- 安卓ViewBinding详解
- java 打砖块算法_打砖块java代码详细
- 工业机器人视觉实训平台
- 0x00007FFE9071C408 (ucrtbase.dll) (xxx.exe 中)处有未经处理的异常: 将一个无效参数传递给了将无效参数视为严重错误的函数。