Ultra Fast Structure-aware Deep Lane Detection论文解读
这是一篇ECCV2020的文章
文章：https://arxiv.org/abs/2004.11757
代码：GitHub - cfzd/Ultra-Fast-Lane-Detection: Ultra Fast Structure-aware Deep Lane Detection (ECCV 2020)
目录
摘要：
1. 介绍
2. 相关工作
3. 本文方法
3.1 New formulation for lane detection
3.2 车道线结构化loss
3.3 特征聚类
4. 实验结果
4.1 实验设置
4.2 消融实验
4.3 结果
摘要：
模型的方法把车道线检测认为是像素级的分割问题。受人类感知的灵感，车道线识别主要是基于文本信息和上下文信息去识别出严重的遮挡和苛刻的光照问题。本文提出了全新，简单，有效的快速和多变场景的车道线检测方法：1.得益于行选择方法，极大降低了计算量。2.使用全局特征的大感受野，可处理复杂场景。3.为车道线构造loss。大量实验在TuSImple和CULane数据集，表明本文算法在速度和准确率的sota。
1. 介绍
车道线检测有两类主要的方法：1. 传统图像处理方法， 2.深度分割方法。
作为自动驾驶的重要组成部分，车道线检测算法计算量繁重。要求车道线检测降低计算开销，更何况会有多个视角的图像作为输入。SAD方法，通过自蒸馏来解决这个问题。但是由于SAD是稠密预测，该方法的计算量也是昂贵的。
深度分割方法比卷积图像处理的方法具有更强的语义表示能力，逐渐成为主流。SCNN提出一个通过相邻像素信息的通过机制，极大提高深度分割的性能。也引入了更多的计算量。
也有一些车道线表示方法把车道线作为分割的二值特征而不是车道线线或者曲线。尽管深度分割方法已经成文车道线检测的主流方法，对于这类方法，这样表示使其明确利用先验信息变得困难，如车道线刚度和平滑度。
基于以上问题，提出本文方法，能够提高速度和解决无视觉线索的问题。本文提出结构化loss，去明确利用车道线的先验信息。本文使用全局特征，在预定义时选择车道线在图像上的行位置，而不是基于局部感受野去分割车道线的每个像素。极大的降低了计算量。如图2所示。
对于无视觉线索的问题，本文方法也实现了很好的性能。借助全局特征，本方法把整个图像作为感受野。视觉线索和不同位置的信息可以被学习和利用。车道线的表示就是不同行上位置的选择，因此可以直接利用车道线的属性，如刚性和平滑性，来优化选择的位置。
本文总结起来，共三部分：
—— 本文算法简单高效，速度极快且解决了无视觉线索的问题。
—— 提出结构化loss，可明确使用车道线先验信息。
—— 本文算法达到了sota，在准确率和速度上（数据集CULane）。本方法轻量级版本可达300+ FPS，4倍快于之前的sota算法。
2. 相关工作
传统算法：传统方法都是基于视觉信息来处理的。主要是思想是利用视觉线索进行图像处理，像HSI颜色模型、边沿提取算法。当视觉信息不足时，跟踪成为另外流行的后处理方法。
深度学习模型：VPGNet，SCNN，SAD
其他算法：序列预测，聚类，LSTM，Fast-Draw
3. 本文方法
这部分主要从：new formulation、lane structural losses、feature aggregation来讲解。
3.1 New formulation for lane detection
Definition of our formulation：为了处理速度和无视觉线索的问题，本文基于全局图像特征提出行选择的方法。本文把车道线被表示为一系列水平方向的位置，row anchor。位置以网格方式显示。每行anchor，位置被划分为很多cell。因此车道线检测就变成了寻找cells的问题。如图3所示。
论文中符号预定义，如表1：
车道线预测公式，函数f表示第i条车道线的第j行anchor的函数，P表示该位置的预测结果：
优化公式如下，Tij就是真值的one-hot编码。计算交叉熵损失。本文增加额外的一个维度来指向缺失的车道线，所以公式中维度为 w+1维，而不是w维。
How the formulation achieves fast speed：如图3所示，本文基于row anchor的方法比分割算法更加简单。假设图像尺寸为H x W，分割需要计算H x W x (C + 1)，本文方法需要计算 C x h x (w + 1)。而h << H，w << W，所以本文计算量要低很多。计算量的降低也就意味着速度快了很多。
How the formulation handles the no-visual-clue problem：no-visual-clue就是在目标位置不存在信息。为了处理no-visual-clue问题，需利用其他位置的信息。例如车道线被轿车遮挡，利用其他车道线、道路形状、甚至轿车方向仍然可以定位到当前车道线。这就是解决没有视觉线索的关键。如图1所示。
具体无视觉线索的解决方法可以参考3.2部分。
3.2 车道线结构化loss
除了分类loss，本文进一步提出两个loss函数，为了建立车道线上的点和位置之间的关系。以此，结构信息的学习可以进一步增强。
第一个loss是从车道线连续性的事实衍生的，就是说相邻车道线的row anchor也是相近的。本文以分类向量来表示车道线位置的。所以通过约束分类向量在相邻row anchor上的分布来实现连续性。相似性loss被如下表示：
此公式表示相邻预测结果的相似性，使用的是L1 norm。
第二个loss是从车道线的形状考虑。认为车道线是直的，即便是弯曲的车道线，视觉效果上它大部分也是直。如下公式，对于任意一条车道线索引 i 和 row anchor 索引 j ，位置表示如下。
实际上式的argmax不能够进一步约束，所以提出使用softmax的预测值来作为位置的近似，说白了就是不同位置的概率值。
定位方法有两个方面的好处，其一 期望函数是可微分的。其二利用连续随机变量可以覆盖连续位置。
二阶差分约束如下公式:
使用二阶差分替换一阶差分，是因为一阶差分大部分情况下都是非零的，所以网路需要额外参数学习车道线位置的一阶差分的微分。最终loss如下：
3.3 特征聚类
本文提出一种基于全局上下文和局部特征的辅助特征聚类方法。利用多尺度特征的辅助分割任务来建立局部特征模型。本文使用交叉熵作为辅助分割的loss。所以整体loss如下式：
注意，本文使用辅助分割任务在训练阶段，但是在测试阶段被移除了。所以在运行速度上并没有影响。
4. 实验结果
这部分，通过大量实验表示我们算法的效果。下面部分主要集中在一下三个层面：1）实验设置。2）消融实验。3）两个主要车道线检测数据集的结果。
4.1 实验设置
数据集：TuSimple和CULane。两个数据集详细信息可参考表2。
评价指标：官方对着两个数据集的评估指标是不一样的。
TuSimple使用accuracy，计算方式如下：
Cclip 车道线上点预测准确的数量。Sclip是真值的总量。
CULane使用F1-measure，计算方式如下：
Precision = TP / (TP + FP), Recall = TP / (TP + FN)，TP is the true positive, FP is the false positive, and F N is the false negative. Predictions with IoUs larger than 0.5 are consid- ered as true positives, Then the intersection-over-union (IoU) is computed between ground truth and predictions.
应用细节：TuSimple数据集网格数量被设置为100，CULane数据集网格数量被设置为150。（这块没太明白为啥这样设置？？？）。图像输入网络尺寸288*800，Adam，learning rate：4e-4，batch size 32，GPU：GTX 1080ti，
数据增强：旋转，水平垂直翻转，车道线扩展到图像边界，如图5所示。
4.2 消融实验
网格数量的效果：本文把图像列划分25,50,100,200个单元。结果如图6所示。本文选择100网格作为TuSimple数据集配置。
定位方法的有效性：本文使用相似回归头替换组分类头。使用四个实验设置：REG，REG Norm,CLS and CLS Exp.
从下表中可以看出本文所提算法的各部分效果，证明了本文new formulation，structural loss，Feature aggregation的有效性。
本文所提loss的效果和类似loss的效果对比。
4.3 结果
本文算法和其他算法在TuSimple数据集上的效果，运行时间对比。本文算法，在效果略差的情况下，速度确实当前最优算法SAD的两倍。
本文算法和其他算法在F1-measure和runtime上的比较，数据集CULane，IoU threshold为0.5。对于crossroad ，仅显示FP，所以越少越好。
本文算法在TuSimple和CULane数据上的实际效果如下图所示。
Ultra Fast Structure-aware Deep Lane Detection论文解读相关推荐
- ECCV2020超快车道线检测算法——Ultra Fast Structure-aware Deep Lane Detection论文浅读
文章目录 前言 一.深度分割的局限性 二.目前车道线检测的难点 三.超快速车道线检测算法 1.算法定义 2.如何解决速度的问题 3.如何解决"no-visual-clue"的问题 ...
- 论文阅读笔记： (2022 TPAMI) Ultra Fast Deep Lane Detection with Hybrid Anchor Driven Ordinal Classification
车道线检测是自动驾驶中的基础任务之一,我们今天来看一篇来自浙大的TPAMI 2022的文章! 文章看下来,可以理解为是专门为车道线任务设计的语义分割网络 文章地址: https://arxiv.org ...
- Heatmap-based Vanishing Point boosts Lane Detection 论文翻译
基于热力图消失点增强车道线检测 论文:Heatmap-based Vanishing Point boosts Lane Detection 摘要 基于视觉的车道线检测(LD)是自动驾驶技术的关键部分 ...
- Key Points Estimation and Point InstanceSegmentation Approach for Lane Detection 论文精读
目录 用于车道检测的关键点估计和点实例分割方法 摘要 一.介绍 二.相关工作 三.方法 个人总结 论文地址 代码复现 参考链接 SGPN 用于车道检测的关键点估计和点实例分割方法 摘要 自动驾驶的感知 ...
- ECCV2020超快车道线检测算法：Ultra Fast Structure-aware Deep Lane Detection
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 作者:cfzd| 来源:知乎 https://zhuanlan.zhihu.com/p/1575307 ...
- 超快速结构感知深度巷道检测（Ultra Fast Structure-aware Deep Lane Detection ）
超快速结构感知深度巷道检测 ? 秦泽群.王焕宇.李曦??[0000−0003−3023−1662] 计算机科学与技术学院, 浙江大学,中国杭州 zequnqin@gmail.com, {huanyuh ...
- Oriented R-CNN for Object Detection 论文解读
论文基本信息 标题:Oriented R-CNN for Object Detection 作者:Xingxing Xie Gong Cheng* Jiabao Wang Xiwen Yao Junw ...
- scDeepCluster:Clustering single-cell RNA-seq data with a model-based deep learning approach论文解读
这是2019年发表于nature子刊machine intelligence的一篇论文,作者是Tian Tian , Ji Wan, Qi Song and Zhi Wei.论文主要是提出了一个新的框 ...
- Human-Level Control Through Deep Reinforcement Learning论文解读
以下是我对Human-Level Control Through Deep Reinforcement Learning这篇论文的解读.首先是对本文提出的问题进行总结:其次综述性地阐述了本研究提出的算 ...
最新文章
- 人工智能的行为该由谁来负责？
- SAP S4HANA如何取到采购订单ITEM里的'条件'选项卡里的条件类型值？
- Android UI开发第五篇——自定义列表
- javaweb学习总结(四)——Http协议
- SpringData_JpaRepository接口
- 百练2757:最长上升子序列
- 多路平衡查找树（B Tree）（分裂、合并）
- linux虚拟机状态转换图,VirtualBox的Linux虚拟机文本模式和图形模式的切换问题
- 下岗职工_下岗后我如何获得多位软件工程师的面试
- UVA 1645 - Count（简单DP）
- 容斥原理的二进制实现模版
- Ubuntu中安装和卸载apache2
- 负载均衡的几种方式_负载均衡的几种方式
- python随机数小游戏
- phpexcel 打开时 excel无法识别此文件格式
- 【数字信号去噪】基于matlab奇异值分解（SVD）数字信号降噪【含Matlab源码 1020期】
- Arduino--电容式土壤湿度传感器使用及原理
- Mac 双系统之windows坏了咋办
- 世界上第一台电子计算机名称叫什么,世界上第一台电子计算机的名字是什么
- 数据仓库专题（21）：Kimball总线矩阵说明-官方版