车道检测--VPGNet: Vanishing Point Guided Network for Lane and Road Marking Detection and Recognition

VPGNet: Vanishing Point Guided Network for Lane and Road Marking Detection and Recognition
ICCV2017
https://github.com/SeokjuLee/VPGNet Caffe code

本文针对车道线和道路指示线检测和识别做了两个事 lane and road marking detection and recognition
1）建立了一个新的数据库，主要加入了一些恶劣天气下的图像样本， rainy and low illumination conditions
2）提出一个 unified end-to-end trainable multi-task network 同时解决道路和指示线检测识别

我们的最终检测结果如下图所示：

数据库的一些统计情况

一个 20,000 张图像，17个类别，其中我们 vanishing point annotation 也做了标记，像素级别的标记太小了，我们 propose projecting pixel-level annotation to the grid-level mask，得到 grid-level 标记，也就是说我们不用像素级别标记了，使用 grid-level 标记

4 Neural Network
4.1. Architecture

这里我们提出一个 data layer 来解析 grid-level annotation 可以同时训练 lane and road markings
在文献【16、35】中， box regression 用于给一个特定的物体拟合一个矩形框，这个方法适用于 blob shape 的物体，对于lane and road markings 不适合用一个矩形框来表示。这里我们将grid 里的点回归到最近的 grid cell， combined by a multi-label classification task to represent an object。对于后续处理 lane classes 只是用到 multi-label task 的输出， road marking classes 用到了 grid box regression 和multi-label task，这里我们加入了一个 vanishing point detection task 用于 infer a global geometric context
网络包括 four task modules：grid box regression, object detection, multi-label classification, and prediction of the vanishing point

4.2. Vanishing Point Prediction Task
在一些复杂恶劣天气情况下，人可以依据道路的结构信息等全局信息预测出道路的位置，这里我们设计了一个 Vanishing Point Prediction (VPP) 想完成类似的功能，

A vanishing point is a point where parallel lines in a three-dimensional space converge to a two-dimensional plane by a graphical perspective

本文中 Vanishing Point (VP) 的定义如下：the nearest point on the horizon where lanes converge and disappear predictively around the farthest point of the visible lane. 这样的 VP 可以提供 a global geometric context of a scene，这对于 lanes and road markings 的位置预测是很重要的。

文献【4】中使用 CNN 来预测 VP，这个从整个网络的输出来选择一个点，导致其位置往往不准确。这里我们改进了一下。

4.4. Post-Processing CNN网络的输出结果如何使用？

Lane ：针对车道线后续处理有三个步骤： point sampling, clustering, and lane regression

Road marking：针对交通指示线： 1）提取对应的 grid cells；2）融合grid cells 构建交通指示线目标

Vanishing point ： four quadrants intersect 的位置为 Vanishing point

运行速度：
We test our models on NVIDIA GTX Titan X and achieve a speed of 20 Hz by using only a single forward pass. Specifically, the single forward pass takes about 30 ms and the post-processing takes about 20 ms or less.

车道检测--VPGNet: Vanishing Point Guided Network for Lane and Road Marking Detection and Recognition相关推荐

【极简笔记】VPGNet: Vanishing Point Guided Network for Lane and Road Marking Detection and Recognition
Abstract propose a unified end-to-end trainable multi-task network that jointly handles lane and roa ...
实时车道检测--A Novel Vision-Based Framework for Real-Time Lane Detection and Tracking
A Novel Vision-Based Framework for Real-Time Lane Detection and Tracking SAE Technical Paper 2019-01 ...
车道检测源码分析系列
http://www.voidcn.com/blog/qq535033459/article/p-1939538.html 车道线检测是辅助驾驶和自动驾驶的重要研究内容,相关的算法研究已经延续了20多 ...
经典论文 | 300FPS，超快结构感知的深度车道检测
来源丨CV技术指南前言现代的车道线检测的主要做法是将车道检测视为像素分割的问题,这样做很难解决具有挑战性的场景和速度问题.受到human perception的启发,即严重遮挡和极端光照条件下的 ...
基于循环特征位移聚合器的车道线检测（RESA: Recurrent Feature-Shift Aggregator for Lane Detection）
2021年的车道线检测新方法. 官方公开视频.论文.源码: https://www.bilibili.com/video/BV1664y1o7wg https://arxiv.org/abs/2008 ...
自动驾驶中实时车道检测和警报
作者 | 小白来源 | 小白学视觉未来十年,自动驾驶将彻底改变人们的出行方式. 目前,自动驾驶应用程序目前正在测试各种案例,包括客车.机器人出租车自.动商业运输卡车.智能叉车以及用于农业的自动拖拉 ...
实战：使用 OpenCV 的自动驾驶汽车车道检测（附代码）
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达一.边缘检测我们将使用 Canny 进行边缘检测.如果你不确定这 ...
CondLaneNet：基于条件卷积的自顶向下车道检测框架
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达小黑导读论文是学术研究的精华和未来发展的明灯.小黑决心每天为大家带来经典或者最新论文的解读和分享,旨 ...
CurcveLane-NAS：华为中大提出一种结合NAS的曲线车道检测算法
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达这篇文章是华为诺亚方舟实验室和中山大学开源的弯道车道线检测的工作,主要利用了NAS技术实现,使得车道敏 ...

车道检测--VPGNet: Vanishing Point Guided Network for Lane and Road Marking Detection and Recognition

车道检测--VPGNet: Vanishing Point Guided Network for Lane and Road Marking Detection and Recognition相关推荐

最新文章

热门文章