文章目录

1.全文翻译：SUPER:一种新型车道检测系统
- 一、介绍
- - A.动机和文献综述
  - B.贡献
- 二、分层场景理解
- - A.层次语义分割
  - B.多级分类器设计
  - C.训练策略
- 三、物理驱动的多车道拟合
- - A.车道参数优化
  - B.斜坡补偿
  - C.优化策略
- 四、实验验证
- - A、Tusimple
  - B、Caltech
  - C、KITTI
  - D、X-3000
  - E、Vehicle
- 五、结论
2.论文理解
3.论文地址
4.感谢观看！

1.全文翻译：SUPER:一种新型车道检测系统

摘要：在过去几年里，基于人工智能的车道检测算法的学习很火热。很多算法已经证明了它比传统的基于特征的方法要出色。然而，在使用具有挑战性的图像时，精度通常仍然处于80%到90%，甚至更低。本文提出了一种实时车道检测系统，称为场景理解物理驱动型实时(SUPER)算法。该方法由两个主要模块组成， 1)层次语义分割网络作为场景特征提取器， 2)一种用于车道推断的物理驱动多车道参数优化模块。我们使用来自CityScape、Vistas和Apollo的异构数据来训练所提出的系统，并在四个完全独立的数据集（以前从未见过）上评估它的性能，包括Tusimple、Caltech、UrbanKitti-ROAD和X-3000。该方法的性能与在同一数据集上已经训练过的车道检测模型相同或更好，并且即使在从未训练过的数据集上也表现良好。还进行了真实世界的车辆测试，初步测试结果表明，与Mobileye相比，本文方法具有很好的实时车道检测性能。

一、介绍

精确可靠的车道检测对于车道保持（LK）、车道变更自动化(LCA)、车道偏离报警（LDW）功能是一个关键特征。车道检测的研究可以追溯到20世纪80年代，世纪之交之后，LDW和LK已经商业化，有些车辆甚至有LCA。由DARPA（2004-2012）和早期的ADAS产品发起的自动驾驶挑战，比方说，Mobileye,进一步推动了车道检测系统的发展。然而，由于各种各样的外表，由于不同的光线、天气状况和其他物体的存在，车道检测仍然是一个具有挑战性的问题。在最近的文献中，车道标志的准确率和召回率处在80%到90%之间，对于在真实世界里的安全可靠的驾驶来说仍然不够好。车道检测可以通过使用单目摄像机，立体摄像机，激光雷达等来实现。相机是最受欢迎的，因为它有着丰富的内容特征而且价格相对便宜。这篇论文主要关注单目摄像机，但是这个概念可以和其他的传感器一起工作–尽管有大量的额外工作。

A.动机和文献综述

许多基于特征的方法使用[4]中总结的通用框架。
它们将道路/车道检测方法分解为几个模块：图像预处理、特征提取、模型拟合、图像到世界关系、时间整合。并非所有车道检测方法都包含所有这些模块，但总的来说，大多数论文对其中一个或多个要素作出了贡献[5-8]。深度学习(DL)提出了一种新的数据驱动方法，并获得了比大多数基于特征的方法更好的性能[9-15]。虽然DL系统在许多应用中取得了优异的性能，但它们通常被用作“黑匣子”，而且它们的性能没有保证，行为难以解释[16]。这限制了它们在安全关键任务中的应用，例如用于自动驾驶的车道检测。
1）从车道检测到场景理解
与传统物体不同，比如说，检测狗/猫和人的脸，车道标记通常结构良好。在大多数情况下，车道线以平行多项式的形式出现，均匀地间隔在相对平坦的地面上。这在很大程度上是正确的，除车道合并/分流、交叉口、环形交叉路口或陡坡外。所以如果我们能解决这个“平行多项式”问题，我们将会解决大部分（>90%）的车道检测问题，这是本文的重点。
我们还受到这样一种想法的启发：我们可以通过低层静态或动态视觉线索（例如车道标记、道路限制和车辆)和高层功能线索(例如场景布局)从街道场景中推断车道。基于特征的方法，如ELAS[17]，通常在执行车道检测/跟踪任务之前提前检测所有可能的场景线索。对于基于卷积神经网络(CNN)的方法，这种场景信息在网络体系结构中是隐藏/隐含的。如果可以先了解场景布局，将整个图像分割成几何区域，然后集中在车道标记区域，分类精度有望提高。
另一个重要的决定是CNN应该生成什么车道标签。许多现有的基于CNN的方法产生像素级的车道标记标志、车道区域掩码或参数化车道线。通常，做标签时需要手动推断被遮挡或缺失的部分，因此，在这一过程中可能会引入不确定性，见图1（a-b）。此外，在某些情况下还需要更精细的定制标签，例如，VPGNet[15]除了输出车道特征还输出尽头。LineNet[18]输出六个与车道相关的标签（掩码、位置、方向、置信度、距离和类型）。
本文不使用CNN来预测上述面向任务的车道标签，而是试图从场景理解开始解决车道检测问题。在这里强调三个好处：1）在复杂场景中的适应性：与直接检测车道物体相比，整体街道场景遵循更稳定的布局，对照明、遮挡和天气条件等不利因素更具鲁棒性。2）感知的可靠性和可重用性：我们提出了一种模仿人类感知能力的分层分割结构，用于可靠的场景线索预测，可用于其他感知任务，如越野驾驶中的可驾驶区域检测。3）与异构数据集的兼容性：所提出的结构适用于不同的注释类别、类定义和标记策略，见图1( c)。上述特性使得在多个数据集上进行训练成为可能，例如Cityscape[19]、Vistas[20]、BDD[21]、Camvid[22]、KITTI[23]、Apollo[24]和GTA5[25]。这些大规模的驾驶数据集都可以用来获得更好的性能。

图1.常用车道数据集和训练数据集之间的标签比较.(a)(b)封闭/缺失车道标记和车道标签的例子；（c)我们的异构训练数据集的例子，没有标记不确定性，其中车道参数是根据场景标签优化的，没有监督。
2)车道参数估计
对于大多数基于CNN的车道检测方法，输出是图像视图[9,13,15]中的像素级车道实例掩码。然而，自主驾驶所需的输出是控制相关参数，即车辆横向偏移、航向角和曲率[26]。为了填补这一空白，需要一些后处理程序，例如逆视角映射(IPM)和车道模型拟合。由于车辆在运动的，道路并不总是平坦的，仅靠摄像机的内在和外在参数不足以计算摄像机与世界坐标之间的变换矩阵。需要更好的车道模型或附加程序，例如消失点估计[27]。这意味着在图像视图中获得车道检测结果后仍然需要更多的努力。LaneNet-HNet [10]使用一个额外的CNN来估计从图像视图到鸟类视野(BEV)的转换矩阵，并在BEV中进行车道回归。LaneNet-LSTM [11] 需要BEV中的车道坐标作为输入，并通过LSTM识别每条车道线。这些估计方法将车道推理过程视为一个高度非线性的模型，以监督的方式学习参数。
不同的是，我们遵循的假设是，车道标记在很大程度上是平行多项式，如果我们将车道参数划分为共享部分（航向角和曲率)和特有的部分(偏移和车道标记属性），它们可以有效地一起估计。以应对不平坦的地面，采用多项式道路模型。然后将车道参数估计问题简化为基于像素场景标签的优化问题。原因是：1）以避免基于逐步规则的参数估计，这增加了问题的复杂性，导致了错误的积累。相反，我们同时估计斜率角和多平面参数。2）利用车道线的已知属性。我们设计了一个考虑先验物理模型/知识的显式损失函数，并在没有监督的情况下优化了车道参数。我们称之为“物理驱动多车道推理”
所提出的车道检测系统的图如图2所示，包括层次语义分割模块和物理驱动多车道推理模块。其核心思想是CNN用于场景理解以及道路/车道提取，而采用物理道路/车道模型进行车道推理。提高了解释能力，后续的车道推理模块使用了一个模型，从而可以更加准确可靠。

B.贡献

本文的主要贡献包括：
1）一种新型的车道检测系统，被命名为场景理解物理驱动实时(SUPER)。它与现有方法的主要区别在于，我们从场景理解开始解决问题，然后用物理驱动损失函数通过优化来估计车道参数，见图 1.
2）改进的层次语义分割结构，以捕获以感兴趣区域为重点的车道相关信息，那就是说，其中车道标记可能存在，并且还允许在多个数据集上进行训练。
3）一种基于优化的车道推理方法用于实时直接估计多车道参数(即横向偏移、航向角和曲率。特别是利用考虑道路/车道模型的成本函数来表示参数估计问题。
其余内容组织如下：第二节介绍了所提出的分层语义分割网络，以及多级分类器的设计和一些训练策略；第三节重点介绍车道参数估计的细节，覆盖损失函数设计、边坡补偿和优化策略；开放/私人车道数据集的实验和真实世界的车辆测试在第四节中进行。第五节总结本文。

图2：所提出方法的框架

二、分层场景理解

为了了解可靠车道检测的整体场景，选择语义分割作为街道场景理解的基本网络。为了捕获具有多个异构数据集的车道/道路与其他对象之间的特殊语义关系，我们修改了原始的分层分类卷积网络[28]，并通过各种具有更实用的车道属性结构利用改进的语义层次结构，用于车道检测。更多细节将在Sec.A和B，训练策略在Sec.C中描述。

A.层次语义分割

语义分割是指将语义标签分配给图像的每个像素的过程[29]。对于基于学习的语义分割，带注释的训练数据是影响模型性能的重要部分。在我们的层次语义分割模型中，需要场景标签和详细的车道标记标签，而目前没有开放的数据集提供涵盖所有所需标签的注释。以应对这一挑战，我们提出了以下概念，使用多个数据集来训练我们的模型。
表1.使用的训练数据集

选取3个数据集作为最终训练数据集，如表1所示。Cityscape确实提供了语义分割标签，但没有提供车道信息，Vistas提供场景标签以及一些一般类别的车道标记，如“自行车道”、“车道标记-一般”等。APOLLO提供了非常详细的像素级的车道质量和车道属性，包括6个分割标记、4个引导标记、2个停车线、12个转弯标记等。这三个数据集一起提供了大约30，000张带有标签的图像，用于我们基于场景理解的车道检测训练和验证。
在收集训练数据集和标签之后，下一个挑战是如何利用有着不同的标记样式的不同数据集来设计训练过程。Panagiotis等人，提出了一种具有分层分类器的卷积网络，用于每像素语义分割[28]，它可以在多个异构数据集上进行训练。虽然整体场景中存在许多物体，但其中一些与车道检测无关，可以忽略，而另一些则与车道特征高度相关。因此，我们不能直接使用[28]中提出的算法的结构。为了解决上述问题，我们用受人类感知能力的启发得到的更实用的体系结构来优化层次结构。重新定义了不同层次之间的关系，使所提出的结构既侧重于一般场景线索，也侧重于车道分类。我们的语义层次结构解释如下。

B.多级分类器设计

在可用的开放数据集中，对象类和标签的定义是不同的，这需要澄清才能使用。类定义中的主要冲突是“道路”和“车道“标记。例如，在Cityscape中，“道路”是指可驾驶的地面，包括车道、方向箭头、街道、自行车道等。在Vistas，车道标记是与”道路“分开的。为了解决“道路”冲突，提出了一个“可驾驶”类，部分缓解了这一问题，但其他冲突（如车辆类型）仍然存在。此外，[28]设计的网络旨在预测许多类物体，如动物和鸟类，这将增加模型的复杂性和训练成本。

图3.所提出的层次语义结构。水平区域包括人行道、地面、地形、路缘和可驱动区域；垂直区域包括人、车、建筑物、墙、桥、隧道、栅栏、蔬菜和道路公用设施；可驾驶区域包括道路、停车场、人行横道、车道标记、自行车道、服务车道、集水坑、人孔和坑洞；车道标记区域包括划分/引导/转弯标记和停车线。
为了处理标签的差异/冲突和删除不相关的标签，提出了一种新的层次结构。这个想法是由[30]启发的，它试图将街道场景的图像标记为粗几何类，这些类对导航、对象识别和一般场景理解等任务非常有用。图2中的骨干网络，本文设计了四级分类器：在第一层次上，图像分为天空、垂直和支撑区域；
在第二级，垂直/水平区域被进一步划分为场景描述的子类；在第三级，驾驶区域被进一步分类；在最后一层，详细的车道标记类型被合并。图3说明并解释了详细的多级结构。

C.训练策略

由于本节只涉及像素级分类，因此与[28]相比，损失函数相对简单。每个分类器采用Softmax交叉熵损失，总损失为不同分类器的加权和。在推理过程中，每个子分类器都由其父分类器根据自己的决策来控制。通过这种方式，我们获得了更可靠的场景标签。
在Apollo数据集中，车道标记标签比地面和物体标签更精确，因此在训练阶段只使用车道分割标签。然而，车道标记附近的一些地面区域很容易被误认为是车道标记。为了解决这个问题，我们将车道标记扩展到其附近，并将整个扩展区域标记为“道路’。被车辆等物体遮挡的道路区域从标签上移除。
图4.展示了一个例子Apollo标签，扩展之前（左）和（右）经过我们扩展过程之后的。车道标记和生成的“道路”标签都用于训练。

图4.Apollo车道数据集的预处理

三、物理驱动的多车道拟合

有了图3中的语义标签，本节在车辆坐标系中估计车道参数。我们假设车道线基本上是平行多项式，车道参数可分为两部分，共享/全局参数（即航向角和曲率)和唯一/局部参数(即偏移和车道标记属性）。本节首先描述多车道参数的优化。然后提出了斜坡补偿（用于上下道路等级），以提高精度。

A.车道参数优化

本节将车道参数估计描述为一个优化问题。成本函数旨在反映车道线的物理特性。图像视图和BEV的坐标如图5所示，以及下列有关符号的定义。
这里首先考虑平地情况。给定内部和外部摄像机参数，任何道路/车道点都可以从图像视图中的转换为(ui,vi)(u^i,v^i)(ui,vi)BEV中的(xi,yi)(x^i,y^i)(xi,yi)。通常，车道线可以用多项式函数表示：
aaa={a1,a2,...ama_1,a_2,...a_ma1,a2,...am}包含共享参数；a0na_0^na0n是特有的参数-第n条车道线的偏移量；m是多项式阶数，本文选择为2。涉及两种标签：道路标签(xri,yri)(x_r^i,y_r^i)(xri,yri)和车道标签(xli,yli)(x_l^i,y_l^i)(xli,yli)。

图5.图像视图和BEV的坐标。红色矩形代表车辆，o是摄像机的中心，h是摄像机在地面以上的安装高度。

图6.道路拟合（左)和车道拟合(右)的成本函数
优化问题的目标是估计a和{a0na_0^na0n}，n=1,2,…N.N是给定图像中车道线的总数。为了估计共享参数a，提出并解释了考虑道路/车道物理知识的两个独立的成本函数，详情请参阅图6.
道路拟合:假设（1）所有车道都在道路区域；（2）道路面积以中心线表示；（3）车道线将a道路中心线作为共享参数。我们知道假设（3）对大多数情况都是正确的，但存在例外(车道合并/拆分、交叉口等)。在这里，我们的第一个目标是有一个工具，帮助我们解决90%的车道检测问题。为了使中心线与道路区域的像素相匹配，式（1）旨在表示道路区域内各点与相关中心线之间的距离。最小化J1J_1J1有助于找到最佳参数a0ca_0^ca0c和aaa.

a0ca_0^ca0c是中心线的偏移量，xrix_r^ixri和yriy_r^iyri是道路区域内每个点的坐标，σ\sigmaσ是惩罚远离中心线的点的标准差，它可以根据道路宽度被设置。在本文中，σd{\sigma}_dσd=3.此道路相关成本函数评估参数a独立于{a0na_0^na0n},n∈[0,N]。
车道拟合:假设道路区域的所有平行车道线都具有相同的全局几何参数a,对于在第n条车道线上给定的点（xli,n,yli,nx_l^{i,n},y_l^{i,n}xli,n,yli,n）,Δdli,n=xli,n−f(0,a;yli,n)Δd_l^{i,n}=x_l^{i,n}-f(0,a;y_l^{i,n})Δdli,n=xli,n−f(0,a;yli,n)表示接近该车道偏移量的值。式（2）然后测量距离的分布。

xli和ylix_l^i和y_l^ixli和yli是车道标记区每个采样点的第i个坐标；NlN_lNl是车道标记类别中采样点的总数；nln_lnl是车道标记点的数量，这些点的偏移量属于预定义的范围，k是一个常数，在本文中设置为2；kNlN_lNl/nln_lnl是对于异常的a的惩罚期限，histhisthist{xli−f(0,a;yli)x_l^i-f(0,a;y_l^i)xli−f(0,a;yli)}表示偏移量Δdli,nd_l^{i,n}dli,n的分布。回想一下并行性假设，在同一条第n条车道线上的Δdli,nd_l^{i,n}dli,n应该是相同的或者相近与a0na_0^na0n,因此一个峰值应该出现在直方图中正确的a0na_0^na0n附近。考虑到整个场景中的所有候选点，几个离散的峰(代表所有车道线的不同偏移量)应该出现在直方图中。理想情况下，峰数等于车道数N。如果我们使用地图信息，可以知道N的正确值，并用于更精确的检测。
注意，一个无序直方图表示一个不准确的a。为了衡量a的误差水平或质量，我们引入了一个称为Entropy的标志，它通过它的相应的直方图计算{Δdli,nΔd_l^i,nΔdli,n}的熵。更好的a对应于一个直方图，它更接近理想分布，熵较低，而较高的熵表示不准确的a。
式（1）和式（2）利用道路和车道的物理特征来帮助车道检测。有足够的车道标记点，车道拟合的J2J_2J2比J1J_1J1贡献的更多，然而即使没有很多车道点的情况下道路拟合的J1J_1J1提供可接受的性能。为了对车道参数进行综合评价，我们将它们组合在一起形成最终的损失函数JJJ：
其中λ是一个权重，在本文中设置为0.001。这里是全局参数a是我们关心的。a的计算变成了寻找使JJJ最小化的最优aaa和a0ca_0^ca0c。
一旦最优的aaa获得，{Δdli,nΔd_l^{i,n}Δdli,n}和{a0na_0^na0n}的最优分布也就得到了，最佳直方图的峰值

其中a0a_0a0={a00,a01,...a0Na_0^0,a_0^1,...a_0^Na00,a01,...a0N}。利用findpeaks1findpeaks^1findpeaks1函数发现峰值点，该函数通过设置最小峰值分离（等于现实世界中的最小道路宽度)和最小峰值日珥(等于每个车道线中的最小点数)找到局部最大值。第一个参数用于包含道路宽度先验信息，第二个参数用于排除其他方向车道的干扰。为了更好的理解这个过程，一个典型图像连同详细的车道偏移估计如图7所示.
图7，举例车道偏移估计过程。（a）原始图像；（b）语义分割结果；（c）车道检测结果；（d）通过移除地球几何xi−f(0,a;yi)x^i-f(0,a;y^i)xi−f(0,a;yi)之后的车道/道路点，其中红/蓝点分别表示车道/道路点；（e）通过峰值查找的车道偏移估计，其中蓝线描绘了与(d)中车道点的x轴值对应的直方图,三角形表示考虑最小峰值间隔后蓝线的峰值，红线显示峰值日珥，考虑最小峰值日珥后丢弃绿色椭圆的峰值。

B.斜坡补偿

在现实世界中，如果只使用默认的内在和外在相机参数，地形起伏会恶化从图像视图到BEV的车道转换。在倾斜的道路上，在现实世界中平行的车道线在BEV中变得不平行。为了应对这一挑战，[15,27,31]提出了估计消失点的方法。然后将结果用于在线更新外部摄像机参数。不同的是，本文提出了一种在优化过程中直接补偿道路边坡的方法。
基于逆视角映射(IPM)，图像视图中的一个点（u,v）可以被转换为BEV视图中的(x,y)，这是通过下面这个式子来转换的：

其中T是由外部和内部摄像机参数决定的变换矩阵，zcz_czc是摄像机坐标中沿z轴的距离。
因为zcz_czc是未知的，所以精确的（x,y,z）不能通过式5计算出来。假设车辆行驶在平坦的道路上，可以得到一个估计的坐标，表示为（x~\widetilde{x}x，y~\widetilde{y}y），它和(x,y,z)的关系遵循：

这里h是摄像机中心到平地的垂直高度。

如果道路不平坦，我们必须估计z的外形。这里我们采用一个多项式道路模型，假设z是一个多项式函数满足y;z=fzf_zfz(y).那么式6就变成了

如果fzf_zfz是已知的，式7可以被写成

因此y可以从式8中被估计出，表示为根（y~\widetilde{y}y）。那么，将根（y~\widetilde{y}y）代入式7以获得x

特别的，假设fzf_zfz是一个线性函数fz=by−hf_z=by-hfz=by−h.这种简化的道路模型适用于大多数情况，除了经常变化的斜坡。然后正确的x和y可以被表示为

注意到b是式10中唯一未知的参数。我们把它当作优化问题中的一个附加变量，与全局车道参数a一起优化，因此边坡的影响被估计和缓解。

C.优化策略

由于所提出的损失函数的导数是不可用的，我们使用了一种导数-自由优化(DFO)算法[33]，更具体地说，Nelder-Mead单纯形算法[34]。
通常，适当的初始猜测有助于避免被困在局部极小值，并加快搜索过程。序列信息可以提供一个良好的初始参数，这意味着从以前的图像中得到的最优解可以作为下一幅图像的初始值；从地图或导航软件获取车辆前方道路的曲率信息也是有益的。如果没有可用的，也可以应用其他技术。即使没有先验信息，也可以为每个参数选择适当的范围。然后用式3计算每个参数的损失曲线，同时将其他变量设置为0.

四、实验验证

为了评估所提出的车道检测算法的性能，在各种数据集上进行了实验。如前所述，我们的训练数据集包括Cityscape、Vistas和Apollo。同时，评估数据集包括Tusimple、Caltech和X-3000。
我们的算法是用两个平台实现的：TitianXp进行模型推理，Intel®Xeon®W-2155CPU@3.30G HZ进行车道参数优化。在第一个模块中，层次模型达到18FPS的推理率。对于车道参数优化模块，平均计算时间约为37毫秒。换句话说，使用今天的计算平台，我们可以实现11Hz的组合计算速率，能够实现实时车辆执行。

A、Tusimple

Tusimple是一个广泛使用的开源车道检测数据集，由3,626个训练和2,782个测试图像组成。它主要涵盖在良好或晴朗的天气条件下的公路驾驶。此外，Tusimple提供视频剪辑（每个剪辑20帧），但只有每个剪辑的最后一帧被注释。定量评价结果见表2，由官方的Tusimple基准评估脚本计算，与两个选定的基准相比：SCNN[9]和LaneNet[10].观察到，边坡和车道参数的联合估计比没有达到更好的检测精度（约高3%），这证实了边坡补偿的必要性。即使准确率略低于2017年Tusimple比赛的获胜者SCNN和LaneNet，但重要的是要注意的是，SCNN和LaneNet都是在Tusimple数据上训练的，而所提出的方法不是。此外，所提出的方法输出真实世界中的车道参数，然后将结果反向映射到图像视图中进行比较；但是SCNN和LaneNet不受道路边坡扰动和相机参数不匹配关注图像视图中的车道。此外，在考虑序列信息后，准确率从95.90%略有提高到96.01。这似乎意味着Tusimple中的驱动数据非常“正常”，典型的默认初始猜测足够接近真正的解决方案。本文通过将前一帧的优化输出设置为当前帧的初始猜测，简单地执行时间集成。在实际应用中，可以考虑多帧融合，也可以应用先进的空间或时间滤波。

表2.对Tusimple测试数据集的评估，sc是指利用边坡补偿进行联合估算，sq表示包含用于初始值设置的顺序信息

B、Caltech

Caltech数据集包含1224张标记图像，这些图像有着来自于不同类型城市街道收集的4段视频剪辑的4172张标记车道。为了与其他方法进行公平的比较，我们使用了相同的评价指标-[8]中使用的真阳性率(TPR）。表3显示了几种基准方法之间的比较结果。我们的方法在每个子数据集中达到了最佳的性能。平均TPR为98.6%，比其他两种方法提高了10%以上。
表3.使用真阳性率(TPR)对Caltech数据集进行评估)

C、KITTI

URABN KITTI-ROAD 数据集由600帧组成，这些帧是在相对较低的交通密度的5个不同的日子收集的。本文重点研究了自我车道检测子任务，其中包含100幅测试图像和98幅训练图像。表4比较了我们在BEV中的方法与其他方法的结果。由于自我车道基准在测试图像中不可用，因此使用官方评估代码在训练数据集上对所提出的方法进行评估，表4中的其他方法在测试数据集上进行评估。
需要注意的是，SPRAY[35]、RBNet[36]和NVLaneNet2都是在KITT I数据集上进行训练的。尽管KITTI的标签风格（自我车道区域）与被Tusimple或Caltech使用的（车道线）有很大的不同，但没有在KITTI上训练的所提出的方法仍然取得了类似的性能。
表4.对KITTI自我通道数据集的评估

图8.在X-3000数据集上提出的方法的示例结果，(a)原始图像，(b)语义分割结果，( c)斜坡补偿后的偏移量（车道点为红色，道路点为青色），（d）车道偏移的直方图(绿线)和检测到的峰值(红色虚线），（e)车道检测结果，其中蓝色/黄色代表白色/黄色车道线，线条样式也通过实线/虚线标记。

D、X-3000

X-3000是我们自己的数据集，它是收集在Michigan和California里在不同的天气和时间城市、郊区和高速公路场景。X-3000有三个子集：简单，中等的，困难的，每个子集由1000个图像组成。根据图像质量和道路/天气/照明条件，将图像主观地分为这三个具有挑战性的层次。简单的子集涵盖在良好和公平的天气直和曲线道路。中度子集包含侵蚀或闭塞的车道标记，重影，上坡或下坡地形和交叉路；困难子集中在恶劣天气、恶劣的图像质量、复杂的交叉口或车道合并/分裂。我们的标签风格和评估指标类似于Tusimple。我们使用两种评估模式：一种侧重于自我车道，另一种评价三车道（自我车道及其左/右相邻车道）。SCNN 和 LaneNet照原来样子：在Tusimple数据集上进行训练，然后在X-3000数据集上进行测试。我们的方法的一些典型结果如图8所示，覆盖锐利的曲线，沉重的遮挡，环形交叉，交叉，分裂/合并，上坡/下坡等。中间结果，包括语义分割，全局参数去除后的偏移和斜坡补偿，车道偏移直方图也显示在这里。
图9.使用X-3000数据集的评估结果
图9中总结了这两种评估模式的准确性。我们的方法的平均精度比其他方法高8个百分点。显然，在这三个子集上，所提出的方法优于其他两种方法。在这里，我们还定量计算了车道颜色（白色/黄色，93.66%)和样式(实心/虚线，92.58%）的准确性，用这三个子集进行了评价。请注意，这三种方法从未在X-3000数据集上进行过训练。因此，这里的比较似乎表明了我们的方法具有更好的鲁棒性。

E、Vehicle

为了进一步验证我们的算法在测试车辆上的实时性能，我们选择了Michigan的一条开放道路，并在雨后的一个早晨驾驶我们的测试车辆林肯MKZ。图10（a）显示测试车辆。(b)在XYZ剖面上显示测试车辆的轨迹（原点用红色矩形标记），(c )显示一些典型的照相机图像。选择这条路是因为它包含尖锐的曲线，车道分裂/合并，交叉口和经常上下地形。由于我们无法访问Mobileye的原始视频，因此使用了另一台相机(PointGrey)，并稍微安装在Mobileye的右侧(20厘米）以捕获视频。当测试车辆运行时，记录Mobileye（仅车道参数）的输出、实时运动学(RTK)定位系统的车辆位置、PointGrey的原始视频和算法的输出。
从RTK捕获的车辆轨迹与车道中心不完全一致，这意味着偏移的真相（a0na_0^na0n）和航向角(a1a_1a1)是不可用的。然而，曲率（a2a_2a2）信息是可用的，因为它对瞬时跟踪误差不敏感。因此，在这里我们更多的关注a2a_2a2用于比较。图11（a）显示RTK轨道曲率剖面的一般比较（真相），移动眼，还有我们的算法。图11（b-d）显示选定截面下的曲率剖面。移动眼的曲率剖面和我们的方法是相似的，接近地面真相。请注意，我们的算法只使用顺序信息进行初始值设置，没有任何空间或时间过滤。看来我们的方法产生的结果与Mobileye在这个测试中的结果相当。

五、结论

本文提出了一种新的车道检测算法，具有两个独特的思想：1)它从整体场景理解出发预测车道相关标签；2)在优化框架下，对多车道参数进行估计，同时对道路边坡进行补偿。利用了基于学习和基于物理的技术的优点。
该算法在异构数据集(Cityscape、Vistas和Apollo)上进行训练，然后在其他四个数据集(Tusimple、Caltech、KITTI和X-3000)上进行测试)。该方法具有相似或更好的性能，具有更强的鲁棒性。与Mobileye在开放道路上的比较也表明，该方法的性能似乎足够快，可以实时实现。
本文提出的车道推断模块在优化车道参数时遵循“并行多项式”假设，在大多数情况下效果良好，但为了准确估计不平行车道，如车道合并和分割情况，需要额外的操作/策略，例如额外的局部校正或与地图先验的集成，这是我们目前研究的重点。

2.论文理解

3.论文地址

https://arxiv.org/abs/2005.07277

4.感谢观看！

论文阅读：SUPER: A Novel Lane Detection System相关推荐

论文阅读笔记——VulDeePecker: A Deep Learning-Based System for Vulnerability Detection
本论文相关内容论文下载地址--Engineering Village 论文中文翻译--VulDeePecker: A Deep Learning-Based System for Vulnerabi ...
论文阅读——INSIDER：Designing In-Storage Computing System for Emerging High-Performance Drive
存算一体论文阅读之 INSIDER:Designing In-Storage Computing System for Emerging High-Performance Drive 相关代码已开源. ...
【论文阅读】Misshapen Pelvis Landmark Detection WithLocal-Global Feature Learning for DiagnosingDevelop
作者及团队:刘川斌 Chuanbin Liu; 谢洪涛; 张思成; 毛振东; 孙俊; 张永东会议及时间:IEEE Transactions on Medical Imaging 2020-12| 期 ...
【论文阅读】Cleanits: A Data Cleaning System for Industrial Time Series
论文来源标题: Cleanits (Xiaoou Ding,2019) 作者: Xiaoou Ding, Hongzhi Wang, Jiaxuan Su, Zijue Li, Jianzhong ...
论文阅读 SECOND:Sparsely Embedded Convolutional Detection
标题:SECOND:Sparsely Embedded Convolutional Detection 作者:Yan Yan,Yuxing Mao,and Bo Li 来源:sensors 2018 ...
【论文阅读】Deep Joint Rain Detection and Removal from a Single Image
该论文发表于CVPR2017 为了更好地去除各种真实场景下的雨,包括大雨和雨线积累的情况(rain streak accumulation,单个的雨线无法看清,形成雾效),作者提出了新的雨图模型和去雨 ...
论文阅读：DETR:End-to-End Object Detection with Transformers
题目:End-to-End Object Detection with Transformers 来源:Facebook AI ECCV2020 论文链接:https://arxiv.org/abs/ ...
[论文阅读][SLAM]Targetless Calibration of LiDAR-IMU System Based on Continuous-time Batch Estimation
Targetless Calibration of LiDAR-IMU System Based on Continuous-time Batch Estimation 文章目录 Targetless ...
[论文阅读] Scene Context-Aware Salient Object Detection
论文地址:https://openaccess.thecvf.com/content/ICCV2021/html/Siris_Scene_Context-Aware_Salient_Object_De ...

论文阅读：SUPER: A Novel Lane Detection System