点击下方卡片，关注“自动驾驶之心”公众号

ADAS巨卷干货，即可获取

点击进入→自动驾驶之心【车道线检测】技术交流群

后台回复【车道线综述】获取基于检测、分割、分类、曲线拟合等近几十篇学习论文！

摘要

自动驾驶汽车中确保驾驶员和乘客安全环境的重要系统之一是高级驾驶员辅助系统（ADAS）。自适应巡航控制、自动制动/转向离开、车道线保持系统、盲点辅助、车道线偏离警告系统和车道线检测是ADAS的代表。车道线检测向车辆的智能系统显示车道线线结构的几何特征的特定信息，以显示车道线标注的位置。本文综述了用于自动驾驶汽车车道线检测的方法。已经进行了系统的文献综述（SLR），以分析检测道路车道线的最精细方法，从而为自动化行业带来益处。本次调研选择了来自知名数据库的102份出版物。这一趋势是在对2018年至2021期间发表的道路车道线检测方法的选定文章进行彻底检查后发现的。选定的文献使用了各种方法，输入数据集是两种类型之一：自收集或从在线公共数据集获取。与此同时，这些方法包括几何建模和传统方法，而人工智能包括深度学习和机器学习。在过去四年中，对深度学习的使用进行了越来越多的研究。一些研究使用独立的深度学习实现来解决车道线检测问题。同时，一些研究侧重于将深度学习与其他机器学习技术和经典方法相结合。最近的进展表明，注意力机制已经成为一种与深度学习方法相结合的流行策略。深度算法与其他技术的结合显示出了很有希望的结果。本研究旨在全面综述车道线检测方法的文献，重点介绍当前正在研究的方法以及现有最先进技术的性能。此外，本文还介绍了用于收集训练过程数据集的设备以及用于网络训练、验证和测试的数据集。这篇综述为车道线检测技术、挑战和机遇提供了宝贵的基础，并为该自动化领域的新研究工作提供了支持。为了进一步研究，建议在检测道路车道线的各种极端条件下，更加努力地提高精度、提高速度性能和更具挑战性的工作。

介绍

根据世界卫生组织（WHO）2022年6月发布的一份报告，每年约有130万人死于道路交通事故[1]。作为一名人类驾驶员，很难保持在正确的车道线上，并与前车保持适当的间距，因为驾驶员需要长时间专注于道路。此外，人类容易驾驶疲劳、嗜睡、注意力不集中和困倦。除此之外，在智能手机、娱乐和导航系统等车辆中使用技术可能会干扰驾驶员，危及驾驶安全。因此，道路交通事故对社会造成的伤害和经济损失是昂贵的。汽车被动安全系统和主动安全系统的发展正是出于上述考虑。安全带和安全气囊是被动安全系统的代表[1]。

这些措施旨在降低事故对驾驶员和乘客造成伤害的风险。这些系统已成为车辆的标准安全装置，但仅在事故发生后使用，但如果完全防止人员伤亡，情况会更好。因此，主动安全技术正成为汽车制造商和研究人员的话题[2]。自动驾驶汽车的发展始于1986年左右的欧洲。此时，几家汽车制造商和研究机构发起了一系列创新的车辆安全项目和研究，以获得城市交通问题的实际解决方案。例如，欧盟在欧洲车辆安全专用道路基础设施（DRIVE）下引入了通用智能驾驶员支持（GIDS）项目[3]。这一庞大的智能汽车项目旨在帮助驾驶员识别和估计交通危险，进而分配一个系统来处理特定的危险。自动驾驶汽车开发系统的基本目标是帮助驾驶员识别驾驶风险，并确保车内驾驶员和乘客的额外安全和舒适。高级驾驶员辅助系统（ADAS）是自动驾驶汽车中使驾驶员和乘客的驾驶环境更安全的重要系统之一。

ADAS旨在通过帮助避免车辆碰撞、提高交通效率和促进交通发展来减少驾驶员错误。自适应巡航控制[4]、自动刹车/转向离开[5]、车道线保持系统[6]、盲点辅助[4]、车道线偏离警告系统[7]和车道线检测[8]是ADAS模块的几个代表。

车道线是一种交通标志，它在交通系统中划分道路，并确保汽车安全有效地行驶。车道线检测是一种自动检测道路标注的技术，以确保车辆保持在指定的车道线上，不会与其他车道线上的车辆发生碰撞。它在自动驾驶方面发挥了作用。因此，准确的车道线检测允许自动驾驶车辆对其位置和状态做出多项决策和判断，并确保安全驾驶[9]。然而，车道线检测算法很难使用，因为车道线标注种类繁多，道路条件和环境复杂多变，以及车道线的固有长细比[10]。因此，重要的研究开发了可靠的车道线检测算法[11]。

为了解决这个问题，人们使用了各种手工制作的方法，包括几何建模和传统方法来检测车道线标注。大多数传统的检测策略都依赖于pipeline，通常包括图像预处理、特征提取、车道线模型拟合和直线跟踪。图像预处理的目的是减少图像中的噪声量。接下来，在特征提取过程中利用车道线的特征，提取作为车道线的区域。之后，通过各种选定的方法拟合和跟踪车道线模型。先前应用的几种特征提取技术，如逆透视图（IPM）/透视变换、滤波技术、基于边缘检测的技术、图像区域提取、形态学算子、基于邻域搜索的特征点、灰度、阈值、聚类、异构算子和滑动窗。这些技术有助于减少噪音，并使提取车道线更容易。接下来，车道线模型通常使用线段检测器（LSD）和基于拟合的方法（如B样条、二次曲线、多项式、双曲线和最小二乘法）进行拟合。之后，卡尔曼滤波、车道线分类和抛物线方程是跟踪道路车道线检测中最常用的三种方法。此外，跟踪被用作后处理步骤，以补偿光照的波动[11]。因此，跟踪也有助于防止因车道线遮挡标注不当而导致的错误检测[12]。然而，传统方法所涉及的过程更为困难和手工制作，导致处理时间显著延长。

近年来，随着人工智能（AI）技术的发展，车道线标注的识别变得更容易、更快、更有效。此外，不再需要采用手工制作的程序。人工智能是计算机，尤其是计算机系统对人类智能过程的模拟。机器学习（ML）和深度学习（DL）是两个主要类别，可用于分类车道线检测中使用的大多数AI方法。由于DL方法在分类或检测方面的有效性能，利用图像帧作为网络算法的输入，DL方法比ML方法更受欢迎。这是DL方法流行的主要原因。

系统性文献

研究问题

本综述的主要目的是确定在自动驾驶车辆领域发表的车道线检测方法的发展趋势和当前最新技术的成就。除此之外，还要研究方法、挑战和机遇的宝贵基础。因此，提供最先进的知识，以支持新的研究工作在这个计算机视觉和自动化领域。因此，作者提出了以下三个研究问题（RQs）:

1. 在自动驾驶车道线检测方面采用了哪些技术？

2. 使用什么设备收集数据集？

3. 应用什么样的数据集进行网络训练、验证和测试？

调研方案

本SLR所使用的文献收集技术:

1. 搜索源 Scopus，IEEE Xplore，Web of Science 和 Springer Link 被选为数据提取的数据库。

2. 搜索词“车道线检测”和“自动驾驶”是用来调查主题的两个主要搜索词。可以使用不同的词搜索“车道线检测”这个术语。“ OR”操作符被用来选择和组合最相关和经常使用的适用短语。例如，搜索短语“车道线检测”、“车道线跟踪”和“车道线分割”被发现。“ AND”操作符将单个搜索字符串组合到一个搜索查询中。下图1显示了每个数据库的完整搜索查询。这些数据库包括 Scopus、 Web of Science、 IEEE Xplore 和 Springer Link。

3. 结论本研究涵盖了所有使用该方法进行车道线检测、跟踪、分割或任何其他与检测道路车道线相关的任务的英文主要出版物。对于广泛的搜索范围，没有对主题类别或时间框架的限制。选定的文章发表了四年，从2018年到2021年。此外，关于这个主题的系统综述期刊论文、会议记录和书籍章节也包括在研究中。

4. 排除用英语以外的语言写的文章不予考虑。因此，排除标准包括短文，如摘要或扩展摘要，以及调查/评论文件。

文献检索

是通过为每个数据库提供搜索字符串来进行的，如下图2所示。这些搜索关键字共返回了435份出版物。接下来，使用预先确定的包含/排除标准评估每个数据库的搜索结果。初步筛选排除了评论文章和非英文期刊。之后，根据标题、摘要和内容的简短阅读来评估每个稿件，以确定是否应该接受或拒绝。经过过滤后，文章的数量减少到158篇。其次，删除重复论文后，114篇出版物被纳入全文调研。由于某些原因，例如出版物不能以全文形式提供，而且与同一作者以前的文章类似，因此也排除了少量增强。然后，选择了102项研究纳入本SLR。正如上面所讨论的，获得与这台SLR相关的出版物的步骤已经提出了 PRISMA。用于系统综述和元分析的首选报告项目(PRISMA)[13]如下图2所示。

结果

下表1列出了选定的出版物、出版年份、来源标题和引用次数。下表1（完整见原文）中列出了大约102种出版物及其引用状态。清单包括期刊、会议和书籍章节。下图3显示了2018年至2021年的出版物分布情况。每年，文献中的一个增长趋势在图3所示的年度分布中都可以看到。例如，2018年发表了约16篇论文，2019年发表了25篇文章。同时，2020年和2021年分别发表了29篇和32篇论文。接下来，从2018年到2021年，在会议上发表了48篇文章，在期刊上发表了44篇，在书中发表了10篇，如下图4所示。例如，在2018年，出版了11个会议、三本期刊和两本书的章节。

与此同时，在未来的一年，2019年，16个会议，8个期刊，只有一本书的章节在道路上车道线检测已经出版。接下来，2020年将发表14篇会议论文、12种期刊和3个书籍章节。最后，2021年发表的会议数量比前一年有所下降，前一年只发表了7篇文章。与此同时，期刊出版物已攀升至21种，其中4种书籍章节定于2021年发行。下表2显示了期刊论文的分布情况。《传感器》杂志以五篇论文排名第一，其次是《环境智能与人性化计算杂志》、《国际先进机器人系统杂志》、《电气工程与技术杂志》、《多媒体工具与应用》和《 IEEE Access 》 ，每篇论文发表两篇论文，排名第二。

下表3（完整版见原文）列出了会议上关于车道线检测的出版物。表格显示，智能系统与计算进展会议以五篇论文排名第一，其次是 ACM 国际会议进展系列，第二届国际新兴技术会议，INCET 2021，中国控制会议，CCC，IET 会议出版物，以及2018年第六届国际控制工程和信息技术会议，CEIT 2018，排名第二，每次会议出版两篇论文。

下表4显示了书籍章节中车道线检测的出版物。本书共分十章，内容包括高级结构材料、数据工程和通信技术讲义、计算机系统和网络学报、图像和图形、网络和系统讲义、数据科学计算智能、数据库和信息系统、计算视觉和生物力学讲义、图像和视频技术和计算科学和技术。

讨论

在以往研究的基础上，车道线检测策略可分为两种方法: 几何建模/传统的车道线检测方法和基于人工智能的技术。下面将进一步详细介绍这些问题。

自动驾驶汽车的车道线检测采用了哪些方法？

基于过去的研究，车道线检测策略可以分为两种方法：几何建模/传统的车道线检测方法和基于人工智能的技术。

1）几何建模/传统方法

大多数传统检测算法使用的pipeline包括图像预处理、特征提取、车道线模型拟合和直线跟踪。图像预处理的目的是从图像中去除一些噪声。特征提取利用车道线的特征来提取车道线状区域。然后使用各种方法对车道线模型进行拟合和跟踪。特征检测是一种影响性能的重要车道线检测算法[10]。因此，在许多用于确定车道线检测任务的特征质量的传统方法中，需要预处理图像阶段。感兴趣区域（ROI）的构建、用于提取车道线信息的图像增强以及去除非车道线细节都是图像处理的一部分。ROI提取方法通过选择图像的下部来有效地减少图像预处理部分中的冗余信息[11]。一些研究已经使用消失点检测技术[11]，[14]创建了ROI。此外，ROI的创建最大限度地减少了图像噪声，尽管它不能抵抗阴影或汽车[11]。在特征提取过程中提取特定特征来检测车道线，如颜色、边缘、几何等[10]。几种技术，如逆透视图（IPM）/透视变换、滤波技术、基于边缘检测的技术、图像区域提取、形态学算子、基于邻域搜索的特征点、灰度、阈值和聚类。

此外，过去还使用了异构运算符和滑动窗口来减少噪声的影响并方便地提取车道线。然后使用线段检测器（LSD）和基于拟合的方法对车道线模型进行拟合，包括B样条、二次、多项式、抛物线、双曲线和最小二乘。Bresenham线投票空间（BLVS）、消失点、波形、几何建模、和谐搜索（HS）算法、对比度有限自适应直方图均衡（CLAHE）、随机样本一致性（RANSAC）、基于图的种子填充算法、直方图分析、模型预测控制（MPC）、一种基于区域的迭代种子方法、蚁群优化，使用场景理解物理增强实时（SUPER）方法、嵌套融合和线性回归。Lucas Kanade方法、Kanade Lucas Tomasi（KLT）和Lucas Kanad光流与车道线模型相匹配。同时，用于跟踪道路车道线检测的最广泛使用的算法是卡尔曼滤波器、车道线分类和抛物线方程。跟踪通常被用作后处理步骤，以补偿照明波动[11]。因此，由于车道线标注错误，跟踪有助于错误地检测遮挡[12]。

下表5显示了基于几何建模的车道线检测方法中使用的特征提取、线模型拟合和车道线线跟踪方法的细节。首先，特征提取方法包括几种技术，如透视变换、阈值化、滤波、边缘检测器、图像区域提取、灰度、聚类、基于邻域搜索的特征点、滑动窗口、形态运算和异构算子。接下来，线模型拟合包含几种方法，如LSD、拟合、BLVS、消失点、波形、地理测量分析、HS算法、CLAHE、RANSAC、基于图的种子填充算法、KLT、直方图分析、MPC、基于区域的迭代种子方法、蚁群优化、SUPER算法、嵌套融合、Lucas Kanade光流和线性回归。同时，三种技术被应用于直线跟踪方法——卡尔曼滤波器、车道线分类和抛物线方程。几何建模/传统车道线检测方法在许多文献中都有使用，如D.Kavitha和S.Ravikumar[16]。

人工智能

人工智能（AI）是计算机，特别是计算机系统的想法，模仿人类智能过程。专家系统、自然语言处理、语音识别和机器视觉是人工智能应用的用例。人工智能系统通常会吸收大量标注的训练数据，分析其相关性和模式，并使用它们来预测未来的状态。例如，机器学习和深度学习是检测车道线的人工智能算法。不幸的是，大多数传统的车道线检测系统要么处理时间无法满足实时需求，要么在复杂环境中效率低下，也无法满足此类核心功能的总可用性限制[45]。本文描述的基于人工智能的方法论的两个分支是机器学习和基于深度学习的技术。然而，深度学习比机器学习更受欢迎，因为它在使用图像帧作为网络技术输入的分类或检测方面具有优异的性能。

机器学习（ML）

机器学习是一种结合数据和算法来模仿人类学习方式并随着时间的推移提高其准确性的方法。例如，已经在自动驾驶汽车中进行了几个车道线检测实验。贝叶斯分类器、Haar Cascades、极限学习机、支持向量机和人工神经网络是该领域采用的机器学习技术。Dhanashiur[95]提出了一种基于机器学习的车道线检测框架。在这项工作中，数据集最初使用自适应阈值进行预处理，这是一种估计图像ROI的Otsu方法。然后使用级联的Dempster-Schafer组合规则来创建一种贝叶斯学习形式。最后，使用形态学程序（如使用微小内核连续的腐蚀和膨胀）从后处理数据中去除异常值。之后，Feng和Werner Wiesbeek[89]主张将机器学习和深度学习相结合。作者通过首先开发一种基于语义分割的技术来处理车道线检测问题，该技术使用5层Seg-Net分割神经网络，分为编码器和解码器网络。然而，根据分割结果，存在分割的不确定性：不属于车道线的区域将很快在特定的单循环中被分割到车道线中，反之亦然。因此，贝叶斯定理可以提高分割的稳定性。还测试了径向基函数（RBF）核和支持向量机，以创建用于检测道路车道线的鲁棒模型。急转弯车道线的检测仍然是一个复杂的问题。因此，Fakhfakh[45]提出了一种独特的基于贝叶斯框架的曲线车道线表征和估计算法，用于估计多双曲线参数，以识别具有挑战性的设置下的曲线车道线。首先，每个截面上的轨迹由双曲线建模，双曲线的参数使用建议的分层贝叶斯模型计算。接下来，对输入图像进行预处理以提取轮廓，通过将提取的车道线拟合到所选的分析模型来表征提取的车道线。最后，提出了一种贝叶斯方法，通过估计N条双曲线的超参数来准确地定义整个图像上的弯道。

深度学习（DL）

由于深度学习的进步，与以前的方法相比，已经提出了许多策略来提高使用这种方法的车道线检测任务的性能[15]。DL体系结构的最新改进极大地影响了车道线检测任务的衍生特征的细化。神经网络已经处理了传统的ROI生成、过滤和跟踪方法[11]。卷积神经网络（CNN）用于大多数深度学习方法[57]，[111]。随着CNN越来越受欢迎，人们提出了新的概念和系统[10]。此外，自AlexNet[112]以来，卷积神经网络（CNN）凭借其显著的特征提取能力在计算机视觉中得到了广泛应用。因此，已经提出了许多优秀的神经网络。由于其简单性和模块化性质，它已被广泛用作骨干网络。最近发布了ResNet变体，如ResNet[113]和ResNeXt[114]。车道线检测是这些网络的另一个应用[11]。检测连续帧中车道线的其他方法包括CNN、递归神经网络（RNN）和长短期记忆（LSTM）[22]。此外，深度学习方法的全卷积网络（FCN）[6]通常用于语义分割，它已被多种方式迅速采用[115]、[116]以及车道线检测方法[117]、[118]。编码器-解码器结构[119]以及端到端架构是两种经常用于许多计算机视觉任务[15]、[120]、[121]的网络模型结构。语义分割方法[122]、[124]也被应用于识别背景和车道线像素。然后，为了获得车道线位置[10]，使用实例分割方法[125]在识别道路车道线时，DL 自适应方法可以用于多种方式。一些研究人员建议独立使用 DL 方法，其他人则建议将其与另一种方法结合起来。结合这个网络提高了网络的效率，在检测车道线标志具有挑战性的设置。DL + 几何模型、 DL + ML 和 DL + DL 是可以与其他方法结合使用的例子。除此之外，结合 DL 和注意力机制最近已被提出作为一种新的手段，整合这一技术。这是一项新提出的最先进的技术，其他研究人员可以进一步研究。

传统的深度学习

几篇文献使用本文独立的基于深度学习的技术建立了一个车道线检测系统。例如，Wu 等人[29]提出了一种基于卷积神经网络的方法，用于识别驾驶视频中的车道线，期望线更详细地描述了自动驾驶汽车的驾驶行为。使用长期短期记忆的方法，预测线，然后使用估计的车辆的未来轨迹。由于先前的信息，自动驾驶汽车可以通过结合卷积神经网络和基于长期短期记忆的技术来平稳驾驶。细节方法详见原文。

深度学习 + 几何建模

一些研究人员将基于深度学习的方法学与几何模型方法结合起来，以提高检测道路车道线的效率。在对人工标注数据进行训练的同时，深度神经网络已经展示了其达到相互竞争的精度和时间复杂性的潜力。然而，在不利的道路环境中，主车道线分割掩模的缺乏限制了全监督算法在这种情况下的适用性。为了解决这个问题，Yousri 等[23]提出将经典的计算机视觉技术和深度学习方法相结合，建立一个可靠的基准框架，用于复杂和动态道路情景下的车道线识别任务。首先，研究人员测试了一种基于一系列传统计算机视觉方法的自动分割方法。该技术通过精确分割该框架中使用的 nuScenes 数据集的复杂城市图像中主车道线的语义区域，生成适当的弱标签。首先，使用基于棋盘格校准技术来校正失真。然后，利用垂直均值分布(VMD)方法，选择一个自适应感兴趣区域(AROI)。最后，采用渐进概率 Hough 变换(PPHT)对车道线区域进行定位，并计算出车道线的消失点。

为了限制这种离线信息的不良后果，必须通过屏蔽图像的区域来进行过滤。因此，作者使用基于地平线的自适应算法对道路进行分割。然后，Canny 方法被用来处理照片中发现的任意车道线形状。因为车道线线是平行的，直的，并且有不同的颜色，图像处理技术保留并增强了这些特征。然后，颜色空间转换和形态学处理确保准确的车道线分割。形态学的高帽程序通常用于分离图像的亮部分从他们的黑暗环境。在照片中，明亮的像素描绘了车道线线。因此，高帽操作通过降噪和增强对比度来帮助在不可预见的闪电变化中识别不正确的车道线。在使用透视变换后，需要进行线拟合来完成分割阶段，以识别车道线区域，改善车道线特征。接下来，在处理任意形状时，利用滑动窗口搜索对不同的线形进行迭代，以获得更灵活的拟合。最后，使用反向透视变换将图像展开到标准视图，并使用单通道转换构造地面真实度标签。SegNet、修改后的 SegNet、 U-Net、 ResNet 和 ResUNet + + 是五种最先进的基于 FCN 的架构，它们使用这些数据进行训练和基准测试。

接下来，Kanagaraj 等[25]展示了如何利用卷积神经网络和空间Transformer网络以及实时车道线检测来提高自动驾驶车辆的效率。首先，该pipeline将实时图像转换为灰度图像，并用高斯模糊平滑边缘以降低噪声。应用 Canny 函数来辅助边缘检测是该过程的下一步。图像中的边缘是通过测量相邻像素的梯度进行 Canny 处理后得到的。梯度的显著变化可以识别边缘。因为车道线将被发现在图像的下半部分，一个感兴趣的区域构造对应于该部分的图像。使用 Hough 变换在下一阶段获得图像的车道线线。单条长车道线分隔左右车道线。这是通过基于斜率对线进行过滤来确定哪些线属于哪个范围并忽略其他线来完成的。

感兴趣区域的左车道线和右车道线是这样找到的。下一步是将车道线线与原始图像重叠以组合图像。在对原始图像进行畸变校正并使用颜色变换和梯度生成阈值二值图像之前，计算摄像机标定矩阵和畸变系数。之后，透视变换创建图像的鸟瞰图。即使图像中的车道线线是平行的，透视也会使它看起来像是从远处收敛的。从这个角度来看，很容易去除车道线线的曲率。然后卷积与滑动窗口一起使用，以最大限度地增加每个窗口中加热像素的数量。

然后，空间Transformer网络(STN)使用可学习的变换来插值图像，从而消除空间不变性。在卷积神经网络中使用 STN 块可以提高分类器的准确性。由于输入的变化，卷积神经网络可能缺乏鲁棒性。比例，观点和背景杂乱是这些差异的例子。STN 有助于减少输入可变性带来的这些困难。由于其通用性，STN 可以引入到任何模型区域。它们也可以只使用一种反向传播算法进行训练。

深度学习 + 机器学习

一种基于机器学习的策略也被选择与 DL 相结合，以提高车道线检测任务的效率，并将 DL 与旧的方法相结合。根据 Zhang 等[50]的研究，利用基于道路特征的算法和基于颜色特征的算法进行车道线检测，由于一些约束，不能达到令人满意的性能。例如，车道线的数量经常没有设置，而且检测车道线的技术有时是错误的。此外，基于 Hough 变换的算法将直线解释为车道线，导致路灯被误认为车道线。同样，不利的天气，如雨，将影响车道线检测。同样，光线不足和夜间环境也会产生不良后果。然而，目前还没有切实可行的解决方案来处理这些问题。因此，在复杂的交通情况下，标准的检测方法是无效的。

此外，车道线检测应该实时进行。然而，大多数算法都在这个目标上惨遭失败。因此，通过对复杂交通情况的建模，本文提出了一种基于质量引导的车道线识别算法，能够成功地管理各种车道线。作者首先利用棋盘图像进行摄像机标定，以确定真实世界与图像坐标系之间的对应关系。然后，他们使用先验知识和图片质量评分来捕获图像区域的兴趣，只包括车道线信息。之后，他们创建了一个两阶段的 CNN 架构用于车道线检测，使用二进制车道线掩码进行车道线匹配。提出了一种多模型特征融合方法，用于训练支持向量机对图像区域进行分类。作者从车道线和非车道线区域出发，结合128-D 梯度直方图(HOG)和9-D 颜色矩，创建了一个137-D 多模型特征。然后他们训练支持向量机来对不同的位置进行分类。接下来，他们使用滑动窗口方法从图像中构建一组额外的区域，并使用支持向量机选择车道线区域进行测试。最后，使用图像分割，他们训练了一个支持向量机一个将图像分割成车道线信息区域和非车道线信息区域。

Feng 等人将 DL 和 ML 结合起来用于车道线检测。首先采用基于深度学习(5层 SegNet)的方法进行车道线检测。然而，正如分割结果所显示的那样，在特定的单个循环中，哪些不属于车道线的区域将被分割成车道线，哪些不属于车道线的区域将被分割成车道线，存在着分割的不确定性。因此，利用贝叶斯定理使分割更加稳定。因此，一个 RBF 核支持向量机(支持向量机)也被测试。

两种深度学习联合

传统的技术已经取得了显著的成果，但也有局限性:

1. 车道线感知受到不同天气条件和光照的挑战。

2. 此外，以往的方法缺乏一个统一的框架来描述各种场景，由于潜在的标签噪声，使用样本的效率低下。

Liu [72]提出了一种基于学习综合参考质量感知判别梯度深度模型的自动驾驶车辆车道线检测框架，该模型使用了两种深度网络。为了检测车道线的存在，由于车道线边缘的梯度值大于其他区域的梯度值，作者首先建立了一个梯度引导的深层卷积网络。然后利用整个参考图像质量评价(FR-IQA)方法，在利用几何特征的基础上，寻找更具有鉴别性的梯度信号。然后，一个回归的神经层反映了使用难以定义的视觉线索识别车道线的空间分布。最后，利用稀疏惩罚放弃了噪声特征，本文只使用了一小部分带标注的图像。

此外，在最新的车道线检测算法中，卷积神经网络(CNN)被用来训练深度学习模型。虽然这些模型在训练和测试输入上表现出色，但在不同环境下的未知数据集上表现不佳。提出了一种基于实时弹性神经网络的主动车道线检测方法(RONELD) ，该方法利用深度学习概率图输出对主动车道线进行识别、跟踪和优化。它们自适应地从概率地图输出中提取车道线点，检测曲线和直线，然后在直线上使用加权最小二乘线性回归来校正由于真实图像中的边缘地图碎片造成的车道线边缘断裂。

最后，通过跟踪前面的帧，作者假设了真正的主动车道线。最后，Pizzati 等[58]提出了一个基于两个级联神经网络的端到端系统，实时运行的车道线边界识别，聚类和分类。作为第一步，他们训练 CNN 进行车道线边界实例分割。然后，他们为每个观察到的车道线边界提取一个描述，并通过第二个 CNN 运行它。CNN 已经接受了识别车道线边界的训练，而不是车道线标注。然后，他们使用车道线边界上的实例分割代替语义分割。例如，掩码 R-CNN 就是一种尖端的网络分割技术。ERFNet 也被选为他们的基线模型。因此，本文使用另一种细胞神经网络对各车道线边界进行分类，将识别出的边界与地面真实度联系起来。此外，这项工作的体系结构是基于 H-Net。

带注意力机制的深度学习

在过去，最先进的车道线检测算法在复杂的情况下已经超过了传统的方法，但是它们也有局限性。例如，只能发现一定数量的车道线，而且检测时间的成本有时高得令人望而却步。人类视觉的注意机制和方法使网络学习更具有关注性。Zhang 等[9]提出了一个基于注意力策略的实时车道线识别系统来解决这个问题。该网络包括一个提取车道线特征的编码器模块和两个预测车道线实例特征图的解码器模块，一个二进制解码器和一个可嵌入解码器。作者在编码器中引入了生物学启发的注意力，提取了包含目标区域丰富信息的特征。为了学习语境信息，提出了卷积特征与注意特征之间的相关关系。该方法将上下文信息与解码器中的上采样特征相结合，以补偿所丢失的细节信息。二进制解码器将每个像素分配到两个类别: 车道线或背景。采用可嵌入式解码器获得不同的车道线。然后将二进制解码器的输出作为可嵌入解码器的输入之一，该可嵌入解码器指导在车道线上产生精确的像素点。

训练过程中使用什么设备来收集数据？

输入数据是检测道路车道线最关键的方面。此外，数据集的准备是必不可少的人工智能方法，特别是在训练过程中。由于网络模型中大量数据的准备，自动驾驶汽车可以进行行为管理和判断。在回顾了期刊、论文会议和一些书籍章节之后，许多文献包含了自收集的数据，并且也是在网上完成的。此外，一些研究人员只为人工智能训练编译他们的数据集，然后将其与公开可用的基准数据集进行比较。另一方面，一些研究人员只使用自收集的数据进行训练和验证。与此同时，一些研究人员仅仅依靠公共数据集进行训练和验证。在道路标注中，无线电探测和测距(雷达)、相机(camera)、全球定位系统(GPS)和光探测和测距(LiDAR)都被用于自收集数据集[23]。除此之外，还有从各种文献作品中收集的在线模拟器的数据。传感器详细介绍见原文。

用于网络训练、验证和测试的数据集是什么？

TuSimple [75]、 KITTI、 Caltech、 Cityscapes、 Apollo Scape 和 CULane 数据集是在线道路场景数据集或基准，为各种用途提供训练数据。在本节中，作者将讨论几个流行的公共数据集。网络必须有一个有意义的数据集才能有效地运行[107]。

1. TUSIMPLE DATASET TuSimple 数据集是一个公开可用的交通检测数据集(轻型交通和清晰的车道线标注)。其训练数据集的标签由连续的车道线曲线组成，这些曲线从输入图像的底部开始，一直持续到地平线。从车辆上方经过。它由带有训练的大型数据集组成，在恶劣和良好的天气条件下，测试数量分别为326和2782[35]。它们在一天的不同时间被记录在两条公路车道线、三条公路车道线、四条公路车道线或额外的公路车道线上。这些 RGB 输入图像的分辨率为1280 × 720像素。每个图像还包括未标注数据集的19帧。注释是 JSON 格式的，显示了车道线在不同离散化 y 位置的 x 位置。本节讨论了使用 TuSimple 数据集进行训练或验证的文献。在他们的研究中，Y.Sun 等人[71]利用了这个公共车道线检测数据集。作者根据每条车道线的像素坐标绘制直线，生成地面实例分割图。这些线条的厚度为15像素。此外，不同的标签被分配到不同的车道线。作者将数据集分为三个部分: 一个包含3268幅图像的训练集，一个包含358幅图像的验证集和一个包含2782幅图像的测试集。

2. KITTI DATASET KITTI [133]基准也是道路场景的常用数据。它包含关于道路场景的各种信息，包括彩色图片、立体图像和激光点数据。本田欧洲研究所的 Jannik Fritsch 和 Tobias Kuehnl 生成了 KITTI Vision 基准数据集[133]。有289个训练和290个测试图像在道路和车道线估计基准。城市无标注(UU)、城市多重标注(UMM)、城市标注(UM)以及三类标注的混合是道路场景图像所属的四个类别。训练数据集由98幅图像组成，测试数据集由100幅图像组成。真值是在 KITTI 数据集中通过手动注释图像而创建的。它提供了两种类型的道路地形: 道路面积(所有车道线组合)和车道线(当前车辆行驶的车道线)。例如，Shirke & Udayakumar [54]使用 KITTI 数据集进行基于区域的分割，使用迭代种子方法进行多车道线识别。除此之外，在另一篇文章中，Shirke 和 Udayakumar [66]也在他们的实验中使用了 KITTI 视觉基准数据集。接下来，这个公共数据集 KITTI 也被用来验证算法的性能[37]。最后但并非最不重要的是，P. Lu 等[27]使用基准测试数据集来验证所建议的技术。

3. CALTECH LANE DATASET 这个数据集[134]包含四个在加利福尼亚州帕萨迪纳不同时段拍摄的视频剪辑。每个视频剪辑的分辨率为640 x 480像素，包括不同的光照和照明情况、车道线标注、阳光闪烁、人行道类型、阴影、人行横道和拥挤的环境。此外，这个数据集还包括城市街道，使用加州理工学院的数据集测试了直道和弯道[101]。除此之外，Akbari 等[19]提出的方法与使用 Caltech Lane 数据集的两种基于模型的方法进行了比较。作者在本文中使用了大约1,224个标注数据集，其中4,172条车道线是从收集自大量城市道路的4个视频剪辑中提取出来的。

4. Cityscapes DATASET 城市景观的高分辨率和精细标注的训练图像[135]是众所周知的。另一方面，这些数据3750卷11,2023 N.J. 扎卡里亚等人: 自动驾驶车辆中的车道线检测: 系统综述提供语义分割标签，但不提供车道线信息。接下来，作者利用 Cityscape 数据集对网络进行了广义语义分割和多类别车道线线语义分割任务的测试。从汽车的角度对城市街道景观进行语义理解是本文的重点。该集合包含5000张照片与高品质的像素级注释与2975训练数据集，500验证数据集，和1525测试数据集。

5. APOLLOSCAPE DATASET Apollo 有六个分离标注，四个导向标注，两条停车线，12个转弯标注，以及其他像素级车道线标注和车道线特征[28]。大约有19040张照片，这是一个庞大的数据收集(训练集为12400，验证集为3320，测试集分别为3320)。此外，在道路上还可以找到停车线、斑马线、单实线、单破折线、双实线等语义分割信息。然而，一些接近行车线的地面区域很容易被误认为是行车线标注[28]。以下工作使用 ApolloScape 数据集进行训练和测试。例如，在文献[15]中，作者分析了使用 ApolloScape 数据集进行通用语义分割任务和多类别车道线线语义分割的网络。正如作者所知，这个数据集很有挑战性，因为它包括超过110000帧的高质量像素级地面真实度和车道线元素，如六个分离标注，四个导向标注，两个停止线和12个转弯标注等。此外，笔者在实验中还采用了多课程训练的方法。ApolloScape 提供了三个不同的数据集; 然而，在本文中，他们只使用了一个数据集来完成车道线检测任务。

6. CULANE DATASET CULANE 数据集可以被认为是更具挑战性的，许多数据集包括正常条件和八个复杂的设置，如拥挤，夜晚和在线。另一方面，TuSimple 数据集比 CULane 更直观。因此，CULane 中的一些帧缺少车道线标注(例如，在轻型交通十字路口)。[55]中的研究是在最广泛使用和广泛使用的车道线检测数据集之一的测试集上进行的[5]。CULane 训练组被用来预先训练模型。此外，这个数据集包括几个具有挑战性的驾驶场景和真值注释的所有框架(例如，拥挤的城市街道和照明不足的夜景)。此外，它是一个简单的数据集收集在白天沿高速公路在良好或中等天气。

大多数用于车道线检测的公共数据集，如 TuSimple、 Caltech、 Kitti、 CULane 和 Cityscapes，目前都被提议用于城市道路。TuSimple 在文献中被广泛使用，选择的出版物证明了这一点。它是学术界在车道线检测研究中最常用的数据集。下表7,有详细的介绍了几个数据集：

从RQs中学习成果

通过文献分析表明，在短短的四年时间里，车道线检测任务从传统的基于pipeline的方法需要大量的过程，发展到人工智能领域的存在，这是一种强烈的基于学习的策略，研究将更加容易和有效。比如，深度学习算法具有高度的泛化能力，可以学习驾驶环境的重要方面。然而，在应用基于深度学习的方法时，速度和准确性总是有发展的空间，尤其是在恶劣天气情况下。因此，一些工作主张将这种方法整合在一起。因此，将DL和注意力机制相结合成为该领域的一种最新方法，它在2020年刚刚开始引入。因此，文献中只有少数研究使用深度学习和注意力机制来研究车道检测。注意力机制以前主要用于自然语言处理（NLP），但现在广泛用于计算机视觉，尤其是医学领域。因此，它可以在自动化领域进行更多的探索。

Tusimple数据集在公平或适度的天气下从道路上收集数据，有两条车道/三个车道/或更多车道，以及各种交通情况，包括具有出色图像质量的清晰巷道线条，无模糊，相对简单，而且相对简单识别挑战。不幸的是，即使声称有几家拥有5级自动驾驶汽车的现成公司，但对于极端情况的可用数据仍然有限。下表6中总结了RQS 1、2和3的学习结果。详细见原文。

基于计算机视觉技术解决具体问题的一般讨论

大多数几何模型/传统方法依赖或遵循预处理特征提取、车道模型拟合和车道跟踪来检测车道。对于车道检测任务，需要对图像进行预处理以确定特征的质量。此外，这种方法需要手动更改参数，尽管这个过程是高效和简单的。此外，以往基于手工特征检测车道的方法在使用边缘、纹理或颜色信息的场景中受到限制，这需要复杂的后处理模块来执行。同样，在许多复杂的过程中，这些方法的功能不足。因此，传统的计算机视觉(CV)技术耗费时间和资源密集，依赖于复杂的算法来分析车道图像的微妙方面。此外，车道的数量经常不固定，检测车道的技术有时是错误的。例如，基于 Hough 变换的算法将直线视为车道线，这可能会导致将路灯误认为车道线。

此外，恶劣的天气，如下雨，将影响车道线检测。同样，光线不足和夜间环境也会产生不良后果。然而，目前还没有切实可行的解决方案来处理这些问题。因此，在复杂的交通情况下，传统的检测方法是无效的。此外，它必须实时工作。然而，大多数算法需要更多的这种目的。因此，传统的技术已经取得了显著的成果。然而，他们有几个局限性: (1)车道检测是挑战在不同的天气条件和照明。此外，以往的方法需要一个一致的框架来检测各种场景和(2)由于标签噪声，使用图像的效率低下。

与数据相关的技术问题

现有的自动驾驶系统作为驾驶员的辅助，许多问题仍然需要解决或改进，以实现在现实世界道路上安全和愉快的自动驾驶的目标。在现实世界的场景中，车道识别系统应该全年运行，不管是晴天还是多云，白天还是夜晚，夏天还是冬天，城市还是乡村，拥挤还是晴朗，等等。主要的挑战是使车道识别方法的弹性和繁荣在各种驾驶条件下。从文献的选择来看，与数据相关的车道检测技术有以下几个问题:

不平衡数据集问题

由于图像中的车道像素大部分是由后台类包含的，因此数据集问题极其不平衡。此外，由于车道的细长，背景像素的数量明显大于车道像素的数量。要了解这些特征可能是有挑战性的[1]。除了不平衡的数据之外，获取的数据和注释的质量也限制了各种方法的容量[2]。由于现有数据集的局限性，在一个数据集上开发的泳道方法不太可能应用于另一个数据集。为了解决这一问题，必须实施最先进的转移学习和注意机制。除此之外，应该为受限数据集调查复制真实世界道路状况的更通用的数据集。此外，随着这一领域的发展，预计将有更多的数据集可供研究人员使用，特别是随着完全自动驾驶汽车的出现[3]。然而，研究人员也受到缺乏数据集的阻碍，需要建立新的数据库，以便进行额外的算法测试。新的数据库可以使用来自测试车辆的合成传感器数据创建，也可以使用商业上可获得的驾驶模拟器生成驾驶场景。同样，在以下领域需要进行更多的研究。

变化多端的行车车道线标记

复杂多变的道路环境，以及行车线标记固有的薄弱特性，有些情况，例如没有线条、阴影遮挡，以及照明条件恶劣等，提供的视觉信号很少或根本没有。因此，在这些场景中检测图像中的车道是困难的。根据研究结果，传统方法在受控环境下工作，并存在许多关于路况波动引起的鲁棒性困难的问题。此外，车道线的不一致性、曲率和不同的车道模式使得检测变得更加困难。白天在过去得到了很多关注，但是夜间和雨天的情况得到较少的关注。此外，从文献中可以明显地看出，就速度流条件而言，它们以前曾经以4公里/小时到80公里/小时的速度进行过研究，而高速(超过80公里/小时)受到的关注较少。被超车车辆或其他物体遮挡，过多的照明使得车道线识别和跟踪变得困难。虽然车道线指定了几种颜色，车道标记通常是黄色和白色。车道线的数量和宽度因国家而异。

干扰和照明变化

根据类车道线干扰，如护栏、铁路、电线杆、人行道、建筑物等，将干扰现有的传统方法，如基于 HT 的算法。因此，它在各种具有挑战性的环境中挣扎，包括车道线类型、路面、夜间和其他环境因素(阴影、雨水等)。例如，当车辆在夜间行驶时，大灯照亮的区域强度比背景高出几个数量级。因此，即使车道线标志与人类视觉中的路面形成了很好的对比，部分车道仍然暴露在外。然后，当主车进入或离开隧道或在桥下行驶时，在路面上投下阴影。因此，道路可能有复杂的涂漆路面标记、公用线路和建筑物，这可能导致基于 HT 的车道识别算法提供误导性的边缘和纹理。在雨天，湿路的反射可能导致眩光和图像过曝，在某些情况下导致车道检测失败。除了像车道一样的干扰，光线的波动使得分界线识别更具挑战性。在人工光照条件下，该系统不能识别明亮或潮湿路面条件下的道路车道特征，在雨天有明显的反射。在预处理过程中，利用假设去除远离主车道的误导性边缘，可能是降低这种情况下误检率的一种技术。另一种选择是使用基于特征的机器学习算法。这可能是可以进行研究的领域之一。但是，这种办法只能使未列入培训集的道路受益，而且往往过于贴在图像和车道线标记上。因此，经典的技术，如模型预测控制器(mpc)在恶劣天气下的性能较差，在控制高照度或阴影方面存在问题，根据[3]。

不确定性管理

使用不准确或不完整的信息是不确定性带来的后果。这项研究包含许多不确定性的来源，包括数据噪音和不精确的模型。该解决方案系统地评估多个关键字，直到找到一组优秀或足够好的特征和方法用于给定的问题。

噪音噪音是观测结果变化的术语。

输入和输出都受到这种不可预测性的影响。真实的数据，就像现实世界一样，是一团乱麻。因此，保持对数据的怀疑态度以及开发预测和战胜不确定性的技术是至关重要的。这个问题的解决方案是投入一些时间分析数据统计并创建可视化，以帮助识别那些异常或不寻常的情况: 这就是数据清理的全部内容。

领域的不完全覆盖

随机样本是从一个领域中随机挑选出来的一组没有系统偏差的观察值。一定程度的偏见总是存在的。当一个模型需要更多的数据和知识时就会出现这种情况，这种情况通常发生在没有足够的样本来训练人工智能的时候。虽然一些偏差是固有的，如果样本的方差和偏差程度是一个令人不满意的表示的任务，被使用的模型的不确定性增加。例如，在车道检测中，研究人员只有在高速公路状况良好且除了上下班高峰期几乎没有车辆的情况下，才能检测到高速公路上的车道。除此之外，在正常情况下的车道检测要比在极端情况下容易得多。涂色车道标记是随机选择的。但是，它只能在一个实例中使用。范围可以包括高速公路、城市、农村地区以及正常、多雨和多雾的情况。样本必须具有可接受的方差和偏差，以表示将使用数据或模型的任务。在最初的调查中只会有一些观察。这意味着有些案例总是会被忽视。将会有问题领域的一些区域需要被覆盖。有两种选择，一种是将数据集分割为训练集和测试集，另一种是像 k 倍交叉验证那样的重采样方法。此技术可用于处理数据集代表性中的模糊性，并评估建模过程对不包含的数据的性能。

性能评估指标的分析及其意义

各种性能指标是可用的，但最常见的是准确性，精确度，F 评分和ROC曲线。如果数据集是平衡的，准确率应该反映算法的全局输出。准确性证明了乐观预测的准确性。误报的数量越少，准确度越高。召回，也被称为真正的正样本率(TPR) ，是算法准确检测到的正样本的比例。因此，查全率越高，算法发现正实例的准确率越高。F 1得分是准确率召回率的调和平均值，因为它们被合并成一个单一的度量，所以可以用来比较算法。由于调和均值对低值比较敏感，因此用调和均值代替算术。因此，如果一个算法是准确的，并具有较高的召回率，它有一个不错的 F1分数。这些参数可以作为每个类的单独指标或算法的整体指标来计算。

交叉验证评估和比较模块

交叉验证是一种测试统计分析如何应用于不同数据集的技术。通常，模型在已知数据集上进行训练。这个数据集称为训练数据集。但是，模型必须实时处理未知数据集。交叉验证是用来观察一个预测模型对匿名数据集的效果如何。当原始验证划分不能反映整个总体时，模型可能具有高度的准确性。但是，它在实践中几乎没有帮助，因为它只能在有限的数据收集情况下工作。当遇到超出其范围的数据时，系统不能识别它，导致准确性差。当交叉验证在机器学习中使用时，这个模型在许多不同的数据子集上的精确度得到了验证。因此，它确保能够很好地推广到将来收集的数据。它提高了模型的准确性。交叉验证可能有助于避免过拟合和欠拟合。当一个模特训练得“太好”时，过度拟合就会产生。当模型复杂且与数据量相比有大量变量时，就会出现这种情况。在这种情况下，模型将在训练模式中表现出令人钦佩的性能，但在应用于新数据时可能不准确。这是因为它不是一个广义模型。当模型不适合训练数据而非过拟合时，就会发生欠拟合。因此，它不能泛化为新数据。这是因为模型很简单，缺乏足够的自变量。在数据分析中，过拟合和欠拟合都是不可取的。它应该始终努力采用平衡的方法或恰当的范式。交叉验证可以避免过度装配和过度装配。机器学习需要大量的数据分析。交叉验证是让机器为现实环境做好准备的好方法。因此，该系统准备接受新的数据，并对其进行一般化处理，以便作出正确的预测。然而，据作者所知，以往在车道检测领域的研究一般不讨论或描述任何评估交叉验证。可以说，这是一个有偏见的实验，需要在这个部门进行额外的检查。

基于研究问题的系统文献综述的局限性

基于研究问题的系统性文献综述的局限性关于研究问题，RQ1，RQ2和 RQ3，存在以下几个局限性

1. RQ1以前的研究结果表明，在大多数情况下，在正常条件下，车道线检测的准确率约为96% 。另一方面，暴雨显著影响车道线标注检测的效率。此外，外部因素，如天气、视觉质量、阴影和炽热，以及内部因素，如车道线标注过窄，过宽，或不清楚，降低了性能。此外，据观察，该系统的性能受到影响，由于不明确和恶化的车道线标志。因此，当前 ADAS 最重要的问题之一是环境和气象环境对系统功能的实质性影响。

2. RQ2在车道线标注方面，相机的品质至为重要，在超车时，邻近车辆可能会遮挡车道线标志。因此，算法的精度取决于所使用的相机。使用单目、双目和红外相机拍摄图像。根据文献记载，双目相机的性能优于单目相机。

3. RQ3大约60% 的研究者在他们的研究中使用了自收集的数据集。

当前工作的局限性、未来范围和贡献

当前工作的局限性和未来范围可以分为方法、数据集和模型网络架构。

方法限制:

大多数几何模型/常规方法依靠或遵循预处理特征提取、车道线模型拟合和车道线跟踪来检测车道线。对于车道线检测任务，需要对图像进行预处理以确定特征的质量。此外，这种方法需要手动更改参数，尽管这个过程是高效和简单的。此外，以往基于手工特征检测车道线的方法在使用边缘、纹理或颜色信息的场景中受到限制，这需要复杂的后处理模块来执行。同样，在许多复杂的场景中，这些方法的功能不足。因此，传统的计算机视觉(CV)技术耗费时间和资源密集，依赖于复杂的算法来分析车道线图像的微妙方面。此外，车道线的数量经常不固定，检测车道线的技术有时是错误的。例如，基于 Hough 变换的算法将直线视为车道线，这可能会导致将路灯误认为车道线。此外，恶劣的天气，如下雨，将影响车道线检测。同样，光线不足和夜间环境也会产生不良后果。然而，目前还没有切实可行的解决方案来处理这些问题。因此，在复杂的交通情况下，传统的检测方法是无效的。此外，它必须实时工作。然而，大多数算法都缺乏这种目的。因此，传统的技术已经取得了显著的成果。然而，他们有几个局限性:

(1)车道线检测是挑战在不同的天气条件和光照。

(2)此外，以往的方法需要一个一致的框架检测各种场景，由于标签噪声使得使用图像的效率低下。

接下来，由于提出了许多解决方案，以提高计算机视觉工作的成就，与传统方法形成对比。尽管相机传感器的普及，深度学习算法提供了高度的泛化和跨多层学习驾驶环境中的基本要素。过去，深度学习等先进的检测算法在复杂场景中的性能优于传统的检测算法，但它们也存在局限性。例如，尽管多车道线检测非常重要，但只能检测到有限数量的车道线，而且检测时间的成本往往高得令人望而却步。因此，各种因素影响车道线检测任务，包括特定的复杂交通情景。注意机制广泛地改善了自然语言处理能力和心血管能力。注意机制的使用改善了特征图中的特征定位，消除了后处理的需要。

因此，由于车道线长而薄的车道线检测，有相当少的注释车道线像素比背景像素，这是具有挑战性的模型学习。因此，特征图中的注意力过程可以强调关键的空间信息。特别是注意力机制可以提高车道线线目标的加权信息，同时减少不必要的数据。它增加了网络学习的复杂性。

然而，作者注意到，关于注意力机制在车道线检测任务中的应用研究还很少。未来范围: 在这个研究领域，许多不同形式的注意力机制可以同时使用。因此，研究的未来方向可以通过应用另一种尚未部署的注意机制来探讨。

DATASET 限制

数据集问题非常不平衡，因为背景类包含了图像中大部分的车道线像素。由于车道线的细长度，背景像素的数量明显大于车道线像素的数量。了解这些特征可能需要时间。除了不平衡的数据之外，获取的数据和注释的质量也限制了各种方法的容量[2]。

可以发表诸如转移学习和注意力机制等最先进的机制。除此之外，还可以为受限数据集研究复制真实世界道路状况的更通用的数据集。此外，新的数据库可以使用来自测试车辆的合成传感器数据创建，或者使用商业上可获得的驾驶模拟器生成驾驶场景。

可变的车道线标注和照明变化。车道线标志的多样性，复杂多变的道路环境，如没有线、阴影遮挡，提供很少或没有可见的车道线线，车道线的不一致性，车道线的曲率和不同的车道线模式使得检测变得更加困难。根据研究结果，传统的方法在受控环境下工作，并有许多问题的鲁棒性困难所造成的道路景观波动。此外，超车或其他物体造成的遮挡以及过多的照明使得车道线识别和跟踪变得困难。除此之外，由于雨、雾和雪等天气条件，车道线线的能见度降低了。由于车道线识别和跟踪中存在的这些问题，影响了车道线检测和跟踪算法的性能。此外，根据文献[4] ，护栏、铁路、电线杆、步行人行道、建筑物等类似车道线的干扰将干扰现有的传统方法，如基于 HT 的算法。因此，它挣扎在各种具有挑战性的环境，包括夜间和其他环境因素(阴影，雨水等)。

此外，主车在进出隧道或驾驶到桥下时会在路面上投下阴影。因此，道路可能有复杂的涂漆路面标注、公用线路和建筑物，这可能导致基于 HT 的车道线检测算法提供误导的边缘和纹理。在雨天，湿路的反射可能导致眩光和图像过曝，在某些情况下导致车道线检测失败。除了像车道线一样的干扰，光线的波动使得分界线检测更具挑战性。在人工光照条件下，该系统不能识别明亮或潮湿路面条件下的道路车道线特征，在雨天有明显的反射。未来范围2: 使用基于特征的学习模型来控制恶劣的天气、光照和阴影问题。

模型网络架构的局限性:

处理不准确和不完整的信息是不确定性所带来的后果。这项研究包含许多不确定性的来源，包括数据噪声和不精确的模型。噪声是观测结果变化的术语。输入和输出都受到这种不可预测性的影响。真实的数据，就像现实世界一样，是一团乱麻。此外，随机样本是从一个领域中随机挑选的一组没有系统偏差的观测数据。然而，一定程度的偏见总是存在的。当模型需要更多的数据和知识时就会出现这种情况，这种情况通常发生在没有足够的样本来训练模型的时候。虽然一些偏见是固有的，不确定性增加，如果样本的方差和偏好程度是一个令人不满意的表示的任务，该模型将被用于。例如，在车道线检测方面，研究人员只有在道路状况良好且除了高峰时段几乎没有车辆的情况下才能检测到高速公路上的车道线。除此之外，在正常情况下的车道线检测要比在极端情况下容易得多。涂色车道线标注是随机选择的。但是，它只能在一个实例中使用。范围可以包括高速公路、城市、农村地区以及正常、多雨和多雾的情况。

比较已经完成的评论文章

本SLR与以前已经完成的其他评论文章进行比较。作为 SLR 的结果，发现目前发表的大多数研究都属于下表8中列出和讨论的类别之一：

结论和未来建议

这篇综述文章是通过分析结果并为后续举措提出建议而得出的。本节介绍了所有车道线检测方法、自收集数据集采集设备、前三大最受欢迎的在线数据集、该领域的基本问题，以及可用于未来研究的最先进技术。

结论

本SLR的分析表明，所选文献使用了各种方法和结构，输入数据集是两种类型之一：自收集或从在线公共数据集获取。与此同时，方法论包括几何建模和传统方法，而人工智能包括深度学习和机器学习。CNN、FCN和RNN是深度网络和架构的代表。在过去的四年里，人们对深度学习的使用进行了越来越多的研究。一些研究使用独立的深度学习实现来解决单车道线检测问题或多车道线实现。除此之外，一些研究侧重于将深度学习与其他机器学习技术和经典方法相结合，以提高效率。另一方面，最近的进展表明，注意力机制已经成为一种流行的策略，可以与深度学习方法相结合来提高性能。将深度算法与其他技术结合使用也显示出了有希望的结果。该SLR将为完成更多研究铺平道路，以建立更有效的车道线检测方法。此外，还需要在现实世界的工业环境中使用更精确的方法。作者计划在未来以这项研究的发现为基础，强调创建一个可以实时实现的具有高速性能和效率的网络。

未来的方向和建议

根据本SLR的研究结果，未来对该学科的贡献应重点关注以下方向：

1. 对于精确的特征学习，深度网络训练需要精确标注的车道线数据。

2. 增加了覆盖广泛场景的公开在线公共数据集的数量。

3. 应研究更多的不平衡管理方法，如计算成本、速度性能和算法/网络训练错误。

4. 将深度学习方法与其他技术相结合会产生显著的结果，值得进一步研究。

5. 网络和注意力机制的融合提高了性能，但还需要更多的研究。

6. 正在开发速度更高效的车道线检测方法和技术，以及应提高模型在正常和极端情况下的准确性和速率，以实现实时检测。

7. 减少了计算负荷。因此，训练时间、内存和CPU资源都应该通过高效的学习算法最小化。

参考

[1] Lane Detection in Autonomous Vehicles: A Systematic Review

视频课程来了！

自动驾驶之心为大家汇集了毫米波雷达视觉融合、高精地图、BEV感知、传感器标定、自动驾驶协同感知、语义分割、自动驾驶仿真、L4感知等多个方向学习视频，欢迎大家自取（扫码进入学习）

（扫码学习最新视频）

国内首个自动驾驶学习社区

近1000人的交流社区，和20+自动驾驶技术栈学习路线，想要了解更多自动驾驶感知（分类、检测、分割、关键点、车道线、3D目标检测、多传感器融合、目标跟踪、光流估计、轨迹预测）、自动驾驶定位建图（SLAM、高精地图）、自动驾驶规划控制、领域技术方案、AI模型部署落地实战、行业动态、岗位发布，欢迎扫描下方二维码，加入自动驾驶之心知识星球，这是一个真正有干货的地方，与领域大佬交流入门、学习、工作、跳槽上的各类难题，日常分享论文+代码+视频，期待交流！

【自动驾驶之心】全栈技术交流群

自动驾驶之心是首个自动驾驶开发者社区，聚焦目标检测、语义分割、全景分割、实例分割、关键点检测、车道线、目标跟踪、3D目标检测、BEV感知、多传感器融合、SLAM、光流估计、深度估计、轨迹预测、高精地图、NeRF、规划控制、模型部署落地、自动驾驶仿真测试、产品经理、硬件配置、AI求职交流等方向；

添加汽车人助理微信邀请入群

备注：学校/公司+方向+昵称