目录

Abstract

I. INTRODUCTION

B. Network Design

C. Training Strategy

IV. EXPERIMENTS AND RESULTS

Abstract

在当前帧中无法准确检测到的车道可以通过合并先前帧的信息推断出来

更准确地说，当前帧中的车道可以通过使用多个帧来预测，即使车道可能会受到阴影、污渍和遮挡带来的损坏或退化

具体来说，每一帧的信息由一个CNN块提取，然后将具有时间序列属性的多个连续帧的CNN特征输入RNN块进行特征学习和车道预测。

图1：在具有挑战性的情况下的车道检测。最上面一行：三个不同驾驶场景的示例图像。中间行：仅使用当前帧进行车道检测。底部一行：车道检测使用之前的四个帧和当前的帧与所提出的方法。

I. INTRODUCTION

一个主要原因是，当前帧提供的信息不足以进行准确的车道检测或预测。

由于驾驶场景是连续的，并且在相邻帧之间大量重叠，相邻帧中车道的位置高度相关。

但是，如果将一帧的原始图像作为输入，例如800×600图像，则该向量的维数为480,000，这对于DRNN网络的全连接层是不可容忍的。为了降低输入数据的维数，同时保持足够的信息进行车道检测，可以选择DCNN作为特征提取器对每幅图像进行抽象

contributions

首先，针对在阴影、道路掩模退化和车辆遮挡等情况下，使用单一图像无法准确检测车道的问题，提出了一种利用连续驾驶场景图像进行车道检测的新方法。由于从多个连续图像中提取的信息比从一个当前图像中提取的信息更多，与基于单图像的方法相比，该方法可以更准确地预测车道，特别是在处理上述具有挑战性的情况时。

其次，为了将DRNN与DCNN无缝集成，提出了一种新的融合策略，其中DCNN由一个编码器和一个具有完全卷积层的解码器组成，并将DRNN实现为一个LSTM网络。DCNN将每一帧抽象为一个低维的特征图，LSTM将每个特征图作为时间线上的一个全连接层，并递归地预测车道。LSTM在信息预测方面非常有效，并显著提高了在语义分割框架中对车道检测的性能。

第三，收集了两个新的数据集来进行性能评估。一个数据集收集了12种情况，每种情况包含数百个样本。

编码器CNN和解码器CNN是两个全卷积网络。以多个连续帧作为输入，编码器CNN对每个帧进行处理，并得到一个特征映射的时间序列。然后将特征图输入LSTM网络进行车道信息预测。LSTM的输出输入解码器CNN，生成用于车道预测的概率图，车道概率图与输入图像的大小相同。

.ConvLSTM用卷积运算代替LSTM每个门的矩阵乘法，广泛应用于端到端训练和时间序列数据的特征提取

B. Network Design

传统的全连接LSTM非常耗时和计算。因此，我们利用卷积LSTM(ConvLSTM)ConvLSTM用卷积运算替换了LSTM的每个门中的矩阵乘法，

受SegNet[16]和U-Net[15]在语义分割中成功采用的编解码器架构的启发，我们通过将ConvLSTM块嵌入到这两个编解码器网络中来构建我们的网络。更准确地说，当前帧中的车道可以通过使用多个前一帧来预测，即使车道可能会受到阴影、污渍和遮挡带来的损坏或退化。

C. Training Strategy

1)该网络使用在ImageNet上预训练的SegNet和UNet的权重

3)基于加权交叉熵构造了一个损失函数来求解判别分割任务，它可以表示为

IV. EXPERIMENTS AND RESULTS

我们基于TuSimple车道数据集和我们自己的车道数据集1构建了一个数据集。

为了增加数据集，我们在每个序列中每13张图像进行标记。

为了训练，我们采样5幅连续图像作为输 同时，为了充分适应所提出的网络在不同驾驶速度下的车道检测，我们对输入图像以三个不同步幅采样，即间隔1、2和3帧。然后，对每个地面真实标签有三种采样方法，如表二所示。

从表六可以看出，当在相同的采样步幅下使用更多的连续图像作为输入时，精度和f1-测度都在增长，这说明了使用多个连续图像作为网络结构输入的有效性。同时，与仅使用一幅图像作为输入的方法相比，使用多帧的方法有了显著的改进。当步幅增加时，性能的增长趋于稳定，例如，从使用四帧到五帧的性能改进比从使用两帧到三帧的性能改进要小。这可能是因为来自车道预测和检测的之前帧的信息不如来自之前帧的信息有用。