恶略天气下的目标检测

参考恶略天气下的目标检测 - 云+社区 - 腾讯云

1、基于数据的方法

(1)、Benchmarking Robustness in Object Detection: Autonomous Driving when Winter is Coming

不管图像失真或天气条件如何，检测物体的能力对于像自主驾驶这样的深度学习的现实应用来说至关重要。我们在这里提供了一个易于使用的基准来评估图像质量下降时目标检测模型的表现。生成的三个基准数据集，称为PASCAL VOC-C、COCO-C和Cityscape-C，包含各种各样的图像损坏。我们表明，一系列标准目标检测模型在损坏的图像上遭受了严重的性能损失(低至原始性能的30-60%)。然而，一个简单的数据增加技巧——训练图像的风格化——导致跨损坏类型、严重性和数据集的鲁棒性的显著增加。我们设想我们的综合基准来跟踪构建健壮的目标检测模型的未来进展。基准、代码和数据是公开的。

@article{michaelis2019benchmarking,title={Benchmarking robustness in object detection: Autonomous driving when winter is coming},author={Michaelis, Claudio and Mitzkus, Benjamin and Geirhos, Robert and Rusak, Evgenia and Bringmann, Oliver and Ecker, Alexander S and Bethge, Matthias and Brendel, Wieland},journal={arXiv preprint arXiv:1907.07484},year={2019}
}

(2)、A Deep Learning-based Radar and Camera Sensor Fusion Architecture for Object Detection

近年来，使用深度学习的相机图像中的目标检测已被证明是成功的。不断提高的检测率和高效的计算网络结构将这一技术推向生产车辆的应用。然而，相机的传感器质量在恶劣的天气条件下受到限制，并且在光线稀疏的区域和夜间会增加传感器噪声。我们的方法通过在网络层融合摄像机数据和投影稀疏雷达数据来增强当前的2D目标检测网络。所提出的摄像机融合网络(CRF-Net)自动学习传感器数据的融合在哪个级别对检测结果最有利。此外，我们引入了BlackIn，这是一种受Dropout启发的训练策略，它将学习重点放在特定的传感器类型上。我们表明，对于两个不同的数据集，融合网络的性能优于现有的纯图像网络。这项研究的代码将提供给公众:https://github.com/TUMFTM/CameraRadarFusionNet

@inproceedings{nobis2019deep,title={A deep learning-based radar and camera sensor fusion architecture for object detection},author={Nobis, Felix and Geisslinger, Maximilian and Weber, Markus and Betz, Johannes and Lienkamp, Markus},booktitle={2019 Sensor Data Fusion: Trends, Solutions, Applications (SDF)},pages={1--7},year={2019},organization={IEEE}
}

(3)、Raindrops on the Windshield: Performance Assessment of Camera-based Object Detection

摄像机系统从周围环境中捕捉图像，并处理这些数据以检测和分类物体。造成故障和故障的一个特殊类别是不利的天气条件。在这种情况下，众所周知，例如，雨水由于吸收和散射下落的雨滴而降低了传感器的性能。此外，由于外部视野受到干扰，车载摄像头的物体检测会受到挡风玻璃上雨滴的影响。为了抵消这种影响，安装了挡风玻璃刮水器，以改善驾驶员的视觉信息，同时也有利于图像传感器。本文研究了雨天条件下一次擦拭动作的图像质量和目标检测的正确性。结果表明，随着雨滴在挡风玻璃上的积累，图像质量和目标检测性能下降。此外，它还显示了性能和时间之间的权衡。因此，应实施自适应加权数据融合，以便根据传感器数据最可靠的帧做出决策。

@inproceedings{hasirlioglu2019raindrops,title={Raindrops on the windshield: Performance assessment of camera-based object detection},author={Hasirlioglu, Sinan and Reway, Fabio and Klingenberg, Tim and Riener, Andreas and Huber, Werner},booktitle={2019 IEEE International Conference on Vehicular Electronics and Safety (ICVES)},pages={1--7},year={2019},organization={IEEE}
}

(4)、Vehicle Detection and Width Estimation in Rain by Fusing Radar and Vision*

虽然人们已经在深度学习目标检测方面付出了很多努力，但是在恶劣天气(例如雨、雪或霾)下的目标检测受到的关注相对有限。在大雨中，前挡风玻璃上的雨滴会使车内摄像头难以检测到物体。解决这个问题的传统方法是使用雷达作为主要的检测传感器。然而，雷达很容易出现误报。此外，许多入门级雷达传感器只返回每个检测到的物体的质心，而不是其大小和范围。此外，由于缺乏纹理输入，雷达无法区分车辆和非车辆目标，例如路边杆。这促使我们通过融合雷达和视觉来检测车辆。在本文中，我们首先相对于地平面校准雷达和照相机。然后将雷达探测投影到摄像机图像上，用于目标宽度估计。对大型数据库的经验评估表明，两个传感器之间存在天然的协同作用，因为雷达检测的准确性极大地促进了基于图像的估计。

@inproceedings{wang2018vehicle,title={Vehicle detection and width estimation in rain by fusing radar and vision},author={Wang, Jian-Gang and Chen, Simon Jian and Zhou, Lu-Bing and Wan, Kong-Wah and Yau, Wei-Yun},booktitle={2018 15th International Conference on Control, Automation, Robotics and Vision (ICARCV)},pages={1063--1068},year={2018},organization={IEEE}
}

(5)、Seeing Through Fog Without Seeing Fog: Deep Multimodal Sensor Fusion in Unseen Adverse Weather

摄像机、激光雷达和雷达测量等多模态传感器流的融合在自主车辆的目标检测中起着至关重要的作用，自主车辆的决策基于这些输入。虽然现有的方法在良好的环境条件下利用冗余信息，但在恶劣的天气条件下，它们会失败，因为在恶劣的天气条件下，感官流会不对称地扭曲。这些罕见的“边缘情况”场景在可用的数据集中没有表现出来，现有的融合架构也不是为处理它们而设计的。为了应对这一挑战，我们提出了一个新的多模态数据集，该数据集是在北欧行驶10，000多公里后获得的。虽然该数据集是不利天气下的第一个大型多模态数据集，具有100k个激光雷达、相机、雷达和门控近红外传感器标签，但由于极端天气很少，它不利于训练。为此，我们提出了一种深度融合网络，用于在没有覆盖所有非对称失真的大量标记训练数据的情况下进行鲁棒融合。从建议级融合出发，我们提出了一个由测量熵驱动的自适应融合特征的单次模型。我们在我们广泛的验证数据集上验证了基于干净数据训练的方法。代码和数据可以在这里找到：https://github.com/princeton-computational-imaging/SeeingThroughFog

@inproceedings{bijelic2020seeing,title={Seeing through fog without seeing fog: Deep multimodal sensor fusion in unseen adverse weather},author={Bijelic, Mario and Gruber, Tobias and Mannan, Fahim and Kraus, Florian and Ritter, Werner and Dietmayer, Klaus and Heide, Felix},booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},pages={11682--11692},year={2020}
}

(6)、Data Augmentation for Improving SSD Performance in Rainy Weather Conditions

本文主要研究在多雨天气条件下，利用数据增强技术提SSD检测器的性能。通过在一组清晰图像上生成合成雨来应用数据增强，以扩展用于训练的数据集。实验结果表明，在所提出的增强合成数据集上进行训练，SSD模型的性能提高了16.82%。

@inproceedings{hoang2020data,title={Data Augmentation for Improving SSD Performance in Rainy Weather Conditions},author={Hoang, Quoc-Viet and Le, Trung-Hieu and Huang, Shih-Chia},booktitle={2020 IEEE International Conference on Consumer Electronics-Taiwan (ICCE-Taiwan)},pages={1--2},year={2020},organization={IEEE}
}

(7)、Accelerated Fog Removal From Real Images for Car Detection

图像去雾提高了计算机视觉应用中图像的视觉质量，例如目标检测和目标跟踪。提出了一种用于车辆检测的加速图像增强技术，作为为了交通管理的目的而使用现有街道摄像机来计数车辆的努力的一部分。解决了汽车检测的两个方面:1)通过用更快的滤波器代替耗时的图像滤波器来加速现有的图像去雾技术，同时保持可忽略的图像退化，2)提出了在无雾图像中检测汽车的快速且实用的算法，并将其应用于大约100幅汽车图像的数据库。除了汽车检测精度之外，加速是本研究的主要目标。改进的雾去除技术是通过使用所提出的自适应滤波器(PAF)估计透射图来恢复雾天图像的场景深度来执行的。在过滤之后，执行简单、准确且有效的汽车检测算法，以确认在处理后的图像中是否存在汽车。该系统相当鲁棒，尽管所有图像都是从现有来源获得的，但所提出的算法预计在浓雾和真实条件下对汽车的任何侧视图像都具有同样好的性能。

@inproceedings{younis2017accelerated,title={Accelerated fog removal from real images for car detection},author={Younis, Rawan and Bastaki, Nabil},booktitle={2017 9th IEEE-GCC Conference and Exhibition (GCCCE)},pages={1--6},year={2017},organization={IEEE}
}

(8)、Object Detection in Fog Degraded Images

图像处理是从给定图像中提取有价值数据的技术，用于不同的目的，如改善图像的可视化，以及从提取的数据中测量结构或特征。高质量的图像和视频很容易预测和分类，而检测模糊或模糊的图像是一个麻烦的问题。本文提出了一种有效的方法，将离散小波变换和卷积神经网络等多种图像处理技术相结合，对去雾图像进行引导滤波预处理。所提出的技术极大地改进了相关的标准性能指标，如PSNR、MSE和IIE。

@article{singh2018object,title={Object Detection in Fog Degraded Images},author={Singh, Gurveer and Singh, Ashima},journal={International Journal of Computer Science and Information Security (IJCSIS)},volume={16},number={8},year={2018}
}

2、基于域适配的方法

(1)、Prior-based Domain Adaptive Object Detection for Hazy and Rainy Conditions

恶劣的天气条件，如雾霾和降雨，会破坏捕捉到的图像的质量，导致在干净图像上训练的检测网络在这些图像上表现不佳。为了解决这一问题，我们提出了一个无监督的基于先验的领域对抗目标检测框架，以适应检测器的雾和雨条件。基于这些，我们使用使用图像形成原理获得的特定天气的先验知识来定义一个新的先验对抗损失。用于训练自适应过程的先验对抗损失旨在减少特征中特定于天气的信息，从而减轻天气对检测性能的影响。此外，我们在目标检测管道中引入一组残差特征恢复块来消除特征空间的失真，从而进一步改进。在不同的数据集(Fog - CityScapes, Rainy-Cityscapes, RTTS和UFDD)上进行的不同条件下(如霾、雨)的评估表明了所提方法的有效性。

@inproceedings{sindagi2020prior,title={Prior-based domain adaptive object detection for hazy and rainy conditions},author={Sindagi, Vishwanath A and Oza, Poojan and Yasarla, Rajeev and Patel, Vishal M},booktitle={European Conference on Computer Vision},pages={763--780},year={2020},organization={Springer}
}

(2)、Cross-domain Learning Using Optimized Pseudo Labels: Towards Adaptive Car Detection in Different Weather Conditions and Urban Cities

基于卷积神经网络(CNN)的目标检测通常假设训练数据和测试数据具有相同的分布，然而，这在现实应用中并不总是成立。在自动驾驶汽车中，驾驶场景(目标域)由不受约束的道路环境组成，这些环境不可能全部在训练数据(源域)中被观测到，这将导致检测器的准确性急剧下降。本文提出了一种基于伪标签的域自适应框架来解决域漂移问题。首先，通过基线检测器(BD)生成目标域图像的伪标签，并通过数据优化模块进行优化，以纠正错误;然后，根据伪标签的优化结果对单个图像中的硬样本进行标记。采用自适应采样模块，根据每幅图像的硬采样个数对目标域数据进行采样，以选择更有效的数据。最后，将改进后的知识精馏损失应用于再训练模块，研究了两种分配软标签到目标域训练实例的方法来对检测器进行再训练。我们评估了该方法在不同源/目标域对中的平均精度，并在Cityscapes、KITTI和Apollo数据集上验证了该框架在多域自适应场景下的平均BD精度提高了10%以上。

@article{zhang2021cross,title={Cross-domain Learning Using Optimized Pseudo Labels: Towards Adaptive Car Detection in Different Weather Conditions and Urban Cities},author={Zhang, Lianhua and Xia, Qin and Pu, Liang and Chen, Junlan and others},year={2021}
}

3、修改检测器结构的方法

(1)、DSNet: Joint Semantic Learning for Object Detection in Inclement Weather Conditions

在过去的五年中，基于卷积神经网络的目标检测方法得到了广泛的研究，并成功地应用于许多计算机视觉应用中。然而，由于能见度低，在恶劣天气条件下探测物体仍然是一项重大挑战。在本文中，我们通过引入一种新的双子网网络(DSNet)来解决雾中的目标检测问题，该网络可以进行端到端的训练，并联合学习三个任务:可见性增强、目标分类和目标定位。DSNet通过包括两个子网络:检测子网和恢复子网来实现完全的性能改进。我们采用视网膜作为主干网络(也称为检测子网)，负责学习对目标进行分类和定位。恢复子网是通过与检测子网共享特征提取层并采用特征恢复(FR)模块来增强可视性而设计的。实验结果表明，在合成雾天数据集上，我们的DSNet平均精度达到50.84%，在公共自然雾天数据集上，平均精度达到41.91%，在保持较高速度的同时，优于许多先进的目标检测器和去雾与检测方法的组合模型。

@ARTICLE{9022905,author={Huang, Shih-Chia and Le, Trung-Hieu and Jaw, Da-Wei},journal={IEEE Transactions on Pattern Analysis and Machine Intelligence}, title={DSNet: Joint Semantic Learning for Object Detection in Inclement Weather Conditions}, year={2020},volume={},number={},pages={1-1},doi={10.1109/TPAMI.2020.2977911}}

(2)、A Real-Time Vehicle Detection System under Various Bad Weather Conditions Based on a Deep Learning Model without Retraining

已经提出了许多车辆检测方法来为智能交通系统的发展获得可信的交通数据。这些方法中的大多数在常见场景下表现良好，例如晴天或阴天；然而，在各种恶劣的天气条件下，例如雨天或有眩光的日子(通常发生在日落期间),检测精度会急剧下降。本研究提出了一种具有能见度互补模块的车辆检测系统，该系统在各种恶劣天气条件下提高了检测精度。此外，所提出的系统可以在不重新训练用于不同天气条件下的目标检测的深度学习模型的情况下实现。能见度的互补是通过使用暗通道先验和卷积编码器-解码器深度学习网络获得的，该网络具有双残差块，以解决不同恶劣天气条件的不同影响。通过使用“YOLO”深度学习模型检测车辆，我们在多个监控视频上验证了我们的系统，并证明我们的系统的计算时间平均可达30帧/秒；此外，精确度不仅在低对比度场景条件下提高了近5%，而且在雨天场景条件下也提高了50%。我们的演示结果表明，我们的方法能够在各种恶劣天气条件下检测车辆，而无需重新培训新型号。

@article{chen2020real,title={A real-time vehicle detection system under various bad weather conditions based on a deep learning model without retraining},author={Chen, Xiu-Zhi and Chang, Chieh-Min and Yu, Chao-Wei and Chen, Yen-Lin},journal={Sensors},volume={20},number={20},pages={5731},year={2020},publisher={Multidisciplinary Digital Publishing Institute}
}

5、数据集

(1)、A NOVEL DATASET FOR OBJECT DETECTION IN RAINY WEATHER CONDITIONS

近年来，基于卷积神经网络的目标检测模型在自主驾驶系统中得到了广泛的关注并取得了令人瞩目的成果。然而，在恶劣的天气条件下，由于缺乏用于训练策略的相关数据集，这些模型的性能大大降低。在这项工作中，我们通过引入一个新的雨驱动数据集，命名为RD，解决了雨干扰下的目标检测问题。我们的数据集突出显示了各种数据源，有1100幅描绘各种驾驶场景的真实雨天图像，并带有五种常见交通目标类别的地面真实边界框注释。本文采用研发来训练三个最先进的目标检测模型，包括SSD512、RetinaNet和YOLO V3。实验结果表明，SSD512、RetinaNet和YOLO-V3模型的性能分别提高了5.64%、8.97%和5.70%。

@article{hoang2020rd,title={RD: A NOVEL DATASET FOR OBJECT DETECTION IN RAINY WEATHER CONDITIONS},author={Hoang, Quoc-Viet and Le, Trung-Hieu and Nguyen, Minh-Quy},journal={UTEHY Journal of Science and Technology},volume={27},pages={86--90},year={2020}
}