目前最先进的目标检测能用于自动驾驶吗?这群德国人认真地做了个测评!
点击我爱计算机视觉标星,更快获取CVML新技术
目标检测是自动驾驶技术的重要内容,确保上路安全,需要能够精准地检测出路面上所有目标。
这不仅要求汽车感知系统在正常的外界环境工作正常,对于极端恶劣的天气,比如下雪天,也能运行正常。
下图是在自动驾驶系统中,环境变化带来的挑战,雨、雪、雾,还有火灾现场。
随着技术的进步,大量目标检测技术被提出,不断涌出的标着state-of-the-art标签的最先进的算法能够抵御复杂的路况吗?
今天arXiv新出的论文Benchmarking Robustness in Object Detection: Autonomous Driving when Winter is Coming,来自德国图宾根大学和马普所的研究人员,模拟了多个不同环境、成像状况等图像被污损的场景,测评了目前最先进的目标检测算法。
以下是作者信息:
结果不出所料,图像被污损后,所有算法的检测精度都大幅下降。
下图是一个例子:
使用Faster R-CNN算法,上图中左子图把一条龙检测为鸟(现实中不会出现龙。。。作者只是举个例子),更糟糕的是,当图像被“下雪”后,竟然两个目标都检测不出了。
这就有点过分了,因为“下雪”后,人眼可是能轻而易举看出画面中的目标的。
鲁棒目标检测基准测试
作者们提出新的目标检测基准测试Robust Detection Benchmark,在现有数据集基础上,制作了三个大型图像被污损后的目标检测数据集:Pascal-C, Coco-C , Cityscapes-C。
下图为作者在前人启发下模拟的 15 种图像被污损的情形,这15种情况可以分为 noise, blur, digital, weather 4 组,而每一种情况,都模拟出了5个不同的严重等级(由轻微到严重)。
算法评测
作者评估了多个目标检测算法:
Faster R-CNN [Ren et al., 2015],
Mask R-CNN [He et al.,2017],
Cascade R-CNN [Cai and Vasconcelos, 2018],
Cascade Mask R-CNN [Chen et al., 2019a],
RetinaNet [Lin et al., 2017a],
Hybrid Task Cascade [Chen et al., 2019a]。
其中有2个算法,是上个月才被提出的state-of-the-art,可谓代表目标检测领域的顶尖水平。
文中使用的评价指标不再赘述,我们来看看结果吧。
下图中clean代码原始数据集,corrupted为被污损后的数据集,relative代表精度下降的幅度。
可见,最少下降31.1%,最大下降64.7%!
下图为使用Faster RCNN算法随着污损严重程度变化检测结果实验的折线图,可见精度是一致性的下降。
然后作者使用Faster RCNN在不同骨干网下进行了实验,发现容量更大的骨干网表现出一致性的精度更好。如下图:
神奇的风格迁移
如何提高模型抗图像污损的鲁棒性?
作者实验了使用图像风格化来增广训练数据,使用的风格化方法来自:AdaIN [Huang and Belongie, 2017](已开源)。
风格化图像示例:
是不是看起来跟现实环境差别很大,不过没关系,我们要的是疗效!
如下表格:
图中combined一行即为将原始数据和风格化后数据放在一起训练的结果。使用Faster RCNN实验。
虽然在污损鲁棒性实验中没能达到原始图像的指标,但风格化后图像加入训练集的检测结果却大大提高了!
这对你有什么启发么?原来图像增广不能完全按照人眼看起来OK为标准,而且风格化还真有效!
开源代码
作者希望该研究能够引起更多人重视,已经开源了代码,欢迎大家提交新的图像污损方法,做更贴近真实场景的测评。
基准测试代码和数据:
https://github.com/bethgelab/robust-detection-benchmark
图像污损代码(感觉很有用,不止用于该任务):
https://github.com/bethgelab/imagecorruptions
文中用到的图像风格化算法代码:
https://github.com/bethgelab/stylize-datasets
作者基于mmdetection进行算法测试的代码:
https://github.com/bethgelab/mmdetection
论文链接:
https://arxiv.org/pdf/1907.07484v1.pdf
(在公众号对话界面回复“检测鲁棒性”,即可收到论文)
本文为CV君对论文的原创解读,目前只有不到7%的公众号还在努力原创,希望你文末点个“在看”鼓励我。
CV细分方向交流群
52CV已经建立多个CV专业交流群,包括:目标跟踪、目标检测、语义分割、姿态估计、人脸识别检测、医学影像处理、超分辨率、神经架构搜索、GAN、强化学习等,扫码添加CV君拉你入群,
(请务必注明相关方向,比如:目标检测)
喜欢在QQ交流的童鞋,可以加52CV官方QQ群:805388940。
(不会时时在线,如果没能及时通过验证还请见谅)
长按关注我爱计算机视觉
目前最先进的目标检测能用于自动驾驶吗?这群德国人认真地做了个测评!相关推荐
- 深度学习和目标检测系列教程 7-300:先进的目标检测Faster R-CNN架构
@Author:Runsen Faster R-CNN 由于Fast R-CNN 过程中仍然存在一个瓶颈,即ROI Projection.众所周知,检测对象的第一步是在对象周围生成一组潜在的边界框.在 ...
- 开源目标检测算法用于交通标志检测全方位评估
(欢迎关注"我爱计算机视觉"公众号,一个有价值有深度的公众号~) 交通标志检测在自动驾驶.汽车主动安全中应用非常重要,通用的目标检测算法可以通过微调网络的方式直接用于交通标志检测. ...
- 3D车道线检测能否成为自动驾驶的核心?盘一盘近三年的SOTA论文!
点击下方卡片,关注"自动驾驶之心"公众号 ADAS巨卷干货,即可获取 车道线检测一直都是自动驾驶热门的研究方向,也是整个自动驾驶感知技术栈不可或缺的一环,今天汽车人就带大家盘一盘近 ...
- 综述:用于自动驾驶的全景鱼眼相机的理论模型和感知介绍
文章:Surround-view Fisheye Camera Perception for Automated Driving: Overview, Survey & Challenges ...
- 用于自动驾驶汽车的传感器融合
自动驾驶汽车是热门研究课题之一,它将彻底改变地面车辆的未来.自动驾驶汽车正在取代普通车辆,因为它可以做出决定并执行自己的驾驶任务.每年有130万人死于道路交通事故,即每天3700人.通过为车辆提供必要 ...
- WACV 2022|CoordiNet:将不确定性感知和姿态回归结合用于自动驾驶车辆定位
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 作者丨一杯红茶 编辑丨计算机视觉工坊 点击进入->3D视觉工坊学习交流群 CoordiNet:将 ...
- Mapillary发布世界最大交通标志数据集,用于自动驾驶研究
点击我爱计算机视觉标星,更快获取CVML新技术 相信对于Mapillary大家并不陌生,该公司一直致力于推动自动驾驶的研究,发布了专门面向自动驾驶的覆盖全球多个地区的街景数据集Mapillary Vi ...
- 经典文献阅读之--用于自动驾驶的高清地图生成技术
0. 简介 这篇文章我们介绍一下论文"High-Definition Map Generation Technologies For Autonomous Driving: A Review ...
- 什么是VPS? 它是如何用于自动驾驶的?
使用 "VPS "技术从图像中估计当前位置的做法正在引起人们的注意. 目前,该技术主要用于增强现实(AR)服务,但人们对其在自动驾驶领域作为识别车辆位置的技术的应用也有越来越多的期 ...
最新文章
- 三维点云数据处理软件供技术原理说明_海量点云数据处理理论与技术
- QTP的那些事--终极项目脚本设计思路及其测试查询功能的一些实际项目体会
- 浅蓝色设计类网站模板
- Linux安装部署FTP服务器
- JavaScript学习随记——数组一
- 第七十一期:管理 | 技术Leader:选OKR还是KPI?
- 二位数组的随机生成,遍历,求和,反转。和两个变量的^反转 源码
- 自定义依赖注解无效_关于Apt注解实践与总结【包含20篇博客】
- 传统emmc所用的sdio接口_SolidGear SD/SDIO/eMMC协议分析仪
- 一招判断三元催化堵塞_汽车的氧传感器和三元催化器故障如何判断呢?用这些方法判断...
- SSH服务器能够允许root用户远程登录
- 初学 python 之 HAproxy配置文件操作
- SPDY, WebSocket, WebDAV概念
- 2020 最新JavaWEB面试题
- 华大MCU(五):HC32F460串口IAP升级boot部分
- 数据安全技术落地经验浅谈和分类分级实施
- 使用命令结束Linux系统
- 【WiFi】Wi-Fi 5(802.11ac) 与 Wifi 6 (802.11ax)RF的关键变化
- 快速部署OpenStack的操作笔记(珍藏版)
- 求最大公约数和最小公倍数-python3
热门文章
- redis入门——Spring整合篇
- toj 4596 一行盒子
- 3D 机器视觉 02 - FPGA生成N位元格雷码
- 【参考】微信 - 数据库 -官方封装接口说明:
- 我们注意到您的计算机目前处于离线状态_你为什么会选择用反渗透设备离线清洗设备?...
- python多线程调度_python并发编程之进程、线程、协程的调度原理(六)
- python死机_请问下为什么我用PYTHON写编译器一旦用READ就死机
- jpa 托管_java – jpa非托管实体
- java动态数组的实现的_基于Java的动态数组分析与实现
- 18春东大计算机在线作业3,东大18春学期《计算机辅助数控编程》在线作业3.docx...