CVPR 2020夜间行人检测挑战赛两冠一亚:DeepBlueAI团队获胜方案解读
点击上方,选择星标或置顶,不定期资源大放送!
阅读大概需要15分钟
Follow小博主,每天更新前沿干货
本文转载自:机器之心
近日,由 CVPR 2020 Workshop 举办的 NightOwls Detection Challenge 公布了最终结果。来自深兰科技北京 AI 研发中心的 DeepBlueAI 团队斩获了「单帧行人检测」和「多帧行人检测」两个赛道的冠军,以及「检测单帧中所有物体」赛道的亚军。
本文将为大家介绍 DeepBlueAI 团队的解决方案。
NightOwls 检测挑战赛简介
检测 RGB 摄像机拍摄的夜间场景图片中的行人,是一个非常重要但是未被充分重视的问题,当前最新的视觉检测算法并不能很好地预测出结果。官方 baseline 在 Caltech(著名行人检测数据集)上的 Miss Rate(越小越好)可以达到 7.36%,但在夜间行人数据集上却只能达到 63.99%。
夜间行人检测是许多系统(如安全可靠的自动驾驶汽车)的关键组成部分,但使用计算机视觉方法解决夜间场景的检测问题并未受到太多关注,因此 CVPR 2020 Scalability in Autonomous Driving Workshop 开展了相应的比赛。
NightOwls Detetection Challenge 2020 共有三个赛题:单帧行人检测(该赛题与 2019 年相同)、多帧行人检测,以及检测单帧中所有物体(包括行人、自行车、摩托车三个类别):
Pedestrian Detection from a Single Frame (same as 2019 competition)
Pedestrian Detection from a Multiple Frames
All Objects Detection (pedestrian, cyclist, motorbike) from a Single Frame
赛题介绍
夜间行人数据集示例
Track 1: Pedestrian detection from a single frame
该任务只要求检测行人(对应 Ground truth 中 category_id = 1 的行人类别),且所用算法只能将当前帧用作检测的输入,该题目与 ICCV 2019 NightOwls 挑战赛相同。
Track 2: Pedestrian detection from multiple frames
该任务的要求与任务 1 相同,都是只检测行人,但是该任务允许使用当前帧以及所有先前帧 (N, N-1, N-2, …) 来预测当前帧的行人。
这两个任务的数据集由 279000 张全注释的图片组成,这些图片来源于欧洲多个城市黎明和夜间的 40 个视频,并涵盖了不同的天气条件。
模型效果评估使用的是行人检测中常用的指标Average Miss Rate metric,但是仅考虑高度 > = 50px 的非遮挡目标。
Track 3: All Objects Detection (pedestrian, cyclist, motorbike) from a Single Frame
该任务要求检测出帧里所有在训练集中出现过的类别,包括自行车、摩托车,并且不允许使用视频序列信息。
赛题难点
这次比赛的主要难点包含以下几个方面:
运动模糊和图像噪点
与常规检测数据集不同,该竞赛考虑到实际驾驶情况,所用数据是在车辆行进过程中采集的,所以当车速较快或者有相对运动的时候会产生持续的运动模糊图像。并且由于摄像头是普通的RGB相机,因此在光线较弱的环境下收集的图片质量大幅度下降,这也是影响模型效果的主要原因。
对比度差异大,色彩信息少
这是由于收集数据主要来自于夜间环境所导致的必然结果,所以在进行数据增强的时候需要谨慎,不同增强方式会造成较大的影响。
不同的数据分布
该比赛的数据集涵盖了不同的城市和天气,之前常用的行人检测数据集一般未同时满足这两个条件。该数据具有多样性,且与常用数据集的数据分布存在较大差异。该比赛数据集与常用于训练预训练模型的数据集(如 COCO 数据集、OBJ365)的数据分布存在很大的不同,因此对基于常用数据集预训练的模型进行 fine-tune 的效果不如预期。
DeepBlueAI 团队解决方案
DeepBlueAI 团队在单帧行人检测和多帧行人检测两个赛道中取得了冠军成绩,在检测单帧中所有物体赛道中获得了亚军。
就检测器而言,该团队首先通过常规检测所累积的经验构造出一个 baseline:
Baseline = Backbone + DCN + FPN + Cascade + anchor ratio (2.44)
这些模块早已是各个比赛的「常客」,也被许多专业人士进行了比较透彻的分析,此处不再赘述。DeepBlueAI 团队进行了简单的实验,发现这些模块总是有用,进而将这套算法作为 baseline,加上一些行人检测的小 trick,如将 anchor ratio 改为 2.44、针对标注为 ignore 的目标在训练过程中 loss 不进行回传处理。
具体主要工作包含以下几个方面:
1. Double Heads
通过观察实验发现,baseline 将背景中的石柱、灯柱等物体检测为行人,这种情况大多和 head 效果不好有关。该团队基于此进行了实验,如 TSD [7]、CLS [8]、double head [9],并最终选择了效果好且性价比高的 double head 结构(如下图所示):
Double Heads 结构
通过对比实验可以发现:使用 FC-head 做分类、Conv-head 做回归,可以得到最好的效果。
分类更多地需要语义信息,而坐标框回归则更多地需要空间信息,double head 方法采用分而治之的思想,针对不同的需求设计 head 结构,因此更加有效。当然这种方法也会导致计算量的增加。在平衡速度和准确率的情况下,该团队最终选择了 3 个残差 2 个 Non-local 共 5 个模块。
2. CBNet [10]
合并功能更强大的 backbone 可提高目标检测器的性能。CBNet 作者提出了一种新颖的策略,通过相邻 backbone 之间的复合连接 (Composite Connection) 来组合多个相同的 backbone。用这种方式他们构建出了一个更强大的 backbone,称为「复合骨干网络」(Composite Backbone Network)。
当然这也带来了模型参数大小和训练时间的增加,属于 speed–accuracy trade-off。该团队也尝试过其他的改进方式,但最终还是选择了实用性更强的 CBNet,该方法不用再额外担心预训练权重的问题。
该团队选择了性价比较高的双 backbone 模型结构。
3. 数据增强
该团队发现 Pixel-level 的增强方式导致了性能结果大幅下降,因此没有在这个方向继续尝试。
而图像增强方式 Retinex,从视觉上看带来了图像增强,但是该方法可能破坏了原有图片的结构信息,导致最终结果没有提升。
于是,该团队最终选择了 Spatial-level 的增强方式,使得结果有一定的提升。
实验细节
1. 将 Cascade rcnn + DCN + FPN 作为 baseline;
2. 将原有 head 改为 Double head;
3. 将 CBNet 作为 backbone;
4. 使用 cascade rcnn COCO-Pretrained weight;
5. 数据增强;
6. 多尺度训练 + Testing tricks。
实验结果
下图展示了该团队使用的方法在本地验证集上的结果:
该团队将今年的成绩与去年 ICCV 2019 同赛道冠军算法进行对比,发现在不使用额外数据集的情况下,去年单模型在 9 个尺度的融合下达到 11.06,而该团队的算法在只用 2 个尺度的情况下就可以达到 10.49。
未来工作
该团队虽然获得了不错的成绩,但也基于已有的经验提出了一些未来工作方向:
1. 由于数据的特殊性,该团队尝试使用一些增强方式来提高图片质量、亮度等属性,使图片中的行人更易于检测。但结果证明这些增强方式可能破坏原有图片结构,效果反而降低。该团队相信会有更好的夜间图像处理办法,只是还需要更多研究和探索。
2. 在允许使用之前帧信息的赛道二中,该团队仅使用了一些简单的 IoU 信息。由于收集这个数据集的摄像头一直在移动,该团队之前在类似的数据集上使用过一些 SOTA 的方法,却没有取得好的效果。他们认为之后可以在如何利用时序帧信息方面进行深入的探索。
3. 该领域存在大量白天行人检测的数据集,因此该团队认为之后可以尝试 Domain Adaption 方向的方法,以充分利用行人数据集。
欢迎添加群助手微信,邀请您加入大佬云集-计算机视觉交流群!
???? 长按识别添加,邀请您进群!
CVPR 2020夜间行人检测挑战赛两冠一亚:DeepBlueAI团队获胜方案解读相关推荐
- CVPR2020夜间行人检测挑战赛两冠一亚:DeepBlueAI获胜方案解读
2020-06-22 11:24:27 机器之心专栏 作者:罗志鹏(深兰北京AI研发中心) 来自深兰科技北京 AI 研发中心的 DeepBlueAI 团队在 CVPR 2020 夜间行人检测挑战赛中斩 ...
- CVPR 2020 夜间目标检测挑战赛冠军方案解读
↑ 点击蓝字 关注视学算法 来源丨DeepBlue深兰科技 编辑丨极市平台 在 CVPR 2020 Workshop 举办的 NightOwls Detection Challenge 中,来自国内团 ...
- CVPR2020 夜间目标检测挑战赛冠军方案解读
本文转载自DeepBlue深兰科技. 在 CVPR 2020 Workshop 举办的 NightOwls Detection Challenge 中,来自国内团队深兰科技的 DeepBlueAI 团 ...
- 技压群雄!2021 NTIRE @CVPR 2021的三冠一亚视频超分方案:BasicVSR++
论文链接:https://arxiv.org/pdf/2104.13371.pdf 代码链接:https://github.com/open-mmlab/mmediting 注:该文作者Kelvin ...
- ACM MM 2020视频目标检测挑战赛冠军DeepBlueAI团队技术分享
©PaperWeekly 原创 · 作者|罗志鹏 单位|深兰北京AI研发中心 研究方向|物体检测 ACM MM(ACM International Conference on Multimedia, ...
- 计算机视觉未来的挑战,搜狗斩获ICPR 2020人脸关键点检测挑战赛冠军 计算机视觉技术持续领先...
作为3D 人脸重建.人脸识别.表情迁移及美化等应用的核心基础技术,人脸关键点检测算法一直是工业界和学术界的研究热点. 近日,在第25届国际模式识别大会(ICPR 2020)举办的人脸106关键点检测挑 ...
- 【论文解读】CVPR 2020:物体检测论文精选
作者:Derrick Mwiti 编译:ronghuaiyang 导读 最近的CVPR 2020在推动物体检测前进方面有相当多的贡献.在这篇文章中,我们将看到几篇特别令人印象深刻的论文. A ...
- CVPR 2020 Oral |目标检测+分割均实现SOTA!厦大提出协同学习网络
点上方蓝字计算机视觉联盟获取更多干货 在右上方 ··· 设为星标 ★,与你不见不散 编辑:Sophia 计算机视觉联盟 报道 | 公众号 CVLianMeng 转载于 :机器之心 论文链接:htt ...
- CVPR 2020文本图像检测与识别论文/代码
向AI转型的程序员都关注了这个号???????????? 机器学习AI算法工程 公众号:datayx CVPR 2020 共收录 1470篇文章,算法主要领域:图像与视频处理,图像分类&检 ...
最新文章
- 六轴机器人 宝元系统_庆云大国重器上线六轴智能焊接机器人,锻造高质量发展硬核...
- Python学习:集合
- Flink的重启策略
- 网站建设——从无到有
- Ubuntu kylin 14.04 LTS上安装opencv
- SQL Server 批量更新字段值为ROW_NUMBER()+列名称
- sap模块有哪些_SAP那些事-实战篇-21-关于COPA模块的总结
- 用php解二元一次方程程序,编写一个程序,求二元一次方程组,编写一个程序,求二元一次方程组的解...
- 华为荣耀手机 (HUAWEI Honor V9) USB 调试 - ADB 调试
- discuz_result
- WIN10电脑升级显卡驱动后变慢不少
- Detection with Enriched Semantics(DES)算法笔记
- java大数据开发做什么你知道吗?大数据的职业发展规划
- 使用函数创建多个备选BOM
- 远程计算机网络会议有哪些优缺点,远程会议
- 没用户、没技术,炒了这么久的区块链游戏似乎找到了一条新思路
- laradock 安装使用 kafka
- 让Firefox像vim一样操作
- 前端开发_HTML5_CSS部分-过渡特效(transition)
- 教育APP开发的特点体现
热门文章
- javaweb学习总结(三十二)——JDBC学习入门
- 用C语言解“求特殊方程得正整数解”题
- 将线程pid转成16进制_如何使用jstack分析线程状态
- python中idx是什么意思_在python中滚动idxmax()?
- 假设训练数据集中有10万个词,四元语法需要存储多少词频和多词相邻频率?《动手学深度学习 李沐》 转
- 什么是RSS订阅 Really Simple Syndication(聚合)
- tensorflow2.0降级及如何从别的版本升到2.0
- CV边缘检测索贝尔算子
- java swing图形界面开发与案例详解source code
- 转载 jsonrpc环境搭建和简单实例