KAIST : Multispectral Pedestrian Detection: Benchmark Dataset and Baseline

Multispectral Pedestrian Detection: Benchmark Dataset and Baseline

引用量：367 CVPR2015 单位：In So KweonKorea Advanced Institute of Science and Technology (KAIST), Republic of Korea

Views：该数据集是color-thermal对齐性最好的，提供了丰富的图像对，有着重大意义。

Ideas：结合之前看的数篇文章，目前跨膜态学习的方式大概为三种，分别是thermal辅助color，color辅助thermal，color-thermal融合。2020年提出两篇，ECCV2020第一篇：借助可见光发展推动红外，简单分类day/night，生成条件参数，注入网络，仅使用红外达到sota性能，ECCV2020第二篇：通过解决模态不平衡问题改善多光谱行人检测。CVPR2017提出通过thermal辅助RGB进行学习，最后测试仅使用RGB。问题的难点：1>不平衡问题 2>color-thermal不对齐问题 3>通过day/night区分实现自适应检测。结合传感器失灵进行考虑，可以设计一种多模态网络，并且该网络具备多个特点，color-thermal可用，融合模型；color不可用，转为color辅助thermal；thermal不可用，转为thermal辅助color。

Abstract：

现有的行人数据集仅含color channel，但是thermal channel对黑暗环境下的检测大有帮助。考虑到这一点，提出了一个Multispectral pedestrian dataset，它提供了良好对齐的color-thermal image pairs，被beam splitter-based special hardware捕获。Color-thermal dataset与以前color-based datsets一样大，并提供dense annotation 包括temporal correspondences。介绍了multispectral ACF，以同时处理color-thermal image。多光谱ACF将ACF得average miss rate降低了15%，实现了新突破。

1.Introduction

行人检测的重要性+行人检测的挑战

为解决automobile application，通常使用两种类型的红外传感：near in frared（0.75~1.3um）摄像机或long-wavelength infrared（7.5~13um）。

贡献：（1）介绍了multispectral pedestrian dataset，它提供了对齐的热图像对。（2）分析了color和thermal channel之间的互补关系，并暗示了独立地使用color或thermal channel的strong point。（3）我们提出了几种与thermal channel的组合，提出的方法在multispectral pedestrian dataset上降低15%的average miss rate。

2.Multispectral Pedestrian Dataset

介绍了imaging hardware 和捕获多光谱行人的calibration procedure。下一节中分析dataset。

2.1 Imaging Hardware

Hardware specification：相关的相机配置。

Camera calibration（相机校准）：

Color correction：通过捕获图像的强度水平来缓解color distortion（颜色失真）

2.2 Data Collection and Ground Truth

Data capture：设备挂载在车顶进行采集，并考虑光照条件，采集夜晚和白天的图像。Fig4是例子。

Ground truth annotation：95,328 color-thermal pairs中，手动注释103,128个密集的注释和1,182个行人。只有独立的人标注为person，不能区分的标注为people，骑两轮车的人被标注为cyclist。在高度凌乱场景中，甚至不能区分是不是行人。数据集中，一个人平均出现74.80 frame（对应3.74s）。

Train and Test sets：将annotated color-thermal image pairs划分为train/test datasets，我们使用了后续标准。1>行人出现数量相同，2>day/night的帧数相同，3>两个集合不重叠。该方案有助于避免特定场景的data bias and over-fitting

2.3 Properties of Dataset

图5显示行人在像素单元中的高度与其相应的距离（米）之间的关系

Scale：行人检测的重要应用是accident avoidance，根据车辆的制动距离分类了annotated bounding boxes的大小。在城市地区（行人经常出没），30~55Km/h速度下，制动距离为11~28m。行人高度为1.7m，则相应的图像高度为45~115像素。划分size为3类，near，medium，far。

Occlusion：关于行人的遮挡问题，标注为3类，没遮挡的标注为 no occlusion，遮挡到遮挡一半的标注为 partial occlusion，大部分被遮挡的标注为heavy occlusion。所有的标注中，75%的行人被标注为no occluded，12.6% 标注为 partial occlusion，8.8% 标注为 heavy occlusion。（超过20%为困难场景，后续方法，理应考虑hard example处理）

Position：图6（a）显示了高斯分布的注释中心。由于right-handed condition，行人主要出现在右侧，图b显示每帧中行人数量。

Appearance change：图7显示了白天和夜晚的几个例子，由于强烈的灯光，color image显示出清晰的人形。另一方面，由于黑暗环境，color image在夜间的形状不可分辨。但是，thermal image在夜间显示出不同的形状，当空气温度较冷，温度差异大，能在夜间清晰地捕获固定温度的行人。白天强烈的太阳辐射造成back-ground clutter。

2.4 Comparison to Existing Datasets

表1总结了现有的数据集，可划分为color，thermal，and color-thermal

3.Baseline Approaches

介绍ACF和扩展ACF以编码thermal channel（传统方法组合，可读性不高）。

4.Experiment

5.Conlcusion

介绍了真实交通场景的 multispectral pedestrian dataset，数据集有丰富的信息，thermal images，various real traffic scenes，lots of annotations with occlusion tags，and temporal correlations of the annotations（注释的时间相关性）。

KAIST : Multispectral Pedestrian Detection: Benchmark Dataset and Baseline相关推荐

2019 ICCV之多光谱行人检测：Weakly Aligned Cross-Modal Learning for Multispectral Pedestrian Detection
Weakly Aligned Cross-Modal Learning for Multispectral Pedestrian Detection 当前的问题及概述: 真实的多光谱数据存在位置偏移问 ...
Improving Multispectral Pedestrian Detection by Addressing Modality Imbalanece Problems（解决模态不平衡问）
Improving Multispectral Pedestrian Detection by Addressing Modality Imbalanece Problems ECCV2020 ...
多光谱行人检测（一）Multispectral Pedestrian Detection：Benchmark Dataset and Baseline
这篇文章最主要的是制作了KIAST数据集,直到现在仍有许多人使用这个数据集进行多光谱行人检测.虽然提出ACF方法在后续文章作为对比算法,但是因为深度学习的快速发展,后续工作很少基于ACF进行改进. 这 ...
Improving Multispectral Pedestrian Detection by Addressing Modality Imbalance Problems(2020)文献解读
ECCV2020的一篇文章. 摘要:模态不平衡不利于双模态多光谱行人检测训练过程.为此提出了MBNet(Modality Balance Network)来解决模态不平衡导致的不利于优化的问题.MBN ...
行人检测(Pedestrian Detection)资源
行人检测(Pedestrian Detection)资源原文链接 http://hi.baidu.com/susongzhi/item/085983081b006311eafe38e7 一.论文 C ...
行人检测(Pedestrian Detection)资源与更新
行人检测相关的网站链接: [1].Caltech Pedestrian Detection Benchmark: http://www.vision.caltech.edu/Image_Da ...
论文研读 “Liar, Liar Pants on Fire”：A New Benchmark Dataset for Fake News Detection
给十月画个句号最近上的很喜欢的一门课中,老师要求我们研读一篇顶会论文并进行分享,好久没能静静地坐下来写一篇博客了,接下来希望自己能够多读论文的同时把论文的思路以博客的形式输出~ 论文来源 " ...
车牌识别--Towards End-to-End License Plate Detection and Recognition: A Large Dataset and Baseline
Towards End-to-End License Plate Detection and Recognition: A Large Dataset and Baseline ECCV2018 ht ...
详解道路标记数据集 CeyMo: See More on Roads -- A Novel Benchmark Dataset for Road Marking Detection
本文介绍一个新的道路标记检测数据集,论文收录于 WACV2022.Ceymo数据集总共包含2887张图片,标注了11类共4706个道路标记实例,图片分辨率为 1920×10801920\times10 ...

KAIST : Multispectral Pedestrian Detection: Benchmark Dataset and Baseline

KAIST : Multispectral Pedestrian Detection: Benchmark Dataset and Baseline相关推荐

最新文章

热门文章