2019 ICCV之多光谱行人检测：Weakly Aligned Cross-Modal Learning for Multispectral Pedestrian Detection

Weakly Aligned Cross-Modal Learning for Multispectral Pedestrian Detection
当前的问题及概述：
真实的多光谱数据存在位置偏移问题，即彩色热像对没有严格对齐，使得一个物体在不同的模式中有不同的位置。
在本文中，提出了一种新的对齐区域CNN (AR-CNN)来处理端到端的弱对齐数据。

a是目前数据集弱对齐图示，b为本文的框架思路，c为本文的实验结果。
模型及loss：
2.1.KAIST-Paired Annotation
为了解决位置偏移问题，首先手动标注每种模态上的color-hot pairs bounding box，通过配对标注，可以得到原始KAIST数据集的移位距离统计信息。如下图a中，超过一半的边界框存在位置移动问题，移动距离大多在0到10像素之间。同理，图b为CVC-14数据集。

2.2 Aligned Region CNN (AR-CNN)网络框架

输入一组彩色地形图和热地形图的pair图像，sense意为被感知的RGB图像，reference意为被参考的IR图像，经过特征提取后，通过numerous proposals和RoI Jitter后输入给区域特征对齐(RFA)模块，对齐后，分别对彩色地形图和热地形图的区域特征进行合并，然后进行置信感知融合（confidence-aware fusion method）。
2.3 Region Feature Alignment
本文提出区域特征对齐(RFA)模块来预测两个模态之间的位移。如下图：

RFA模块的连接方案。RF表示区域特征，而⊕表示通道级联。将交叉模态区域的特征输入到两个全连通的层中，以预测该区域在两种模态之间的移动变化，可以看到，两个模态的bounding boxes pairs 在与ground-truth的计算出的移动距离如下：

X,y为bounding box的中心坐标，w，h为bounding box的宽度和高度，s，r分别代表sense和reference，实际与ground truth作差，得到的结果是x和y坐标的shift target。再通过smooth L1 loss计算预测的shift target ti和ground-truth ti*的欧氏距离进行辅助学习：

RFA模块的总object function：

2.4RoI Jitter Strategy
为了改善频移模式的鲁棒性，我们提出了一种新的RoI抖动策略来增强频移模式。

红色方框表示ground-truth，GTR和GTS分别代表参考模态和感知模态。蓝方框代表roi，即对两种模态的共享建议框。RoIj1、RoIj2和RoIj3是jitter之后的三个可行的建议实例。因此，将随机扰动引入到感知RoI中，并对RFA的目标进行相应的移位，丰富了训练过程中位置移位的规律。抖动的目标是由正态分布产生的：

2.5Confidence-Aware Fusion
框架最后加入了Confidence-Aware Fusion 模块，由于光照、遮挡等原因，对不同模态的特征进行固定赋值的方法是不合适的，因为我们希望检测器更多地关注可信赖模态。所以加入的该模块，该部分通过two-stream网络，将两个模态的特征分别提取并计算了两个置信权值:Wr = |p1 r−p0 r|， Ws = |p1 s−p0 s|，其中p1和p0分别表示行人和背景的概率，r和f分别表示参考和感知模态。然后，我们使用乘法在输入特征映射上执行特征重新加权。

演示了Confidence-Aware Fusion方法。有三种典型的情况:(a)在白天，颜色和热特征是一致和互补的。(b)在光照不足的情况下，行人的色彩形态难以分辨，因此我们更重视热形态。©由于位置偏移，行人只存在于热模态中，所以我们抑制了颜色特征。
实验：

数据集：KAIST and CVC-14

KAIST：95,328张彩色和热成像对，103,128个dense 注释和1182个person ID
CVC-14：训练和测试集分别包含7,085和1,433帧，CVC-14数据集有更严重的位置偏移问题。

KAIST数据集测试结果（miss rate）：

消融实验：

2019 ICCV之多光谱行人检测：Weakly Aligned Cross-Modal Learning for Multispectral Pedestrian Detection相关推荐

多光谱行人检测（一）Multispectral Pedestrian Detection：Benchmark Dataset and Baseline
这篇文章最主要的是制作了KIAST数据集,直到现在仍有许多人使用这个数据集进行多光谱行人检测.虽然提出ACF方法在后续文章作为对比算法,但是因为深度学习的快速发展,后续工作很少基于ACF进行改进. 这 ...
CVPR 2020 论文大盘点-行人检测与重识别篇
本文盘点CVPR 2020 所有行人检测(Pedestrian Detection)与人员重识别(Person Re-Identification,ReID)相关论文,在视频监控领域该方向技术应用广泛 ...
转：行人检测(Pedestrian Detection)资源
.论文 CVPR 2012 与行人检测相关的论文 [1] Contextual Boost for Pedestrian Detection YuanyuanDing, Jing Xiao [2] ...
深度学习阅读导航 | 05 基于光照感知深度神经网络的多光谱数据融合行人检测
文章目录摘要一.引言二.相关研究 2.1 可见光和热感行人检测 2.2 多光谱行人检测三.我们的方法 3.1 建议模型概述 3.2 光照全连接神经网络(IFCNN) 3.3 光照感知双流深度卷 ...
利用合成图像对热图像进行鲁棒行人检测
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达小黑导读论文是学术研究的精华和未来发展的明灯.小黑决心每天为大家带来经典或者最新论文的解读和分享,旨 ...
RGB-T行人检测汇总
RGB-T行人检测汇总 1.介绍 2015年,第一个RGB-T行人检测数据集KAIST被提出,多光谱行人检测任务逐渐成为计算机视觉领域的研究热点之一.可见光相机可以在光照条件良好的条件下清晰地捕捉到 ...
基于红外热成像的行人检测方法
本文主要讲解在热红外成像下的行人检测方法,方法来自于<Thermal-Infrared Pedestrian ROI Extraction through Thermal andMotion I ...
行人检测-ccv计算机视觉库应用
目标从静态图片中检测行人,对所有存在的行人进行定位. 数据测试数据INRIA Person Dataset. 算法 ccv是一个开源的计算机视觉库,基于C语言开发,是一种以应用驱动的算法库.此处使 ...
【计算机视觉40例】案例19：行人检测
[导读]本文是专栏<计算机视觉40例简介>的第19个案例<行人检测>.该专栏简要介绍李立宗主编<计算机视觉40例--从入门到深度学习(OpenCV-Python)> ...

2019 ICCV之多光谱行人检测：Weakly Aligned Cross-Modal Learning for Multispectral Pedestrian Detection

2019 ICCV之多光谱行人检测：Weakly Aligned Cross-Modal Learning for Multispectral Pedestrian Detection相关推荐

最新文章

热门文章