Improving Multispectral Pedestrian Detection by Addressing Modality Imbalance Problems(2020)文献解读

ECCV2020的一篇文章。
摘要：模态不平衡不利于双模态多光谱行人检测训练过程。为此提出了MBNet(Modality Balance Network)来解决模态不平衡导致的不利于优化的问题。MBNet包含一个DMAF(differential modality aware fusion，差异模态感知融合)模块用来融合两个模态信息。还包含一个光照感知特征对齐模块来根据光照条件来挑选互补特征，并自适应地对齐两种模态的特征。

1、引言
多光谱行人检测数据集中的模态不平衡问题可分为两类：1）光照模态不平衡。即白天和夜晚拍摄的红外和可见光图片各自对行人感知结果的差异，如可见光图片往往包含行人头发、肤色等细节特征，对识别行人很重要，而红外图片缺少这些细节特征。2）特征模态不平衡。即弱对齐问题（对应着特征对齐模块）以及不能充分的融合问题（对应着多层融合问题）。

MBNet是基于SSD网络分别提取两个模态特征，然后DMAF实现在不同的特征层、不同的尺度实现特征融合。最后是光照感知特征对齐模块来对齐特征并根据光照条件对网络进行自适应的优化。
MBNet是个单阶段的网络，在KAIST和CVC-14数据集上效果都非常好且速度很快。

2. 相关研究
2.1 多光谱行人检测：略
2.2 目标检测中的不平衡问题
一般包含四类不平衡问题：空间不平衡（边界框的位置分布不均匀）、目标不平衡（分类回归等各种损失函数之间不平衡，通过设置权重解决）、类别不平衡（不同类别目标的数目不同，用focal loss解决）以及尺度不平衡（极大目标和极小目标的扰乱，用类似SSD，FPN的方法做多尺度预测）。
除了多层次特征融合外，不同模态的特征还应充分整合（用光照预测模块来设置权值）。

3. 方案
模型总图如上图，MBNet以SSD网络为基础，包含3个部分：特征全图模块，光照感知特征对齐模块，以及光照机制。

3.1 DMAF（Differential Modality Aware Fusion Module,差分模态感知融合模块）
灵感来源于差分放大模块，即每个模态都包含共同部分和差异部分

对每个resnet残差块都插入DMAF，其具体结构如下图所示，先对两个模态特征直接相减获取差异特征，然后对差异特征做全局平均池化->tanh激活->对原始特征进行通道级reweight->reweight后的特征加到另一模态特征上：

上述DMAF整个过程如下式表达：

3.2 光照感知特征对齐模块
用了一个小网络根据可见光输入预测光照条件，其损失定义：

由于红外和可见光相机并不都是同时拍摄的，这就会导致特征无法对齐。故提出了一个模态特征对齐模块来为每种模态的每个像素点（x, y）都预测一个特征偏移(dx, dy)，由于特征偏移浮点数，故采用了双线性插值来去邻近点的值进行拟合。

整个特征对齐过程如上图，包括Anchor Proposed（AP）阶段和光照感知特征互补(IAFC)阶段。首先重赋权的RGB和红外特征拼到一块在anchor proposed阶段产生一个大概的anchor位置。在IAFC阶段所预测的回归偏移t0用来产生可变形的anchor来作为位置预测的基本参考。然后可变形的anchors和置信度得分进一步通过IAFC阶段进行微调。RGB和红外特征图预测的置信度得分进一步通过光照值进行reweight。最终的置信度得分和回归偏移值计算如下：

分类损失函数用了focal loss。

4 实验
在KAIST和CVC-14上做了实验。
4.1 数据集
KAIST用了张露提供的更加精准的对KAIST的标注。且只取高与55个像素点的gt框参与resonable评估。
CVC-14数据集包含灰度图和红外图，训练集7085帧，测试集1433帧，不同模态的标注是独立提供的，因为相机对的不齐。

4.2 实现细节
以ResNet50作为主干网络，AP阶段的IoU阈值设置为{0.3,0.5}， IAFC阶段的IoU设置为{0.5,0.7}，用了随机裁剪，随机水平翻转等特征增强方法。

4.3 在KAIST数据集上评估
Miss rate：白天，夜晚和全天分别是8.28, 7.86, 8.13。输入大小为640X512,速度达到20fps。

4.4 消融研究

速度比较和FPPI曲线图：

5 结论略

Improving Multispectral Pedestrian Detection by Addressing Modality Imbalance Problems(2020)文献解读相关推荐

Improving Multispectral Pedestrian Detection by Addressing Modality Imbalanece Problems（解决模态不平衡问）
Improving Multispectral Pedestrian Detection by Addressing Modality Imbalanece Problems ECCV2020 ...
KAIST : Multispectral Pedestrian Detection: Benchmark Dataset and Baseline
Multispectral Pedestrian Detection: Benchmark Dataset and Baseline 引用量:367 CVPR2015 单位:In ...
2019 ICCV之多光谱行人检测：Weakly Aligned Cross-Modal Learning for Multispectral Pedestrian Detection
Weakly Aligned Cross-Modal Learning for Multispectral Pedestrian Detection 当前的问题及概述: 真实的多光谱数据存在位置偏移问 ...
多光谱行人检测（一）Multispectral Pedestrian Detection：Benchmark Dataset and Baseline
这篇文章最主要的是制作了KIAST数据集,直到现在仍有许多人使用这个数据集进行多光谱行人检测.虽然提出ACF方法在后续文章作为对比算法,但是因为深度学习的快速发展,后续工作很少基于ACF进行改进. 这 ...
目标检测：Imbalance Problems in Object Detection: A Review
文章目录 1. INTRODUCTION 1.1 Scope and Aim 1.2 Comparison with Previous Reviews 1.3 A Guide to Reading T ...
行人检测--What Can Help Pedestrian Detection?
What Can Help Pedestrian Detection? CVPR2017 本文主要分析 extra features 对于基于CNN 的行人检测有什么帮助,设计了一个行人检测网络 H ...
Best open-source pedestrian detection library for commercial use?
Best open-source pedestrian detection library for commercial use? people_detection asked Aug 19 '15 ...
行人检测(Pedestrian Detection)资源
行人检测(Pedestrian Detection)资源原文链接 http://hi.baidu.com/susongzhi/item/085983081b006311eafe38e7 一.论文 C ...
文献记录(part45)--Pedestrian detection with super-resolution reconstruction for low-quality image
学习笔记,仅供参考,有错必纠关键词:行人检测;低质量;SRGAN;Faster R-CNN Pedestrian detection with super-resolution reconstruc ...

Improving Multispectral Pedestrian Detection by Addressing Modality Imbalance Problems(2020)文献解读

Improving Multispectral Pedestrian Detection by Addressing Modality Imbalance Problems(2020)文献解读相关推荐

最新文章

热门文章