2021CVPR Cross-Modal Collaborative Representation Learning and a Large-Scale RGBT Benchmark crowd

2024-04-24 03:42:45

Cross-Modal Collaborative Representation Learning and a Large-Scale RGBT Benchmark for Crowd Counting

一、动机：大多数以前的方法仅利用RGB图像的有限信息，并且可能无法在不受限制的环境中发现潜在的行人。在这项工作中，我们发现合并光学和热学信息可以极大地帮助识别行人。

二、解决方法：合并图像光学信息(RGB)和热力学信息(T)帮助识别行人。

贡献：

1、提出一个大规模RGBT人群数据集，包含2030对RGB-Thermal图像，共138389个人头注释；

2、一个跨模式的协作表示学习框架，该框架能够使用所设计的信息聚合分发模块来全面学习不同模态之间的互补性；

3、在RGBT-CC和ShanghaiTechRGBD上进行的大量实验表明，该方法对于多模态人群计数是有效且通用的。

常规的多模态学习方法大多是单向信息传递，通常将多模态数据的组合嵌入深度神经网络或者直接融合其特征，无法很好地利用补充信息；

为了促进多模态人群计数，提出了一种跨模态的协作表示学习框架，采用动态增强机制充分利用模态互补性；

该框架包含三部分：多个特定于模态的分支，一个模态共享的分支，一个信息聚合-分布模块（IADM）组成，以完全捕获不同模态的互补信息；

IADM包括（1）信息聚合转移，它动态地聚合所有特定于模态的特征的上下文信息，以增强模态共享的特征；以及（2）信息分发转移，其传播模态共享的信息，以对称地细化每个特定于模态的特征，以供进一步的表示学习。

三、具体方法

3.1 RGBT数据集

RGBT-CC数据集包括2,030对具有代表性的RGBT图像，分辨率640x480；

其中1013对处于明亮环境，1017对处于黑暗环境；

共有138389个人头注释，平均每场图片包含68个人头；

训练集1030对，验证集200对，测试集800对。

3.2 跨模态协同表征学习框架

顶部和底部主干是特定模态分支（即RGB图像和热图像）；

中间主干是为模态共享分支；

IADM动态传输特定共享的信息，以协作增强特定模态分支和共享模态分支的表达；

最终的模态共享分支特征包含全面的信息，并有助于生成高质量的人群密度图。

具体实现：

1、输入RGB图像和热图像至各自的特定模态分支；

2、0张量作为模态共享分支的输入，并逐层聚合两个特定模态分支的特征信息；

3、所有分支基于CSRNet实现，其中，两个特定模态分支(Top和bottom)由CSR前端组成(即VGG16前10层)，一个模态共享分支(Middle)由CSR最后14层组成(即VGG16前2-10层+后端6个空洞卷积)

3.3 信息聚合-分发模块(IADM)

图中聚合-分发机制中传播的是上下文信息而不是原始特征，因为后面的方式会导致特定共享特征的过度混合。

IADM包括三部分：

1、Contextual Information Extraction；

2、Information Aggregation Transfer (IAT)；

3、Information Distribution Transfer (IDT)；

四、实验结果

4.1 评价指标

4.2 消融实验

4.2.1 1.多模态数据的有效性/2.多模态数据融合方式的有效性

6中多模态数据学习方式：

（1）Early Fushion：将RGB和热图像Concat作为输入；

（2）Late Fushion：分别提取RGB和热力图特征，Concat特征以生成密度图；

（3）W/O Gating Mechanism：

（4）W/O Modality-Shared Feature：

（5）W/OModality-Shared Feature

（6）W/O Information Distribution

实验得出，热力图信息极大地有助于将潜在的行人与混乱的背景区分开，而光学信息则有助于消除热图像中的负热物体。

4.2.2 3.L级金字塔池化的有效性

4.2.4 4.与早期方法相比

1、对于MCNN/SANet/BL 采用concat RGB图像和热力图方式作为输入；

2、对于多模态模型DetNet/CL/RDNet, RGB图和热力图分别作为输入；

3、将MCNN/SANet/BL作为IADM的Backbone；

4.2.5 5.在ShanghaiTechRGBD数据集上有效性

2021CVPR Cross-Modal Collaborative Representation Learning and a Large-Scale RGBT Benchmark crowd相关推荐

Cross-Modal Collaborative Representation Learning and a Large-Scale RGBT Benchmark for Crowd Countin
Accepted by CVPR2021 Lingbo Liu1, Jiaqi Chen1, Hefeng Wu1, Guanbin Li1,2, Chenglong Li3, Liang Lin1, ...
文献记录(part19)--Cross modal similarity learning with active queries
学习笔记,仅供参考,有错必纠关键词:主动学习;跨模态相似学习;度量学习文章目录 Cross modal similarity learning with active queries 摘要简介 ...
[2021-CVPR] Jigsaw Clustering for Unsupervised Visual Representation Learning 论文简析及关键代码简析
[2021-CVPR] Jigsaw Clustering for Unsupervised Visual Representation Learning 论文简析及关键代码简析论文:https:/ ...
【PR 2021】Progressive sample mining and representation learning for one-shot person re-identification
下方↓公众号后台回复"PSMA",即可获得论文电子资源. 文章目录内容概要工作概述成果概述方法详解方法特点方法框架算法描述具体实现实验结果总体评价引用格式参 ...
Re3：读论文 PGE A Representation Learning Framework for Property Graphs
诸神缄默不语-个人CSDN博文目录论文下载地址:A Representation Learning Framework for Property Graphs 代码:yaobaiwei/PGE: A ...
对比学习系列论文CPC（二）—Representation Learning with Contrastive Predictive Coding
0.Abstract 0.1逐句翻译 While supervised learning has enabled great progress in many applications, unsupe ...
对比学习系列论文MoCo v1（二）：Momentum Contrast for Unsupervised Visual Representation Learning
0.Abstract 0.1逐句翻译 We present Momentum Contrast (MoCo) for unsupervised visual representation learni ...
CFNet：End-to-end representation learning for Correlation Filter based tracking
论文题目:End-to-end representation learning for Correlation Filter based tracking, CVPR2017 论文主页:http:// ...
Rule-Guided Compositional Representation Learning on Knowledge Graphs-学习笔记
Rule-Guided Compositional Representation Learning on Knowledge Graphs 1.表示学习知识图谱(KG)是将KG的实体和关系嵌入到低维连 ...

最新文章

热门文章