2019 CVPR之ReID:Hi-CMD: Hierarchical Cross-Modality Disentanglement for Visible-Infrared Person Re-Id
Hi-CMD: Hierarchical Cross-Modality Disentanglement for Visible-Infrared Person Re-Identification
当前的问题及概述：
为了减少模内和模间的差异，我们提出了一种分层模间解调(Hi-CMD)方法，本文提出的方法有效的将ID-discriminative特征和ID- excluded特征分离出来，进而进行分别学习。
ID-discriminative（包含ID特征）：性别、穿着（编码器EP），浅层信息，输出张量
ID- excluded（不含ID特征）:姿态、光照（编码器Ea），深层信息，输出向量
模型及loss：
本文提出的Hi-CMD框架由两部分组成：身份保持人物图像生成(ID-PIG)网络和层次特征学习(HFL)模块，我们的目标是从交叉模态图像中分离出ID-discriminative和ID- excluded。
2.1Identity Preserving Person Image Generation
2.1.1Hierarchical representation（层级表示）
首先将RGB和红外图像分别输入，EP1和EP2分别提取RGB和红外图像的ID-discriminative信息P1、P2，Ea1和Ea2分别提取RGB和红外图像的ID-discriminative和ID- excluded信息，其中as1表示包含ID-discriminative的全局信息，ac1表示光照信息，ac2表示姿态信息，其中ac和ap统称为ID- excluded信息，即aex。
2.1.2Disentangling ID-excluded factors
以RGB输入图为例，首先通过same-reconstruction loss将rgb图通过前面提取好的p1、as1、aex1信息生成原图，该部分是对生成器G的一种训练，然后通过cross-reconstruction loss，将rgb图通过自身的姿态和光照信息aex1及红外图像的性别、穿着信息p2及as2生成转换姿态性别的rgb图像，同时通过code reconstruction loss，讲逆生成器中学习的aex1^信息尽可能和aex1距离越短越好，最后通过cycle loss将生成的图片经过一个逆生成器可以生成原输入图，具体loss如下：
同时将RGB和红外图像的ID- excluded经过一个KL散度，使两个信息其更接近高斯分布：
之后，对生成的图像及原图，输入到判别器D，D中loss为GAN loss:
2.2Hierarchical Feature Learning
这一模块是将asi和pdi级联后进行相似学习和分类任务，其中loss选用triplet loss和CE loss：
2.3overall：
端对端学习总loss：
实验：
数据集：SYSU-MM01和RegDB
消融实验：
与其他方法比较:
2019 CVPR之ReID:Hi-CMD: Hierarchical Cross-Modality Disentanglement for Visible-Infrared Person Re-Id相关推荐
- Distilling Object Detectors with Fine-grained Feature Imitation(2019 CVPR KD)
@[TOC](Distilling Object Detectors with Fine-grained Feature Imitation(2019 CVPR KD)) Abstract 我们表明, ...
- 2019 IET之ReID：HPILN: a feature learning framework for cross-modality person re-identification
HPILN: a feature learning framework for cross-modality person re-identification 当前的问题及概述: 提出了一种新的特征学 ...
- MVTec AD—A Comprehensive Real-World Dataset for Unsupervised Anomaly Detection 2019 CVPR
MVTec AD-A Comprehensive Real-World Dataset for Unsupervised Anomaly Detection 2019 CVPR 作者:Paul Ber ...
- 【ICCV 2019】Self-similarity Grouping: A Simple Unsupervised Cross DA Approach for Person Re-id（SSG）
下方↓公众号后台回复"SSG",即可获得论文电子资源. SSG 背景知识 Person re-identification (re-ID) unsupervised domain ...
- cvpr 2017 re-id papers
https://zhuanlan.zhihu.com/p/28749411 https://zhuanlan.zhihu.com/p/29053615 Learning Deep Context-Aw ...
- 2019 CVPR 刘泓 Transferable Adversarial Training: A General Approach to Adapting Deep Classifiers
20年清华特奖得主刘泓的一篇cvpr,人家20岁就发CCF A了 原来的对抗学习方法通过"拉近"S.T 之间的距离来实现DA,但是作者指出这种做法会distort 原始的repre ...
- [MICCAI 2019 | CVPR 2020] 图数据，点云相关文章总结综述，一篇即可看完文章模型结构和创新
[1] Integrating 3D Geometry of Organ for Improving Medical Image Segmentation,MICCAI2019,Part5 器官形状和 ...
- 2019 TIP之ReID：Learning Modality-Specific Representations for Visible-Infrared Person Re-Identificati
Learning Modality-Specific Representations for Visible-Infrared Person Re-Identification 当前的问题及概述: 由 ...
- 2019 ArXiv之ReID：Hetero-Center Loss for Cross-Modality Person Re-Identification
Hetero-Center Loss for Cross-Modality Person Re-Identification 当前的问题及概述: 目前所有的框架都在解决跨模态差异问题,很少有研究探讨改 ...
最新文章
- iPhone 13注定便宜不了，台积电已提前背锅
- centos7源码安装mysql报错_centos7.3源码安装mysql
- 英国政府发布5G政策文件
- What are training set, validation set and test set?
- 前标识(NT AUTHORITY\NETWORK SERVICE)没有对 (转)
- 了解自定义De / Serializer：JSON绑定概述系列
- jstl fmt:formatNumber 数字货币格式化
- rust种的南瓜为什么老是消失_科技的力量！3种“奇葩”的发明，你都见过吗？...
- 使用 Apache Pig 处理数据7
- Nginx笔记总结十一:Nginx重写规则指南
- Linux学习之安装jdk
- jquery.nicescroll.min.js滚动条插件的用法
- Swift：分别使用SwiftyJSON、ObjectMapper、HandyJSON处理JSON
- 等保三级核心-网络安全
- 移动硬盘只显示盘符，不显示容量，也不能打开
- easyui的filebox过滤文件
- 乱谈计算机、转专业、考研
- mysql导数据出现Incorrect string value: '\xF0\x9F\x90\x82'报错
- 68 ping: Lacking privilege for raw socket.
- 以吃货的角度去理解云计算中On-Premise、IaaS、PaaS和SaaS