最强无监督行人重识别方法 Cluster Contrast ReID,rank-1 94.6%
代码连接:
https://github.com/alibaba/cluster-contrast-reid
看了一下,主要是resnet50,resnet101训练的。
在行人重识别领域,如何获取海量标注数据,提高实际场景的重识别能力是工业界非常关注的一个问题。通常在学术界上公开数据集如Maket1501上训练出来的模型在实际场景上基本是没法用的,都需要在实际场景中采集数据并进行标注。标注需要人工成本和时间周期,在项目比较急的时候重新标注根本来不及,因此无监督的行人重识别方法成为了目前研究的一个热点。
无监督行人重识别已经有很多人在研究了,目前最好的方法是SPCL(葛艺潇:NeurIPS 2020 | 自步对比学习: 充分挖掘无监督学习样本), 在使用了Generalized Mean Pooling (GEM)之后,在Market1501数据集上达到了rank-1 89.5% 的效果,效果很好,但是和有监督的方法,如Resnet50 + Circle loss (https://github.com/layumi/Person_reID_baseline_pytorch#trained-model) rank-1 92.13% 或者 OSNet (https://kaiyangzhou.github.io/deep-person-reid/MODEL_ZOO) 94.2% rank-1相比仍然有一些差距。SPCL提供了一个很强的unsupervised reid pipeline,可以启发我们去进行更深一步的探索。基于此,我们提出了无监督Cluster Contrast ReID,在Market1501上跑到了rank-1 94.6%,已经超越了很多有监督的算法。在其他行人重识别数据集如Duke和MSMT17数据集上,也比最先进无监督re-ID方法mAP提高了7.5%,6.6%。
论文链接:
Cluster Contrast for Unsupervised Person Re-Identification
https://arxiv.org/abs/2103.11568
方法
unsupervised reid pipeline
首先来看一下整个无监督reid的pipeline, 大致可以分成三个部分。第一个部分就是特征提取,在每一个epoch开始的时候,通过网络将训练数据集中图片的特征都提取出来。第二部分是聚类,通过传统的聚类方法如DBScan, KNN通过特征把图片聚成不同的类别,每个类别给一个标签,就是用来训练的伪标签。一开始的伪标签是很不准的,在训练的过程中,随着网络的精度越来越高,伪标签也会越来越接近真实标签。第三部分就是图片特征的存储和更新,在网络训练的过程中,随着网络参数的变化,图片的特征也需要进行对应的更新。在训练的时候,我们因为有了伪标签,就能够通过类似于softmax的分类函数来对网络进行训练。因为伪标签在每次聚类的时候都会发生变化,所以无监督reid用的是non-parametric softmax loss。我们用的是moco用的里面的InfoNCE loss来进行训练。
我们发现,图片特征的存储和更新对于网络的训练影响很大。一个最简单的直觉就是,在一个行人重识别数据集中,不同的人拥有的图片数量是不一样的,如果按照训练的图片来更新feature的话,拥有大量图片的人的feature将会滞后更新,从而有害网络优化。所以ClusterContrast的核心思想就是,我们不再是从图片的层面上去更新特征和计算loss, 而是从人的维度去更新和计算loss。无论一个人有多少张图片,对于网络训练来说,他们都是一视同仁的,都是用同一个速度去更新特征。在无监督reid中,每个人都被聚类成一个cluster,所以我们的方法叫做ClusterContrast。具体可以参加下图:
Cluster Contrast
在这张图中,相同颜色的图片是属于同一个人的。对于一个人,不管他有多少张图片,我们只会从里面选一张图片的feature存起来。怎么选这一张图片也是有很大的讲究的?就像batch hard triplet loss一样,我们发现选择和之前存起来的feature最不相似的feature效果最好,这样能够让网络去挖掘一些难样本。和之前的方法的对比可以参见下图:
方法对比
我们可以看到ClusterContrast非常简洁,使用了最少的显存,取得了最好的效果。
结果
我们在各个数据集上,包括车辆重识别数据集上都大大超越了现有的无监督重识别方法。为了公平比较,我们在图表中并没有使用一些常见的提点方法如 Generalized Mean Pooling (GEM), reranking。用了GEM之后网络性能能进一步提升,能够超越很多有监督的方法:
Market1501
Method | mAP | Rank-1 | Rank-5 | Rank-10 |
---|---|---|---|---|
ClusterContrast | 84.1 | 93.2 | 97.6 | 98.1 |
ClusterContrast + GEM | 87.0 | 94.6 | 98.2 | 98.8 |
DukeMTMC
Method | mAP | Rank-1 | Rank-5 | Rank-10 |
---|---|---|---|---|
ClusterContrast | 74.2 | 85.8 | 92.1 | 94.2 |
ClusterContrast + GEM | 76.0 | 86.8 | 93.1 | 94.7 |
总结
我们提出了Cluster Contrast 方法,核心就是在人的维度上去进行特征的提取和更新,从而将特征的更新速度与图片数量进行解耦,让算法工程师能够在ID的层面对模型进行调优。Custer Contrast超越了现有的所有无监督行人重识别方法,无监督域自适应行人重识别方法和相当一部分有监督的方法。Cluster Contrast简洁且效果好,代码已经开源,希望我们的方法能够带给广大重识别研究者一些启发,让行人重识别更好的落地在实际场景中。
最强无监督行人重识别方法 Cluster Contrast ReID,rank-1 94.6%相关推荐
- 最强无监督行人重识别方法 Cluster Contrast ReID
https://github.com/xiaomingzhid/sskd GitHub - JDAI-CV/fast-reid: SOTA Re-identification Methods and ...
- 【论文阅读笔记】无监督行人重识别中的采样策略
参考论文<Rethinking Sampling Strategies for Unsupervised Person Re-identification> 一.问题背景 无监督行人重识别 ...
- 【学习笔记】无监督行人重识别
BUC <A Bottom-up Clustering Approach to Unsupervised Person Re-identification>2019 AAAI BUC是一种 ...
- CVPR2018——以属性为指导的无监督行人重识别
Transferable Joint Attribute-Identity Deep Learning for Unsupervised Person Re-Identification(CVPR20 ...
- 中山大学提出新型行人重识别方法和史上最大最新评测基准
点击上方,选择星标或置顶,不定期资源大放送! 阅读大概需要15分钟 Follow小博主,每天更新前沿干货 导读:行人重识别,是利用 CV 技术判断图像或视频序列中是否存在特定行人的技术.常规的行人重识 ...
- 中山大学提出新型行人重识别方法和史上最大评测基准
本文转载自机器之心. 导读:行人重识别,是利用 CV 技术判断图像或视频序列中是否存在特定行人的技术.常规的行人重识别方法往往需要高昂的人工标注成本,计算复杂度也很大.在本文中,中山大学研究者提出的弱 ...
- 摄像机域内监督行人重识别问题
本文是对『Intra-Camera Supervised Person Re-Identification』一文的详细解读,IJCV接收论文. 作者信息: 论文链接:https://arxiv.org ...
- 【Journal of Computer-Aided Design Computer Graphics】基于生成对抗网络的行人重识别方法研究综述
文章目录 引言 数据集介绍 基于GAN的行人重识别方法分类 2.1基于风格转换的方法 2.2基于数据增强的方法 2.3基于不变性特征学习的方法 3 基于GAN的方法性能对比分析 总结 引言 对于行人检 ...
- 基于RK3588+TensorFlow的人工智能跨模态行人重识别方法及应用
摘要: 跨模态行人重识别技术(cm-ReID)旨在可见光.红外等不同模态图像中识别出同一个人,其在人 机协同.万物互联.跨界融合.万物智能的智能系统与装备中有重要应用.提出一种数据增强的跨模态行人 重 ...
最新文章
- 求解线性最小二乘问题的奇异值分解及广义逆法的C++实现
- android studio 混淆jar,android studio如何生成混淆代码的jar
- python与excel做数据可视化-我在工作中是怎么玩数据的—数据可视化系列教程—Python篇...
- MFC新建文件夹、打开文件夹的实现方法
- 多个限制条件数学建模matlab,急急。请教一个限制条件复杂的优化问题
- table中的td表示table data(表格数据),tr表示table row(表格行),th表示table head(表格头)
- 斯坦福大学的机器学习课程,浓缩成6张速查表
- word在线预览 (含doc,docx等)
- 遗传算法(GA)求解车辆路径问题(VRP)——matlab实现
- python 图标题上移_请问如何在这个Python中将标题一起爬下来啊
- Linux回到桌面快捷键
- xp系统无打印机服务器,WinXP局域网共享及网络打印机无任何网络提供程序怎么办?...
- 管理后台项目-06-用户管理角色管理模块
- 数据中聚类个数的确定(Determining the number of clusters in a data set)
- MyEclipse2014下载地址
- 测试新手学习宝典(有思路有想法)
- 股价猛涨市值翻倍,百度熬过低谷了吗?
- sql脚本自动完成数据库创建、切换、建表、数据初始化
- 计算机毕业设计时间修改代码程序软件安装运行问题题目汇总送开题送文档先代码
- mobx 源码解读(四):讲讲 autorun 和 reaction
热门文章
- 使用Nessus漏扫
- docker部署openvas
- linux chmod和fchmod设置 文件和目录权限设置
- duilib : 模态窗口
- Linux cp 实现强行覆盖
- 复制MySQL实时_自制mysql主从复制(实时)软件——实现
- X4扭曲字体或图形 coreldraw_20种字体设计与创意方法(超全,超实用)
- 笔记本出现此windows无线服务器,笔记本win7系统提示windows无法配置此无线连接怎么办...
- linux下常用FTP命令 1 连接ftp服务器
- Design Pattern - Observer(C#)