【ReID】局部特征
文章目录
- 1.概述
- 1.1 全局特征
- 1.2 局部特征
- 姿态
- Part&Attention
- 水平池化
- 网格特征
- 2. 水平切块
- 2.1 Gate Siamese
- 2.2 AlignedReID
- 2.3 PCB
- 2.4 ICNN
- 2.5 SCPNet
- 2.6 总结
- 3. 姿态信息
- 3.1 PIE
- 3.2 Spindle Net
- 3.3 PDC
- 3.4 GLAD
- 3.5 PABP
- 3.6 总结
- 4. 分割信息
- 5. 网格特征
1.概述
1.1 全局特征
全局特征是指每一张行人图片的全局信息进行一个特征抽取，这个全局特征没有任何的空间信息。
噪声区域会对全局特征造成极大的干扰；姿态的不对齐也会是的全局特征无法匹配。
1.2 局部特征
局部特征是指对图像中的某一个区域进行特征提取，最后将多个局部特征融合起来作为最终特征。
姿态
通常一个行人会定义14个姿态点（pose/keypoint）； 两个相邻的姿态点相连形成骨架（skeleton）； 常用的姿态点估计模型包括：Hourglass、OpenPose、CPM、AlphaPose
Part&Attention
Part：是指通过一定规则（例如姿态点信息）手工设置的一些矩形框区域
Attention：是指（在一定的约束条件下）网络自动学习出的比较重要的任意形状区域
水平池化
水平池化是指将feature maps进行水平等分，然后再池化得到分块的局部特征。
网格特征
网格特征是指，将H×W×C尺寸的feature map中每个像素的C维特征作为一个网格特征，最终共有H×W个网格特征向量，每个向量的维度为通道数C。
2. 水平切块
ReID领域关于水平切块的代表算法有： Gate Siamese、 AlignedReID、 PCB、 ICNN、 SCPNet。
2.1 Gate Siamese
1）每一块图像经过CNN网络得到特征，局部特征按顺序输入到LSTM网络，自动表达为图像最终的特征
2）利用对比损失训练网络
3）水平切块比较早期的工作，目前已经很少使用
Gate Siamese处理下面这种没有对齐的图像时，误差较大。
2.2 AlignedReID
为了可以让图片自动对齐，旷视科技提出了AlignedReID算法。
AlignedReID算法首次在ReID任务上“超越”了人类准确度，主要解决了姿态不对齐的问题。
动态匹配局部信息是AlignedReID算法的一大创新点。
Dynamically Matching Local Information (DMLI)
• 加入输入图像为256×128，输出的特征图尺寸为8×4×2048
• 利用水平池化得到8个局部特征，并计算得到一个8×8的距离方阵
• 对齐局部信息不能有跳连（从上到下）
• 利用shortest path 来找到最有的动态连接 (Dynamic Time Warping)
AlignedReID结果示例：
AlignedReID的具体框架：
1）联合全局分支和局部分支一起训练，全局分支是一个正常的ReID网络，局部分支引入DMLI对齐思想
2）归一化
计算局部特征两两之间的距离，并归一化
计算局部特征两两之间的距离，并归一化
x（距离）越小，梯度越大。这会使得网络更加关注相似的区域。
3）最短路径距离
4）难样本挖掘
• 全局分支计算一个表征学习损失（ID损失）和一个度量学习损失（TriHard损失）
• 局部分支计算一个度量学习损失（TriHard损失）
• 局部分支和全局分支各自得到一个N×N的距离方阵
• 利用全局分支的距离方阵进行难样本挖掘：速度快、梯度方向一致
5）测试阶段
• 联合训练使得局部分支会将一部分知识传递给全局分支
• 测试阶段丢弃局部分支，只使用全局特征，不增加额外的计算量
• 测试阶段联合局部分支还能取得进一步的性能提升（提高一个百分点左右，但会耗费大量时间）
6）原论文结果
2.3 PCB
PCB框架：
• 输入图像384×128，分成6块；
• 利用ResNet50提取特征，最后24×8的feature map
• 每一行提取一个局部特征，连接一个ReID loss
• 使用的时候把6个局部特征concatenate起来
原论文结果：
• Variant 1 平均所有局部特征，算一个ID loss
• Variant 2 共享FC层参数，算6个ID loss
2.4 ICNN
ICNN框架
ICNN ≈ PCB + global branch with triplet loss
最后融合global和local特征，最后一个stride=1
2.5 SCPNet
框架：
利用spatial part特征连监督channel group特征，将local feature传给global feature。
值得一提的是，SCPNet在全身和半身ReID数据集上的性能均取得了提高。
2.6 总结
• 将图像进行水平方向的等分，每一个水平切块通过水平池化提取一个特征
• Gate Siamese和AlignedReID通过设计规则融合所有的局部特征计算距离
• PCB、ICNN、SCPNet对每一个局部特征计算一个ReID损失，直接将局部特征拼接起来
• 联合局部特征和全局特征往往能够得到更好的结果
3. 姿态信息
针对姿态信息的ReID算法有 PIE、 Spindle Net、 PDC、 GLAD、 PABP
3.1 PIE
框架
• CPM提取姿态点
• 分成几个part，进行仿射变换对齐
• 融合原图和仿射图的特征
• 采用ID损失训练网络
3.2 Spindle Net
框架
• 利用姿态点估计模型得到14个姿态点；
• 分成七个part：头，上身，下身；左手，右手，左腿，右腿。
• FEN网络提取特征，FFN网络层次性地融合特征
3.3 PDC
3.4 GLAD
3.5 PABP
3.6 总结
• 利用一个姿态估计模型得到行人的（14个）关键姿态点
• 根据姿态点得到具有语义信息的part区域
• 对于每个part区域提取局部特征
• 联合局部特征和全局特征往往能够得到更好的结果
4. 分割信息
基于分割信息的ReID数据集有：COCO、LIP。
具有代表性的分割信息算法有：FCN、PSPNet、DeepLabV2、Mask RCNN
总结：
• 图像语义分割是一种极精细的像素级别part信息
• 图像分割分为粗粒度的行人前景分割和细粒度的肢体语义分割
• 分割结果通常作为图像预处理的Mask或者feature map中的attention相乘
• 目前基于分割的方法没有取得特别广泛的应用
5. 网格特征
网格特征的代表算法有：IDLA、PersonNet、DSR
总结：
• 网格特征是比较细粒度的物理区域特征
• 早期工作将网格特征扩展为part特征计算两幅图像的特征图差
• 近期利用网格特征解决partial ReID工作
• 总体而言网格特征并不常用
【ReID】局部特征相关推荐
- ReID中PCB模型输出维度_小白入门系列—— ReID(三)：进阶：学习分块局部特征
本次带来的是计算机视觉中比较热门的重点的一块,行人重识别(也叫Person ReID),车辆重识别和行人重识别类似,有很多的共同之处,所以以下统称该任务为ReID. CSDN: https://blo ...
- VPM 行人局部特征可见感知学习ReID
文章目录 简介 理论 实验 总结 paper: <Perceive Where to Focus: Learning Visibility-aware Part-level Features f ...
- 最新开源！TransReID：首个基于Transformer的ReID网络，各项任务全面领先！
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达 作者丨Happy 审稿丨邓富城 转载自丨极市平台 导读 Tra ...
- 面向行人重识别的局部特征研究进展、挑战与展望
来源:专知 本文附论文,建议阅读5分钟 本文对近年基于局部特征的行人重识别文献进行梳理并进行研究. 摘要: 行人重识别(Person re-identification, Re-ID)旨在跨区域.跨场 ...
- 根据id去重_Person Re-ID研究综述
今天来分享一篇写的很好的文章,对Person Re-ID感兴趣的朋友可以一起学习 原文:基于深度学习的行人重识别研究综述 作者:罗浩 前言:行人重识别(Person Re-identification ...
- 全国人工智能大赛 行人重识别(Person ReID)赛项 季军团队方案分享
全国人工智能大赛-行人重识别(Person ReID)赛项-季军团队由5名博士生组成,该次比赛初赛和复赛阶段的代码后续将整理开源,敬请期待! 团队名称:DMT 团队成员: 罗浩.何淑婷. 古有志. 王 ...
- detectandcompute 图像尺寸太大_基于深度局部特征的图像检索
1.背景 基于CNN的图像搜索的pipeline:端到端的学到输入图片的global feature,然后根据该global feature进行相似性度量.比如人脸识别,person/vehicle ...
- CV方向介绍 | 基于自然语言的跨模态行人ReID的SOTA方法简述（下）
点击我爱计算机视觉标星,更快获取CVML新技术 本文为52CV群友Jokie对ReID一个新的子方向最新总结,原载于知乎: https://zhuanlan.zhihu.com/p/89730837 ...
- 视频内容理解核心技术解密：Partial re-ID 在成片体检中的技术实践
作者 | 阿里文娱高级算法工程师 朔衣 责编 | 李雪敬 头图 | CSDN下载自视觉中国 引言 人物重拾(Person Re-identification,简称为re-ID)是一项在现实世界非常具有 ...
最新文章
- 就是一个斜杠的事情！
- html怎么做到滚动鼠标转换,横向的网页如何实现鼠标滑轮横向移动？_html/css_WEB-ITnose...
- Chrome 开发工具之Network
- JDBC连接池JDBCTemplate课堂笔记
- SQL Server2005 ROW_NUMBER() OVER 使用
- 微服务探索与实践—服务注册与发现
- css 如何让背景图片拉伸填充避免重复显示
- Onvif2.6.1命名空间前缀对照
- 软考网络工程师笔记-综合知识1
- database design three form
- 【ROS学习笔记】（三）发布者Publisher的实现
- 笔试题--Multicore简答题（上）
- 多线程三大概念：并发并行，阻塞，同异步
- 2017全国省市区县 json数据
- java 避免gc_减少JAVA GC
- Battleship
- Ubiquitous Religions
- 搭建AdGuard Home广告拦截DNS解析服务器
- 2017-2018-1 Java演绎法 小组会议及交互汇总
- python爬iptv直播源_GitHub - xkloveme/iptv-m3u: python 爬的直播源数据