同构和异构关系图-行人re

现有的VIRe-ID方法主要集中于提取图像中的同构结构关系，即局部特征之间的关系，而忽略了不同模态下局部特征的异构相关性。

本文利用单个模态内的特定模态图来建模同构结构关系，然后用可见光和红外模态的特定模态图来挖掘异构结构相关性。

同构结构图 (HOSG) 挖掘任意节点（局部特征）与可见或红外图像中所有其余节点之间的一对一关系，以学习有效的身份表示，其次，为了找到跨模态的身份一致对应，异构图对齐模块（HGAM）进一步通过路由搜索方式测量两种模态的局部节点特征之间的关系边缘强度，我们提出了交叉模态互相关（CMCC）损失来提取可见和红外图特征表示的模态不变性。

我们发现人物图像的人类部分在特征上具有很强的同构相关性，可以有效地表示身份。图像中人的手臂和头部对于全局表示具有非常高的同质相关性。因此，从单个模态中了解内部局部特征之间的同质结构关系以及跨模态的内部局部特征之间的异质结构关系至关重要。

图1：

（1）从可见光和红外图像中分别提取N个局部部分（节点）因此，可以在2N×2N边邻接矩阵中对同质和异质结构关系进行推理

（a）表示各个模态的局部特征之间的图形结构关系，

（b）表示由局部特征构建的可见光和红外HOSG，

（c）表示基于可见光和红外模态图构建的HGAM。HOSG挖掘节点之间的一对一关系，通过将来自其他局部特征的信息组合到每个局部特征中来探索身份表示。HGAM利用路由搜索通过构造相邻矩阵来对齐跨模态节点特征。

将输入图像包括可见光和红外图像送入由ImageNet[33]预处理ResNet50[34]组成的两流特征提取器，提取图形特征。

可见图像图和红外图像图分别有Nvisible节点和Nir节点，节点之间的边缘可以用Nvisible × Nir矩阵表示。

如图1所示，左上右下子矩阵用于研究模态内自相关，以更好地表示当前模态内的表示。剩下的两个角是研究跨模态相关，它可以有效地服务于跨模态检索。

我们构造了同构图模块(HOSG)，包括可见同构图和红外同构图，分别寻找两种模态各部分之间的同构关系。

HOSG通过推理同一图像各部分之间的关系来学习有效的识别特征表示，异构图对齐模块(HGAM)引入了跨模态部分关系，旨在促进局部特征的有效对齐。提出了CMCC损耗函数来适应模态间的互信息，以提取不变的模态特征。

3.2 同构结构模块

同构结构化模块 (HOSG) 提取特定模态的特征，其中包含由可见光和红外传感器处理表示的身份信息，从特征提取器获得特征后，在卷积层上进行均匀划分以学习局部特征，对于每张图像的空间特征，我们将其在高度维度上进行均匀划分，形成N个节点，令 G(V, E) 表示 V 个节点的同构结构化图，其中节点 vi ∈ V 和边 eij = (vi, vj) ∈ E。节点之间边的初始链接权重是 L2 距离（均匀划分，维度一致可计算L2距离）

其中 f(vi) 和 f(vj) 表示第 i 个和第 j 个节点特征，并且 i, j ∈ [1, N]。

然而，单个节点对中包含的信息不足以研究建模过程中的全局特征。因此，我们首先利用一个本地节点 vi 和所有剩余节点 vr 进行相关性确定，例如：one-rest

第i个节点，与剩余节点之间的关系（i到其他节点距离之和）

其中 vr 是通过剩余节点的信息聚合获得的，

（Vr的特征等于剩余特征求取平均）

特征节点更新：

为每个 f(vi) 和 f(vr) 分别添加 Gem Pooling 层以获得中间特征¯f(vi) 和¯f(vr)。然后，¯f(vi) 和¯f(vr) 通过卷积层与¯f(vi) 进行融合和求和，得到具有其他节点信息的特征 ˆf(vi)。

利用参加结构：其中残差 F (·) 由一个 1 × 1 卷积、一个批量归一化和一个 ReLU 层顺序组成

这种更新方式考虑了与其他节点的相关性，使其更具判别力，同时保留了个人身份的紧凑特征表示。

3.2

为了避免两个模态图像之间噪声信息的干扰，我们利用异构结构关系来寻找交叉模态节点之间最明显的相关性。

例如，与其他身体部位相比，可见光和红外图像中的人头可能具有更高的对应性。此设置还将删除对齐冗余。我们构建了异构图对齐模块 (HGAM) 来挖掘最具辨别力的链接 ei,j = (vi, vj) 其中 vi ∈ Vvisible 和 vj ∈ Vir。即异构相邻接矩阵的最小能量。

通过测量节点特征之间的归一化欧几里得距离得到异质相邻矩阵后，我们的目标是搜索端到端路径，如图2所示。我们将异构局部特征对齐过程视为节点路由的过程搜索。

（以任意节点为起点，搜索通向异构图的最短路径）则到达节点将开始重复该步骤，直到遍历了两个图的所有节点。这种最短路径搜索类似于Dijkstra[18]算法，并且可以使用其他灵活的替代方案。

图1：我们将两个图之间的局部距离定义为矩阵Ai2v中从(1，1)到(H，H)的最短路径的总距离。

其中 Si,j 是邻接矩阵 Ai2v 中从 (1, 1) 到 (i, j) 的最短路径的总距离，

3.3 损失函数

其中 i 是第 i 个身份信息，T 表示矩阵的转置。 fvisible(·) 和 finf fared(·) 分别代表两种模态的 HOSG 的全局特征。Xii是模态间的互相关矩阵，是身份检索中图的全局特征表示的一致性。

优化多模态关系。其中 M 是身份信息的数量，α 是正系数。通过最小化 Lcc，它使 Xii 接近 1，Xij 接近 0，Xii → 1 增强了同一类中两种模态的特征之间的相关性，从而提高了特征的代表性。 Xij → 0 意味着减少第 i 类和第 j 类之间的相关性，从而减少图表示中的冗余信息。

同构和异构关系图-行人re_ID相关推荐

同构和异构经典图神经网络汇总+pytorch代码
收集一些讲解比较好的博客或者知乎文档,以及对应的代码 1.同构图神经网络-GCN/GAT/GraphSAGE 图卷积:从GCN到GAT.GraphSAGE图卷积:从GCN到GAT.GraphSAGE ...
数学上各种空间概念的关系图
https://blog.csdn.net/cc1949/article/details/79744519 数学上有各种空间,概念容易混淆,为了记忆,整理出一张关系图. 目前不清楚无限维的内积空间是什 ...
MySQL 学习笔记（14）— 数据库设计流程、实体关系图、第一范式、第二范式、第三范式、外键使用
本文参考:https://gitbook.cn/gitchat/column/undefined/topic/5db92c12a9c3a53bc3800f0c 1. 数据库设计流程数据库设计是对数据 ...
网页开发与数据联动的图_零基础学习数据可视化pyecharts人物关系图开发
Pyecharts人物关系图开发 1. Pyecharts版本说明 Pyecharts的版本最新版本为1.7.0版本,此版本跟0.5版本的使用方法不一样了.很多参数方法配置不一样了.Import的内容 ...
IDEA函数调用关系图插件
Call Graph是一款IDEA插件,用于可视化基于IntelliJ平台的IDE的函数调用图. 这个插件的目标是让代码更容易理解,有助于读懂和调试代码. 安装插件安装后,通过View - Tool ...
实体-关系图的基本组成
实体-关系图的组件有很多,但概括起来说,可分为以下四种: 线段:用于将实体.关系相连接矩形:用于表示实体型,矩形框内写明实体名椭圆:用于表示属性,用线段与相应实体连接菱形:用于表示联系,连接线段 ...
ICML2020 | 基于贝叶斯元学习在关系图上进行小样本关系抽取
今天给大家介绍来自加拿大蒙特利尔大学Mila人工智能研究所唐建教授课题组在ICML2020上发表的一篇关于关系抽取的文章.作者利用全局关系图来研究不同句子之间的新关系,并提出了一种新的贝叶斯元学习方法 ...
seaborn系列 (15) | 双变量关系图jointplot()
目录双变量关系图函数原型参数解读案例教程案例地址双变量关系图在默认情况下双变量关系图是散点图与直方图组合的联合直方图,可以通过设置kind来改变联合直方图. 函数原型 seaborn.j ...
异常：此数据库没有有效所有者，因此无法安装数据库关系图支持对象。
某一天,在调试程序时突然发现,在附加数据库后,想添加关系表,结果出来了下面的错误: 此数据库没有有效所有者,因此无法安装数据库关系图支持对象.若要继续,请首先使用"数据库属性"对话 ...

同构和异构关系图-行人re_ID

同构和异构关系图-行人re_ID相关推荐

最新文章

热门文章