论文笔记：Dynamic GCN: Context-enriched Topology Learning for Skeleton-based Action Recognition

原论文：Dynamic GCN: Context-enriched Topology Learning for Skeleton-based Action Recognition（暂未开源）

Dynamic GCN：基于骨架的动作识别的上下文丰富的拓扑学习

图卷积网络（GCN）对基于骨架的动作识别任务越来越感兴趣。关键在于图形结构的设计，该结构对骨架拓扑信息进行编码。在本文中，提出了Dynamic GCN，其中引入了一种新的卷积神经网络，称为上下文编码网络（CeN），以自动学习骨架拓扑。特别是，在学习两个关节之间的依存关系时，其余关节的上下文特征将以全局方式合并。 CeN非常轻巧但有效，可以嵌入到图形卷积层中。通过堆叠多个启用CeN的图卷积层，构建了Dynamic GCN。值得注意的是，作为CeN的一项优点，可为不同的输入样本以及不同深度的图形卷积层构建动态图形拓扑。此外，对三种可选的上下文建模架构进行了很好的探索，它们可以作为未来图拓扑学习研究的指南。 CeN仅为基线模型带来约7％的额外FLOP，而Dynamic GCN的性能比现有方法少2倍〜4倍，从而获得了更好的性能。通过进一步结合静态身体连接和运动方式，我们在三个大型基准（NTU-RGB + D，NTU-RGB + D 120和Skeleton-Kinetics）上实现了最先进的性能。

创新点：

提出了动态GCN框架，它充分利用了GCN拓扑学习和CNN特征学习能力的互补优势。
介绍了一种轻量级的上下文编码网络，它可以全局地学习上下文丰富的动态骨架拓扑。
研究了三种可选的上下文建模体系结构，为以后的图拓扑学习研究提供了指导。
最终模型在基于骨架的动作识别的三个大规模基准上达到了最先进的性能。

全文的整体网络结构：

上下文编码网络（CeN）：

图3:提议的CeN的架构。它只包含三个1x1卷积层。首先采用Conv-C和Conv-T压缩特征和时间维数。然后将关节维数作为通道来获取全局拓扑。特征地图排列(粉红色的块)是按需应用。在每个卷积层后应用批处理归一化和ReLU激活函数。

上图是作者提出的其中一种CeN的网络架构。

图4:动态GConv层的管道。将静态图(静态分支)和CeN(动态分支)预测的图的拓扑特征融合在一起。然后，附加一个TC-block块。

图5:CeN的两个变种。(a) 是沿着特征维度聚合全局上下文。(b) 是沿着时间维度聚合全局上下文。

实验：

在NTU-RGBD和kinetics上均有不错的表现

同时在消融实验中对比了算法的复杂度。该网络的复杂度比之前的ST-GCN，MS-AAGCN都要小，效果明显。

可视化：

论文笔记：Dynamic GCN: Context-enriched Topology Learning for Skeleton-based Action Recognition相关推荐

行为识别论文笔记|TSN|Temporal Segment Networks: Towards Good Practices for Deep Action Recognition
行为识别论文笔记|TSN|Temporal Segment Networks: Towards Good Practices for Deep Action Recognition Temporal ...
Deep Learning论文笔记之（八）Deep Learning最新综述
Deep Learning论文笔记之(八)Deep Learning最新综述 zouxy09@qq.com http://blog.csdn.net/zouxy09 自己平时看了一些论文,但老感觉看完 ...
论文笔记：Meta-attention for ViT-backed Continual Learning CVPR 2022
论文笔记:Meta-attention for ViT-backed Continual Learning CVPR 2022 论文介绍论文地址以及参考资料 Transformer 回顾 Self- ...
论文笔记：《DeepGBM: A Deep Learning Framework Distilled by GBDT for Online Prediction Tasks》
论文笔记:<DeepGBM: A Deep Learning Framework Distilled by GBDT for Online Prediction Tasks> 摘要 1. ...
论文笔记VITAL: VIsual Tracking via Adversarial Learning
论文笔记VITAL: VIsual Tracking via Adversarial Learning 1. 论文标题及来源 2. 拟解决问题 3. 解决方法 3.1 算法流程 4. 实验结果 4.1 ...
论文笔记——Fair Resource Allocation in Federated Learning
论文笔记--Fair Resource Allocation in Federated Learning 原文论文链接--http://www.360doc.com/content/20/0501/1 ...
论文笔记（十六）：Learning to Walk in Minutes Using Massively Parallel Deep Reinforcement Learning
Learning to Walk in Minutes Using Massively Parallel Deep Reinforcement Learning 文章概括摘要 1 介绍 2 大规模并 ...
最新论文笔记(+21)：Privacy-Preserving Byzantine-Robust Federated Learning via Blockchain Systems/ TIFS2022
Privacy-Preserving Byzantine-Robust Federated Learning via Blockchain Systems 可译为"利用区块链实现隐私保护的拜 ...
【论文笔记】FedGraph：Federated Graph Learning with Intelligent Sampling
文章目录概览: 基础信息分支领域论文作者 Publishment 正文内容摘要知识背景联邦学习图卷积网络GCN 图采样 FedGraph设计 FedGraph的架构智能图采用算法背景 ...
论文笔记：Ontology-enhanced Prompt-tuning for Few-shot Learning
论文来源:WWW 2022 论文地址:https://arxiv.org/pdf/2201.11332.pdfhttps://arxiv.org/pdf/2201.11332.pdf 论文代码:暂未公 ...

论文笔记：Dynamic GCN: Context-enriched Topology Learning for Skeleton-based Action Recognition

论文笔记：Dynamic GCN: Context-enriched Topology Learning for Skeleton-based Action Recognition相关推荐

最新文章

热门文章