人体动动识别论文(骨骼信息,CNN)
1、论文题目:Co-occurrence Feature Learning from Skeleton Data for Action Recognition and Detection with Hierarchical Aggregation(HCN)
时间:2018年
主要创新:这项任务最关键的因素在于两个方面:关节共现的帧内表示和骨架时间演化的帧间表示。本文提出了一种端到端卷积共现特征学习框架。共现特征采用分层方法学习,其中不同层次的上下文信息逐渐聚合。首先对每个关节的点级信息进行独立编码。然后将它们组合成时空域的语义表示。具体而言,我们引入了一种全局空间聚合方案,该方案能够学习优于局部聚合的联合共现特征。此外,原始骨架坐标及其时间差与双流范式相结合。
具体工作:
我们建议使用CNN模型从骨架数据中学习全局共现,该模型优于局部共现
•我们设计了一种新型的端到端分层特征学习网络,其中特征从点级特征逐渐聚合到全局共现特征
•我们全面利用多人特征融合策略,使我们的网络能够很好地扩展到可变人数
•提议的框架在动作识别和检测任务的基准上优于所有现有的最先进方法
他这里是把原生的骨架序列和骨架运动序列分别送入两个相同网络中去,然后在Conv4以后进行融合,在经过两个卷积层和展平并分类。
代码:GitHub - huguyuehuhu/HCN-pytorch: A pytorch reproduction of { Co-occurrence Feature Learning from Skeleton Data for Action Recognition and Detection with Hierarchical Aggregation }.
识别率:cs:86.5
cv:91.1
2.论文题目:SkeleMotion: A New Representation of Skeleton Joint Sequences Based on Motion Information for 3D Action Recognition
时间:2019
论文主要创新:将骨骼信息在多个时间尺度上建模显式的运动信息(即幅度和方向),主要是数据集预处理方面的创新,训练了一个只有三个卷积层和两个完全连接层的小型CNN架构,训练速度极快。缺点:识别率较低。
数据集:NTU RGB+D 120
代码https://github.com/carloscaetano/skeleton-images
识别率:cs:76.5
cv:84.7
3.论文题目:View Adaptive Neural Networks for High Performance Skeleton-based Human Action Recognition
时间:2019
论文主要创新:
创新点:
我们提出了一种自我调节的视图自适应方案,该方案自适应地重新定位观察视点,以便于更好地从骨架数据中识别动作。这释放了人们在设计复杂的预处理标准以处理各种情况上所花费的精力
我们设计了两种视图自适应神经网络,即V ARNN和V A-CNN。对于V A-RNN,我们将基于RNN的视图自适应模块集成到LSTM分类网络中,用于端到端学习。对于VA-CNN,我们将基于CNN的视图自适应模块集成到CNN分类网络中,用于端到端学习。在每个流中,视图自适应模块在识别期间自动确定“最佳”观察视点。
我们进行了广泛的消融研究。大量实验证明了视图自适应子网的有效性。分析了各参数的影响。此外,我们证明了增益是由我们的视图自适应模块带来的,而不是简单的增加层。
为了增强视图适应子网的“能力”,通过在训练期间随机旋转骨架来通过数据增强来丰富视图。实验结果表明,数据增强提高了视图自适应模型的鲁棒性。
代码
识别率:cs:89.4
cv:95.0
4、论文题目:Topology-aware Convolutional Neural Network for Efficient Skeleton-based
Action Recognition
时间:2021
主要工作:
我们的贡献可以总结如下:
•我们提出了一种新的基于纯CNN的骨架动作识别框架。配备CAG和VAG模块后,拓扑功能得到了有效增强,无需大量网络
•我们是第一个从理论上分析和揭示图卷积和正态卷积之间密切关系的人,这可能会指导基于CNN的模型的设计
•发明了一种新的SkeletonMix策略,用于增强骨架数据,从而实现稳健的学习和更好的性能
•提出的方法优于所有基于CNN的方法,并在显著减少参数和GFLOP的情况下,与基于GCNB的方法取得了相当的性能。
CAG和V AG的详细架构。粉红色、绿色和金色的块分别表示特征映射、通道注意和分组操作。分组运算实现为CAG(a)的双坐标方向卷积和V AG(b)的双部分方向卷积。
代码链接:Topology-aware Convolutional Neural Network for Efficient Skeleton-based Action Recognition | Papers With Code
人体动动识别论文(骨骼信息,CNN)相关推荐
- 人体体态识别数据集、论文
一,人体姿态识别数据集 1,2D数据集: LSP 地址:http://sam.johnson.io/research/lsp.html 样本数:2K 关节点个数:14 全身,单人 FLIC 地址:ht ...
- 基于CNN和VLAD的人体行为识别研究
人体行为识别在科技.生活中有着广泛的应用,如视频监控.人机交互.虚拟现实和视频检索等,因此智能的人体识别技术具有很高的研究价值和应用前景,特别是现今视频数据呈指数增长.相对于传统的人工特征方法,CNN ...
- 骨骼的动作识别数据集_基于骨骼数据的人体行为识别
基于骨骼数据的人体行为识别 摘要 人体动作姿态识别是计算机视觉研究领域中最具挑战的研究方向,是当前的研究热点. 对人体动作姿态进行自动识别将带来一种全新的交互方式, 通过身体语言即人体的姿态和动 作来 ...
- 虹膜识别论文1:Iris Recognition With Off-the-Shelf CNN Features: A Deep Learning Perspective 2017年 学习心得
论文百度一下 官网可以下载. 题目:Iris Recognition With Off-the-Shelf CNN Features: A Deep Learning Perspective 虹膜识别 ...
- 【深度学习】步态识别-论文阅读:(T-PAMI-2021)综述:Deep Gait Recognition
论文详情: 期刊:T-PAMI-2021 地址:参考笔记 1.Abstract 本文综述了到2021年1月底在步态识别方面的最新进展,以 全面概述了深度学习步态识别的突破和最近的发展,涵盖了广泛的主题 ...
- 行为识别论文阅读(2)——3D Human Sensing, Action and Emotion Recognition in Robot Assisted Therapy of Children
行为识别论文阅读(2)--3D Human Sensing, Action and Emotion Recognition in Robot Assisted Therapy of Children ...
- MMPose姿态估计+人体关键点识别效果演示
MMPose--开源姿态估计算法库(附人体关键点识别效果演示) 一.简介 1.1 背景 首先姿态估计属于计算机视觉领域的一个基础研究方向.MMPose是基于Pytorch的姿态估计开源算法库,功能全, ...
- 基于3D关节点的人体动作识别综述(转)
原文:2016,Pattern Recognition: 3D skeleton-based human action classification: A survey 摘要 近年来,基于深度序列的人 ...
- 【深度学习】步态识别-论文笔记:(ICCV-2021)用于步态识别的3D局部卷积神经网络
这里写目录标题 论文详情 概述 达摩院视频讲解笔记 挑战 提出3D local CNN 3D local block 数据集 论文 摘要 1 介绍 2 主要贡献 3 方法 3.1 Formulatio ...
最新文章
- 码农新机会!2019-2020行业调查报告出炉,这个领域程序员缺口很大!
- Linux学习之CentOS(五)--让我有些郁闷的mount命令
- http/https监控获取响应时间(DNS解析时间,RRT时间,服务器处理时间等)
- MySQL安装错误——Access denied for user 'root'@'localhost' (using password: YES)
- 基于lis3dh的简易倾角仪c源码_cm-23D柯尼卡美能达分光测色计色差仪CM-2300d
- json_encode 转义
- web功能测试工具_Web辅助功能:工具和注意事项
- iphonex屏幕尺寸html,iphonex的尺寸是多大 iphonexs长宽高介绍
- sed 替换文件中的字符串
- 运维工程师必会原理知识
- Dubbo笔记 ⑭ :Dubbo集群组件 之 Directory
- “暴跌”微博难翻身:用户数持续大降,豪赌视频号没胜算
- 奇安信行业安全研究中心
- ubuntu18.04安装opencv viz模块
- 快捷键与偏好设置整理
- hive常用的内置函数
- 无纸化会议-安全初步
- 安装sentence_transformers
- 【html画板】网页画板绘画效果
- 龙世界java游戏_我的世界:当Notch在6年后重回mc,会发生什么?萌新的像个弟弟...