视频实时多人姿态估计 cpu fps33+
实时视频动作检测(action detection)
基于人体姿态的跌倒检测
yolov5 烟雾和火焰检测

【文章用到的云gpu详细使用说明】

在计算机视觉中, 人体姿态估计是指基于视频，图像信息对人体的各个关节和刚性部件进行准确检测和有效组合, 其目的是获取人身体各个关键点的位置, 得到正确位置后, 对关键点进行正确的连接形成人体骨架信息, 后续研究可以利用骨架信息对人的动作和行为进行分析一般我们可以这个问题再具体细分成4个任务：

单人姿态估计 (Single-Person Skeleton Estimation)
多人姿态估计 (Multi-person Pose Estimation)
人体姿态跟踪（Video Pose Tracking)
3D人体姿态估计（3D Skeleton Estimation)

人体姿态估计在人机交互、智能监控、虚拟现实以及运动分析等领域有着广阔的应用前景.本文主要介绍在人机交互和智能监控领域的应用.。

人机交互：人机交互指人与机器的互动和交流,目的是让机器人能理解和模仿人的语言和行为,让人类能够更有效、更自然地与机器人互动.想要实现互动自然,传统的输入输出方式是远远不够的,人与人之间的互动交流在很大程度上依赖于语音和视觉,因此人机交互势必会沿着语音和视觉交互的方向发展. 姿态估计作为计算机视觉。

人体姿态估计目前最为广泛的应用日益成熟, 系统的应用领域在不断扩大.智能ai识别主要在于其将人体姿态估计技术嵌入视频服务器中,运用算法估计、判断画面场景中的人体姿态,提取其中的关键信息,当出现异常行为时及时向用户发出提示，可应用于校园、家居、医院等场景,例如, 将智能化引入校园,智能化系统利用人体姿态估计监测学生的心理状态,有效防止校园突发事件的发生。

姿态估计还可应用于体育项目、队列评分、智能驾驶、厅店零售等.例如,在体育领域建立人工智能教练系统来帮助运动员调整专业动作,为运动员提供个性化的运动训练体验。

自定义数据集概述：

根据生成数据集#fall1.mp4 ==0 fight1.mp4==1 stand1.mp4==2 walk1.mp4==3

用关键点模型从每个视频（视频格式720p MP4）提取骨骼关键点制作数据集.

fall(跌倒),0
fight(打架),1
stand(站立),2
walk1(走动),3

单个帧的输入（其中 j 指关节）存储为：

[ j0_x，j0_y，j1_x，j1_y，j2_x，j2_y，j3_x，j3_y，j4_x，j4_y，j5_x，j5_y，j6_x，j6_y，j7_x，j7_y，j8_x，j8_y，j9_x，j9_y，j10_x，j10_y，j11_x，j12_y， j12_y，j13_x，j13_y，j14_x，j14_y，j15_x，j15_y，j16_x，j16_y]

对于以下实验，对数据集进行了很少的预处理。采取了以下步骤：

关键点模型在单个帧上运行，针对每个主题、动作和视图，输出 17 个关节 x 和 y 位置关键点以及每帧的准确度转换为 txt 格式，仅保留每帧的 x 和 y 位置、帧期间执行的操作以及帧的顺序。这用于创建关联活动类别编号和相应系列的关节 2D 位置的数据库没有进行进一步的预置。

方案说明：

使用关键点检测和多目标姿态跟踪获取视频输入中的行人及跟踪ID序号，对每个人的动作分别识别。
截取每个人，并使用得到对应的17个骨骼特征点，骨骼特征点的顺序及类型与COCO一致。
每个跟踪ID对应的目标行人各自累计骨骼特征点结果，组成该人物的时序关键点序列。当累计到预定帧数，动作检测模型判断时序关键点序列的动作类型，输出每个人动作标签。
可以直接在(点击进入)免费云gpu上运行
支持自定义数据集和训练自己的动作类别，支持本地摄像头推断。
自定义数据集方法：找单人的单动作类型的视频，不要找镜头一直切换的，要找像监控那样镜头基本不动的，不同视频可以用win10的视频编辑器拆分拼接为一个长视频，有几个动作类型就拼接几个长视频，视频格式为mp4，720p。

演示视频播放地址

本源码不提供下载

主要识别多人(最多6人).的异常行为：打架和摔倒，走动，站立。可以本地电脑运行，支持自建数据集和动作检测训练。

基于人体姿态的时空动作检测(cpu fps33+)相关推荐

【姿态估计】MediaPipe部分solution(手势，人体姿态，面部动作)的用法
Mediapipe介绍 MediaPipe是个基于图形的跨平台框架,用于构建多模式应用的机器学习管道. MediaPipe可在移动设备,工作站和服务器上跨平台运行,并支持移动GPU加速.使用Media ...
融合人体姿态估计和目标检测的学生课堂行为识别
融合人体姿态估计和目标检测的学生课堂行为识别_参考网摘要: 在課堂教学中 , 人工智能技术可以帮助实现学生行为分析自动化 , 让教师能够高效且直观地掌握学生学习行为投入的情况 , 为后续优化教学设计 ...
CVPR 2019 | 旷视研究院提出TACNet，刷新时空动作检测技术新高度
全球计算机视觉三大顶级会议之一 CVPR 2019 将于当地时间 6 月 16-20 日在美国洛杉矶举办.届时,旷视研究院将带领团队远赴盛会,助力计算机视觉技术的交流与落地.在此之前,旷视每周会介绍一 ...
MediaPipe人体姿态、手指关键点检测
MediaPipe人体姿态.手指关键点检测文章目录 MediaPipe人体姿态.手指关键点检测前言一.手指关键点检测二.姿态检测三.3D物体案例检测案例前言 Mediapipe是googl ...
[深度学习][原创]使用labelImg+yolov5完成所有slowfast时空动作检测项目-开山篇
slowfast项目地址:GitHub - facebookresearch/SlowFast: PySlowFast: video understanding codebase from FAIR ...
CVPR 2020 论文大盘点-人体姿态估计与动作捕捉篇
本文盘点CVPR 2020 所有人体姿态估计(Human Pose Estimation).手势识别(Gesture Recognition).人体形状与姿态估计(Human Shape and Po ...
格物钛数据平台国内外经典开源数据汇总（自动驾驶、目标检测、人脸识别、人体姿态估计、文本检测、NLP、医疗）
本文整理了国内外经典的开源数据,包含了目标检测.自动驾驶.人脸识别.自然语言处理.文本检测.医疗等方向,具体如下. 一.自动驾驶领域数据集 KITTI数据集 KITTI数据集由德国卡尔斯鲁厄理工学院和 ...
MediaPipe 集成人脸识别，人体姿态评估，人手检测模型
上期文章,我们介绍了MediaPipe Holistic的基础知识,了解到MediaPipe Holistic分别利用MediaPipe Pose,MediaPipe Face Mesh和MediaP ...
基于人体姿势估计的舞蹈检测（AI Dance based on Human Pose Estimation）
人体姿势骨架以图形格式表示人的方向.本质上,它是一组坐标,可以连接起来描述人的姿势.骨架中的每个坐标都被称为一个部分(或一个关节,或一个关键点).两个部分之间的有效连接称为一对(或分支).下面是一个人 ...

基于人体姿态的时空动作检测(cpu fps33+)