Mediapipe+OpenCV与Unity引擎实现动作捕捉
前言
之前写了一篇文章: Mediapipe+OpenCV图像识别技术与Unity引擎的结合
其中的技术是Python利用OpenCV图像捕捉,配合强大的Mediapipe库来实现人体动作检测与识别;将识别结果实时同步至Unity中,实现人物模型在Unity中运动身体结构识别
技术更新
因为之前的人物动作捕捉是先通过Python和Mediapipe先将人物动作进行捕捉,将捕捉到的数据format后写入到txt中,在Unity端对txt进行数据读取,进而实现Unity人物运动;其中的缺点是:没有时效性
而本次的改进:通过利用socket和UPD通信,在localhost中数据传输,让动捕数据实时传输,到达实时动捕的效果
Demo演示
之前的Demo展示:https://hackathon2022.juejin.cn/#/works/detail?unique=WJoYomLPg0JOYs8GazDVrw
更新后效果
可以和珈乐同步互动…
本篇文章所用的技术会整理后开源,后续可以持续关注:
项目地址:https://github.com/BIGBOSS-dedsec/OpenCV-Unity-To-Build-3DPerson
GitHub:https://github.com/BIGBOSS-dedsec
CSDN: https://blog.csdn.net/weixin_50679163?type=edu
同时本篇文章实现的技术参加了稀土掘金2022编程挑战赛-游戏赛道-优秀奖
作品展示:https://hackathon2022.juejin.cn/#/works/detail?unique=WJoYomLPg0JOYs8GazDVrw
认识Mediapipe
项目的实现,核心是强大的Mediapipe ,它是google的一个开源项目:
功能 | 详细 |
---|---|
人脸检测 FaceMesh | 从图像/视频中重建出人脸的3D Mesh |
人像分离 | 从图像/视频中把人分离出来 |
手势跟踪 | 21个关键点的3D坐标 |
人体3D识别 | 33个关键点的3D坐标 |
物体颜色识别 | 可以把头发检测出来,并图上颜色 |
Mediapipe Dev
以上是Mediapipe的几个常用功能 ,这几个功能我们会在后续一一讲解实现
Python安装Mediapipe
pip install mediapipe==0.8.9.1
也可以用 setup.py 安装
https://github.com/google/mediapipe
项目环境
Python 3.7
Mediapipe 0.8.9.1
Numpy 1.21.6
OpenCV-Python 4.5.5.64
OpenCV-contrib-Python 4.5.5.64
实测也支持Python3.8-3.9
身体动作捕捉部分
身体数据文件
这部分是我们通过读取视频中人物计算出每个特征点信息进行数据保存,这些信息很重要,后续在untiy中导入这些动作数据
关于身体特征点
核心代码
摄像头捕捉部分:
import cv2cap = cv2.VideoCapture(0) #OpenCV摄像头调用:0=内置摄像头(笔记本) 1=USB摄像头-1 2=USB摄像头-2while True:success, img = cap.read()imgRGB = cv2.cvtColor(img, cv2.COLOR_BGR2RGB) #cv2图像初始化cv2.imshow("HandsImage", img) #CV2窗体cv2.waitKey(1) #关闭窗体
视频帧率计算
import time#帧率时间计算
pTime = 0
cTime = 0while True
cTime = time.time()fps = 1 / (cTime - pTime)pTime = cTimecv2.putText(img, str(int(fps)), (10, 70), cv2.FONT_HERSHEY_PLAIN, 3,(255, 0, 255), 3) #FPS的字号,颜色等设置
身体动作捕捉:
while True:if bboxInfo:lmString = ''for lm in lmList:lmString += f'{lm[1]},{img.shape[0] - lm[2]},{lm[3]},'posList.append(lmString)
数据传输:
# 定义localhost和端口
sock = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)
serverAddressPort = ("127.0.0.1", 5054)# 数据发送
date = lmString
sock.sendto(str.encode(str(date)), serverAddressPort)
完整代码
MotionCapPRO.py
import cv2
from cvzone.PoseModule import PoseDetector
import socket# cap = cv2.VideoCapture('1.mp4')
cap = cv2.VideoCapture(0)sock = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)
serverAddressPort = ("127.0.0.1", 5054) # 定义localhost与端口,当然可以定义其他的hostdetector = PoseDetector()
posList = [] # 保存到txt在unity中读取需要数组列表while True:success, img = cap.read()img = detector.findPose(img)lmList, bboxInfo = detector.findPosition(img)if bboxInfo:lmString = ''for lm in lmList:lmString += f'{lm[1]},{img.shape[0] - lm[2]},{lm[3]},'posList.append(lmString)# print(len(posList)) print(lmString)date = lmStringsock.sendto(str.encode(str(date)), serverAddressPort)cv2.imshow("Image", img)key = cv2.waitKey(1)# 记录数据到本地# if key == ord('r'): with open("MotionData.txt", 'w') as f:f.writelines(["%s\n" % item for item in posList])
运行效果
Unity 部分
建模
在Unity中,我们需要搭建一个人物的模型,这里需要一个33个Sphere作为身体的特征点和33个Cube作为中间的支架
具体文件目录如下:
Line的编号对应人物模型特征点
UPD.cs (用于接收端口数据)
using UnityEngine;
using System;
using System.Text;
using System.Net;
using System.Net.Sockets;
using System.Threading;public class UDPReceive : MonoBehaviour
{Thread receiveThread;UdpClient client; public int port = 5052;public bool startRecieving = true;public bool printToConsole = false;public string data;public void Start(){receiveThread = new Thread(new ThreadStart(ReceiveData));receiveThread.IsBackground = true;receiveThread.Start();}private void ReceiveData(){client = new UdpClient(port);while (startRecieving){try{IPEndPoint anyIP = new IPEndPoint(IPAddress.Any, 0);byte[] dataByte = client.Receive(ref anyIP);data = Encoding.UTF8.GetString(dataByte);if (printToConsole) { print(data); }}catch (Exception err){print(err.ToString());}}}
}
(水印是我的,非盗用)
Line.cs
这里是每个Line对应cs文件,实现功能:使特征点和Line连接在一起
using System.Collections;
using System.Collections.Generic;
using UnityEngine;public class LineCode : MonoBehaviour
{LineRenderer lineRenderer;public Transform origin;public Transform destination;void Start(){lineRenderer = GetComponent<LineRenderer>();lineRenderer.startWidth = 0.1f;lineRenderer.endWidth = 0.1f;}
// 连接两个点void Update(){lineRenderer.SetPosition(0, origin.position);lineRenderer.SetPosition(1, destination.position);}
}
Action.cs
这里是读取上文识别并保存的人物动作数据,并将每个子数据循环遍历到每个Sphere点,使特征点随着视频中人物动作运动
using System.Collections;
using System.Collections.Generic;
using UnityEngine;public class body : MonoBehaviour
{// Start is called before the first frame updatepublic UDPReceive udpReceive;public GameObject[] bodyPoints;void Start(){}// Update is called once per framevoid Update(){string data = udpReceive.data;// data = data.Remove(0, 1);// data = data.Remove(data.Length - 1, 1);print(data);string[] points = data.Split(',');print(points[0]);//0 1*3 2*3//x1,y1,z1,x2,y2,z2,x3,y3,z3for (int i = 0; i < 32; i++){float x = float.Parse(points[0 + (i * 3)]) / 100;float y = float.Parse(points[1 + (i * 3)]) / 100;float z = float.Parse(points[2 + (i * 3)]) / 300;bodyPoints[i].transform.localPosition = new Vector3(x, y, z);}}
}
最终实现效果
这里的视频与Unity运行有延时
后记
利用这一技术,后期可以开发出更多有意思的玩法,虽然比赛已经结束(也取得一个自己比较满意的成果),但是我的作品更新不会结束,我会一直完善下去,直到成为一款优秀的ASOUL游戏作品!坚持下去的所有动力都是对ASOUL的热爱,永远的五人团—“我们是AAAAAASOULLLLLLL!!!”
Good Luck,Have Fun and Happy Coding!!!
Mediapipe+OpenCV与Unity引擎实现动作捕捉相关推荐
- 基于Unity引擎利用OpenCV和MediaPipe的面部表情和人体运动捕捉系统
基于Unity引擎利用OpenCV和MediaPipe的面部表情和人体运动捕捉系统 前言 项目概述 项目实现效果 2D面部表情实时捕捉 3D人体动作实时捕捉 补充 引用 前言 之前做的一个项目--使用 ...
- OpenCV+Mediapipe手势动作捕捉与Unity引擎的结合
OpenCV+Mediapipe手势动作捕捉与Unity引擎的结合 前言 Demo演示 认识Mediapipe 项目环境 手势动作捕捉部分 实时动作捕捉 核心代码 完整代码 Hands.py py代码 ...
- 基于mediapipe的动作捕捉和Unity的球棍模型同步
基于mediapipe的动作捕捉和Unity的球棍模型同步 所需环境 python端 unity端 效果 所需环境 这是我所使用的环境 python3.9 安装mediapipe和opencv-pyt ...
- Unity + SteamVR + VIVE Pro进行动作捕捉
Unity + SteamVR + VIVE Pro进行动作捕捉 软件信息 VIVE Pro 硬件信息 vive pro 只可以使用2个基站,并且只能使用vive tracker 2.0一下的追踪器 ...
- 在Unreal引擎中利用实现实时动作捕捉
在Unreal引擎中利用实现实时动作捕捉 前言: 准备的软件: 准备工作: 为motionbuilder安装livelink插件: 演员及Motionbuilder准备: 捕捉流程 将Motionbu ...
- 动作捕捉技术,VR体验沉浸感的“助燃剂”
能够加强VR体验沉浸感的动作捕捉技术市场前景可观,它是未来VR体验的必备. 在电影<阿凡达>中,卡梅隆用动作捕捉技术完成了整部作品,让我们看到了动作捕捉在电影行业上的不可估量的潜力.在虚拟 ...
- 免费的 AI 动作捕捉工具 #Rokoko Video
创建动画可能很棘手,但使用对了技术和工具,可以轻松实现看起来很棒且功能流畅的完美动画. " 为每个创作者配备动捕的力量." 近期,Rokoko 通过推出免费的 AI 动作捕捉工具 ...
- python摄像头动作捕捉_新版的IphoneX是一台动作捕捉设备,你知道怎么玩吗
你有了iPhoneX,经常用里面的Animoji么?知道里面的原理么?今天,我们一起来看看大神们如何利用iPhone X把Anmoji玩出另一个境界. Animoji是一个能与人表情同步的动画表情,它 ...
- 基于惯性动作捕捉技术进行快速动画制作教程
长久以来动画制作流程上有着诸多不可回避的问题,尤其在于角色动画的制作周期和动画效果方面,一般来说,每一秒钟的角色动画都需要动画师手动关键帧制作耗费8小时才能完成,也就是说,一个动画师每个月只能制作出2 ...
最新文章
- 习题7-1 选择法排序 (20 分)
- 2-4 zookeeper配置文件介绍,运行zk
- Python练习 | Python中的运算符
- ISLR—第二章 Statistical Learning
- Vue 高德地图使用总结
- FreeBSD8下安装软件相关
- C-order/Fortran-order(Row-/Column-major order)
- DLL初步和钩子入门
- JAVA绘制拼音有问题
- 放苹果(递归、动态规划、python)
- Element UI 前端分页
- signature=0ca2720a9af9bfe70731d72325e6c137,Ca2+ signatures
- windows 重启后电脑时间不准怎么办?
- 创建一个IntelliJ Idea文件模板,将光标放在文件中的特定位置
- 小红书流量不好数据差,怎么解决?
- (windows) Android ffmpeg 移植 cygwin+ndk-r8e+win7
- UIUC说对抗样本出门会失效,被OpenAI怼回来了!
- 一个有趣的问题 : α_β_γ_δ_ε_ζ_η_θ_ι_κ_λ_μ_ν怎么读
- 一篇文章教你如何写数学建模的论文
- 17岁中专毕业的低学历小哥,24岁却作为资深程序员逆袭出书!
热门文章
- springboot毕业设计 基于springboot医院预约挂号系统毕业设计设计与实现参考
- 北大青鸟S2MySQL内测题答案_ACCP 北大青鸟 S2 结业项目机试答案
- android系统一直显示通知栏_Android通知栏详解
- win8.1许可证到期提示后如何激活?
- ipad计算机功能,ipad功能如此强大,为何不能取代电脑,网友:已经可以取代电脑了...
- java筆試題,Java筆試題及答案
- 大数据 (三) BI报表系统 superset 2 制作表格
- SAP MM框架协议,合同
- iOS storyBoard 和 纯代码 实现 九宫格 切图
- emlog模板酷黑自适应CoolBlack主题 黑的有质感