一、开发环境

1、pycharm

2、python3.9

3、opencv-python

4、mdiapipe-0.8.3

二、手势识别的概述

感知手的形状和运动的能力是改善各种技术领域和平台的用户体验的重要组成部分。例如，它可以形成手语理解和手势控制的基础，还可以在增强现实中实现数字内容和信息在物理世界之上的叠加。
MediaPipe Hands是一款高保真的手和手指跟踪解决方案。它使用机器学习（ML）从单个帧中推断出21个手的3D地标。当前最先进的方法主要依赖于强大的桌面环境进行推理，并且在移动电话上实现了实时性能，甚至可以扩展到多手。

三、Hand Landmark模型

在整个图像上进行手掌检测之后，Hand Landmark模型通过回归对检测到的手区域内的21个3D手关节坐标进行精确的关键点定位，即直接坐标预测。
为了获得训练的真实数据，使用了21个3D坐标手动标注了约30K幅真实的图像，如下所示（如果它存在于对应的坐标中，从图像中获取Z值）。为了更好地覆盖手部姿势，并提供对手部几何特性的额外监督，我们还可以在各种背景上渲染高质量的合成手部模型，并将其映射到相应的3D坐标。

四、工具和依赖库安装

4.1 python下载及安装：

官网下载（现在的电脑基本都支持64bit）：

下载后双击运行，记得先勾选 “Add Python 3.9 to PATH ”，再点击 “Install Now” 安装。

4.2 pycharm 安装

官网下载（默认安装即可）

五、多手势识别源码

import cv2
import mediapipe as mp
import timeclass handDetector():def __init__(self, mode=False, maxHands=2, complexity=1, detectionCon=0.5, trackCon=0.5):# 初始化类的参数self.mode = modeself.maxHands = maxHandsself.complexity = complexityself.detectionCon = detectionConself.trackCon = trackCon# 初始化手跟踪模块self.mpHands = mp.solutions.hands# mediapipe version: 0.8.11# self.hands = self.mpHands.Hands(self.mode, self.maxHands, self.complexity,#                                 self.detectionCon, self.trackCon)# mediapipe version: 0.8.3self.hands = self.mpHands.Hands(self.mode, self.maxHands,self.detectionCon, self.trackCon)self.mpDraw = mp.solutions.drawing_utils# 跟踪手关节点位置def findHands(self, img, draw=True):imgRGB = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)self.results = self.hands.process(imgRGB)if self.results.multi_hand_landmarks:for handLms in self.results.multi_hand_landmarks:if draw:self.mpDraw.draw_landmarks(img, handLms,self.mpHands.HAND_CONNECTIONS)return img# 对手关节点绘制圆圈def findPostion(self, img, handNo=0, draw=True):lmList = []if self.results.multi_hand_landmarks:for myHand in self.results.multi_hand_landmarks:for id, lm in enumerate(myHand.landmark):h, w, c = img.shapecx, cy = int(lm.x * w), int(lm.y * h)lmList.append([id, cx, cy])if draw:cv2.circle(img, (cx, cy), 12, (255, 0, 255), cv2.FILLED)return lmListdef main():pTime = 0cTime = 0# 打开摄像机Camera0cap = cv2.VideoCapture(0)# 实例化类对象detector = handDetector()while True:# 读取摄像机的视频图像success, img = cap.read()# 跟踪关节点位置img = detector.findHands(img)# 对手关节点绘制圆圈lmList = detector.findPostion(img)# 计算实时帧率cTime = time.time()fps = 1 / (cTime - pTime)pTime = cTime# 显示实时帧率cv2.putText(img, str(int(fps)), (10, 70), cv2.FONT_HERSHEY_PLAIN, 2,(255, 0, 255), 2)# 显示视频图像cv2.imshow("Image", img)cv2.waitKey(1)if __name__ == "__main__":main()

5.1 源码使用注意事项

本例程是基于 mediapipe-0.8.3 版本实现的，同时也兼容了 0.8.11 版本的代码实现。
如果你已安装了 mediapipe-0.8.11 版本，可将已注释掉的代码打开，并将 0.8.3 版本相关的实现代码注释掉即可。
0.8.11 比 0.8.3 版本多了一个 complexity 参数，同时手掌标识号的顺序也存在差异。

5.2 运行效果展示

opencv之(多)手势识别相关推荐

python基于opencv的手势识别_怎么在Python3.5 中利用OpenCV实现一个手势识别功能
怎么在Python3.5 中利用OpenCV实现一个手势识别功能发布时间:2020-12-22 11:56:32 来源:亿速云阅读:67 作者:Leah 怎么在Python3.5 中利用OpenC ...
体感游戏 | 手势识别玩飞机大战游戏(二) Python+OpenCV实现简易手势识别功能
后面将分四篇文章来介绍实现手势识别控制飞机大战游戏的功能,它们分别是: 使用Pygame实现简易飞机大战小游戏使用Python+OpenCV实现简单手势识别使用OpenCV实现手势识别玩飞机大战游 ...
基于python+opencv+mediapipe实现手势识别详细讲解
目录运行环境: 一.opencv 二.meidapipe配置三.实现手部的识别并标注 1.参数分析 1.multi_hand_landmarks 2.multi_hand_world_landma ...
基于Opencv的简易手势识别
这是我作为期末的python大作业设计的作业,在此感谢CSDN上的大佬,网上类似的程序有不少,学习借鉴后经过自己的整理,程序比较简陋,没有大佬们做的那么丰富,属于个人应付本科课程设计的作业,这篇文章也 ...
四川大学 opencv 人脸识别手势识别研究项目
http://v.youku.com/v_show/id_XNDAzMjkxOTAw.html?from=y1.2-1-92.3.3-1.1-1-1-2
opencv+tensorflow手势识别+图片特效
一.效果展示手势识别+特效展示!(此处只录入四种,简单运行!!!) 二. 项目介绍本次项目是在上一篇博文上的改进版本,在此次设计中录入了四种手势增加了训练图片和训练轮数,使得准确率提升,并且改进了 ...
体感游戏 | 手势识别玩飞机大战游戏(三) 使用OpenCV实现手势识别玩飞机大战游戏
后面将分四篇文章来介绍实现手势识别控制飞机大战游戏的功能,它们分别是: 使用Pygame实现简易飞机大战小游戏使用Python+OpenCV实现简单手势识别使用OpenCV实现手势识别玩飞机大战游 ...
OpenCV C++案例实战二十二《手势识别》
OpenCV C++案例实战二十二<手势识别> 前言一.手部关键点检测 1.1 功能源码 1.2 功能效果二.手势识别 2.1算法原理 2.2功能源码三.结果显示 3.1功能源码 3 ...
基于Python+Open CV的手势识别算法设计
素材资料下载: 基于Python+OpenCV的手势识别算法设计源代码材料-机器学习文档类资源-CSDN下载采用Python的集成开发环境Pycharm进行本次课程设计,在Pycharm中进行需要库( ...

opencv之(多)手势识别