前言

本篇文章适合刚入门OpenCV的同学们。文章将介绍如何使用Python利用OpenCV图像捕捉，配合强大的Mediapipe库来实现手势检测与识别；本系列后续还会继续更新Mediapipe手势的各种衍生项目，还请多多关注！

项目效果图

视频捕捉帧数稳定在（25-30）

认识Mediapipe

项目的实现，核心是强大的Mediapipe ，它是google的一个开源项目：

功能	详细
人脸检测 FaceMesh	从图像/视频中重建出人脸的3D Mesh
人像分离	从图像/视频中把人分离出来
手势跟踪	21个关键点的3D坐标
人体3D识别	33个关键点的3D坐标
物体颜色识别	可以把头发检测出来，并图上颜色

Mediapipe Dev

以上是Mediapipe的几个常用功能，这几个功能我们会在后续一一讲解实现
Python安装Mediapipe

pip install mediapipe==0.8.9.1

也可以用 setup.py 安装
https://github.com/google/mediapipe

项目环境

Python 3.7
Mediapipe 0.8.9.1
Numpy 1.21.6
OpenCV-Python 4.5.5.64
OpenCV-contrib-Python 4.5.5.64

实测也支持Python3.8-3.9

代码

核心代码

OpenCV摄像头捕捉部分：

import cv2cap = cv2.VideoCapture(0)       #OpenCV摄像头调用：0=内置摄像头（笔记本）   1=USB摄像头-1  2=USB摄像头-2while True:success, img = cap.read()imgRGB = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)       #cv2图像初始化cv2.imshow("HandsImage", img)       #CV2窗体cv2.waitKey(1)      #关闭窗体

mediapipe 手势识别与绘制

#定义并引用mediapipe中的hands模块
mpHands = mp.solutions.hands
hands = mpHands.Hands()
mpDraw = mp.solutions.drawing_utilswhile True:success, img = cap.read()imgRGB = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)       #cv2图像初始化results = hands.process(imgRGB)# print(results.multi_hand_landmarks)if results.multi_hand_landmarks:for handLms in results.multi_hand_landmarks:for id, lm in enumerate(handLms.landmark):# print(id, lm)h, w, c = img.shapecx, cy = int(lm.x * w), int(lm.y * h)print(id, cx, cy)# if id == 4:cv2.circle(img, (cx, cy), 15, (255, 0, 255), cv2.FILLED)#绘制手部特征点：mpDraw.draw_landmarks(img, handLms, mpHands.HAND_CONNECTIONS)

视频帧率计算

import time#帧率时间计算
pTime = 0
cTime = 0while True
cTime = time.time()fps = 1 / (cTime - pTime)pTime = cTimecv2.putText(img, str(int(fps)), (10, 70), cv2.FONT_HERSHEY_PLAIN, 3,(255, 0, 255), 3)       #FPS的字号，颜色等设置

完整代码

# Coding BIGBOSSyifi
# Datatime:2022/4/24 21:41
# Filename:HandsDetector.py
# Toolby: PyCharmimport cv2
import mediapipe as mp
import timecap = cv2.VideoCapture(0)       #OpenCV摄像头调用：0=内置摄像头（笔记本）   1=USB摄像头-1  2=USB摄像头-2#定义并引用mediapipe中的hands模块
mpHands = mp.solutions.hands
hands = mpHands.Hands()
mpDraw = mp.solutions.drawing_utils#帧率时间计算
pTime = 0
cTime = 0while True:success, img = cap.read()imgRGB = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)       #cv2图像初始化results = hands.process(imgRGB)# print(results.multi_hand_landmarks)if results.multi_hand_landmarks:for handLms in results.multi_hand_landmarks:for id, lm in enumerate(handLms.landmark):# print(id, lm)h, w, c = img.shapecx, cy = int(lm.x * w), int(lm.y * h)print(id, cx, cy)# if id == 4:cv2.circle(img, (cx, cy), 15, (255, 0, 255), cv2.FILLED)#绘制手部特征点：mpDraw.draw_landmarks(img, handLms, mpHands.HAND_CONNECTIONS)'''''视频FPS计算'''cTime = time.time()fps = 1 / (cTime - pTime)pTime = cTimecv2.putText(img, str(int(fps)), (10, 70), cv2.FONT_HERSHEY_PLAIN, 3,(255, 0, 255), 3)       #FPS的字号，颜色等设置cv2.imshow("HandsImage", img)       #CV2窗体cv2.waitKey(1)      #关闭窗体

项目输出

结语

以此篇文章技术为基础，后续会更新利用此篇基础技术实现的《手势控制：音量，鼠标》
项目下载地址https://github.com/BIGBOSS-dedsec/HandsDetection_Python

Python+OpenCV手势识别Mediapipe（基础篇）相关推荐

[python opencv 计算机视觉零基础到实战] 十一找到图片中指定内容
一.学习目标了解图片内容定位方法matchTemplate使用了解minMaxLoc方法使用上一篇<[python opencv 计算机视觉零基础到实战] 十.图片效果毛玻璃> 如有 ...
[python opencv 计算机视觉零基础到实战] 十、图片效果毛玻璃
一.学习目标了解高斯模糊的使用方法了解毛玻璃的图片效果添加了解如何自己做一个噪声图片上一篇:[python opencv 计算机视觉零基础到实战] 九.模糊如有错误欢迎指出~ 二.了解模糊与 ...
python进阶记录之基础篇二十六_Python进阶记录之基础篇（十六）
回顾在Python进阶记录之基础篇(十五)中,我们介绍了面向对象的基本概念以及Python中类和对象的基础知识,需要重点掌握类的创建和对象的使用.今天我们继续讲一下Python中面向对象的相关知识点 ...
[python opencv 计算机视觉零基础到实战] 八、ROI泛洪填充
一.学习目标了解什么是ROI 了解floodFill的使用方法如有错误欢迎指出~ 目录 [python opencv 计算机视觉零基础到实战] 一.opencv的helloworld [[pyth ...
[python opencv 计算机视觉零基础到实战] 七、逻辑运算与应用
一.学习目标了解opencv中图像的逻辑运算了解opencv中逻辑运算的应用目录 [python opencv 计算机视觉零基础到实战] 一.opencv的helloworld [[python ...
[python opencv 计算机视觉零基础到实战] 六、图像运算
一.学习目标了解opencv中图像运算的方法了解opencv中图像运算的运用如有错误欢迎指出~ 二.了解OpenCV中图像运算的运用目录 [python opencv 计算机视觉零基础到实战] ...
[python opencv 计算机视觉零基础到实战] 四、了解色彩空间及其详解
一.学习目标了解什么是色彩空间了解opencv中色彩空间的转换目录 [python opencv 计算机视觉零基础到实战] 一.opencv的helloworld [[python opencv ...
[python opencv 计算机视觉零基础到实战] 三、numpy与图像编辑
一.学习目标了解图片的通道与数组结构了解使用numpy创建一个图片了解使用numpy对图片的一般操作方法目录 [python opencv 计算机视觉零基础到实战] 一.opencv的hell ...
【python opencv 计算机视觉零基础到实战】二、 opencv文件格式与摄像头读取
一.学习目标了解图片的结构属性了解如何捕获视频了解waitkey的使用方法目录 [python opencv 计算机视觉零基础到实战] 一.opencv的helloworld [[python ...
[python opencv 计算机视觉零基础到实战] 一 opencv的helloworld
前置条件说明:本系列opencv实战教程将从基础到实战,若只是简单学习完python也可以通过该教程完成一般的机器学习编程:文中将会对很多python的基础内容进行讲解,但由于文章定位的原因将不会赘 ...

Python+OpenCV手势识别Mediapipe（基础篇）

Python+OpenCV手势识别Mediapipe（新手入门）

前言