软硬件环境

• windows 10 64bit

• anaconda with python 3.7

• nvidia gtx 1066

• opencv 4.4.0

基本原理

我们先来看余弦定理，它是检测手指个数的根本原理。下面是一个三角形

余弦定理表述为，对于任意三角形，任何一边的平方等于其他两边平方的和减去这两边与它们夹角的余弦的积的两倍。用数学公式可以如下图表示

对应到本文的手指检测，我们手指之间其实也有一个三角形，因此利用余弦定理，就可以计算出2根手指的夹角，如果这个夹角小于90度(正常情况下不可能超出)，就可以认为这就是手指了

代码示例

import numpy as np
import cv2def skinmask(img):''':param img::return:'''# 从BGR转换成HSV，即色调、饱和度、明度# HSV(Hue、Saturation、Value)基本颜色分量范围，可以参考 https://image.xugaoxiang.com/imgs/2020/12/a3cceeb4f7c9ea2f.jpghsvim = cv2.cvtColor(img, cv2.COLOR_BGR2HSV)# 颜色范围下边界lower = np.array([0, 48, 80], dtype="uint8")# 颜色范围上边界upper = np.array([20, 255, 255], dtype="uint8")# 检查数组元素是否位于另外两个数组的元素之间，指定范围内的图像显示为白色，相反为黑色skinRegionHSV = cv2.inRange(hsvim, lower, upper)# 均值滤波，核大小2*2blurred = cv2.blur(skinRegionHSV, (2, 2))# 阈值处理，阈值为0，填充色为255，小于阈值的像素点置0，大于阈值的像素点置填255ret, thresh = cv2.threshold(blurred, 0, 255, cv2.THRESH_BINARY)return threshdef getcnthull(mask_img):# 找轮廓contours, hierarchy = cv2.findContours(mask_img, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)contours = max(contours, key=lambda x: cv2.contourArea(x))# 找凸包hull = cv2.convexHull(contours)return contours, hulldef getdefects(contours):# 找凸包，returnPoints=Falsehull = cv2.convexHull(contours, returnPoints=False)# 找凸缺陷，也就是我们手指打开时，2指之间凹的部分defects = cv2.convexityDefects(contours, hull)return defectsif __name__ == '__main__':# 读取摄像头数据cap = cv2.VideoCapture(0)while cap.isOpened():_, img = cap.read()try:mask_img = skinmask(img)contours, hull = getcnthull(mask_img)# 画轮廓cv2.drawContours(img, [contours], -1, (255, 255, 0), 2)cv2.drawContours(img, [hull], -1, (0, 255, 255), 2)# 轮廓线为convexity hull, 而convexity hull与手掌之间的部分为convexity defects。每个convexity defect区域有四个特征量：起始点（startPoint），结束点(endPoint)，距离convexity hull最远点(farPoint)，最远点到convexity hull的距离(depth)。defects = getdefects(contours)if defects is not None:cnt = 0for i in range(defects.shape[0]):s, e, f, d = defects[i][0]start = tuple(contours[s][0])end = tuple(contours[e][0])far = tuple(contours[f][0])# 得到三角形3条边的长度a = np.sqrt((end[0] - start[0]) ** 2 + (end[1] - start[1]) ** 2)b = np.sqrt((far[0] - start[0]) ** 2 + (far[1] - start[1]) ** 2)c = np.sqrt((end[0] - far[0]) ** 2 + (end[1] - far[1]) ** 2)# 使用余弦定理计算角度angle = np.arccos((b ** 2 + c ** 2 - a ** 2) / (2 * b * c))# 如果角度小于90度，则认为是手指if angle <= np.pi / 2:cnt += 1cv2.circle(img, far, 4, [0, 0, 255], -1)if cnt > 0:cnt = cnt + 1# 显示手指个数cv2.putText(img, str(cnt), (0, 50), cv2.FONT_HERSHEY_SIMPLEX, 1, (255, 0, 0), 2, cv2.LINE_AA)cv2.imshow("img", img)except:passif cv2.waitKey(1) & 0xFF == ord('q'):breakcap.release()cv2.destroyAllWindows()

执行上述代码，可以得到