计算机视觉OpenCv学习系列：第十部分、实时人脸检测

第十部分、实时人脸检测

第一节、实时人脸检测
- 1.OpenCV人脸检测支持演化
- 2.OpenCV DNN检测函数
- 3.代码练习与测试
学习参考

第一节、实时人脸检测

1.OpenCV人脸检测支持演化

OpenCV4 DNN模块

DNN- 深度神经网络

来自另外一个开源项目tiny dnn
OpenCV3.3正式发布
最新版本OpenCV4.5.5
支持后台硬件加速机制 CPU/GPU等
支持多种任务(分类、检测、分割、风格迁移、场景文字检测等)
只支持推理，不支持训练，推理：支持模型的部署，但是不支持训练。
支持主流的深度学习框架生成模型
推荐使用pytorch/tensorflow

人脸检测的发展过程：

OpenCV3.3之前基于HAAR/LBP级联检测
OpenCV3.3开始支持深度学习人脸检测支持人脸检测
模型caffe/tensorflowOpenCV4.5.4 支持人脸检测+landmark
模型下载地址：
- https://gitee.com/opencv_ai/opencv_tutorial_data

OpenCV人脸检测支持演化：

OpenCV人脸检测传统算法与深度学习模型对比
针对同一段视频文件，速度与检测总数统计比较

2.OpenCV DNN检测函数

# 读取模型：
1. readNetFromTensorflow
# 转换为blob对象：(实际上就是一个tensor)
2. blobFromImage
# 设置输入：
3. setInput
# 推理预测：
4. forward

模型输入:1x3x300x300（将图片放入，自动变成1x3x300x300的大小）
模型输出:1xNx7（N代表检测出多少个人脸，下所示就是1x1x7）
- 7个数字分别是：
- 最后四个：人脸检测框，左上角和右下角坐标（x1, x2, y1, y2）
- 第三个：预测置信度
- 第一个：batch-size的index索引，目前是0，每批读入一个图片
- 第二个：classid，分类的类别，因为当前是人脸识别只有一类，所以classid=0
- 所以当前只用解析后五个参数即可
推理时间与帧率

3.代码练习与测试

1.readNetfromTensorflow 加载模型

2.blobFromImage转换输入格式数据

3.setInput设置输入数据

4.forward推理

5.对输出的数据 Nx7 完成解析

6.绘制矩形框跟得分

加载模型一次即可，推理可以执行多次！

# 人脸识别需要的文件
model_bin ="../data/opencv_face_detector_uint8.pb"
config_text = "../data/opencv_face_detector.pbtxt"# 识别一张图片中的人脸
def frame_face_demo():# 记录开始时间a = time.time()print(a)# 获取摄像头font = cv.FONT_HERSHEY_SIMPLEXfont_scale = 0.5thickness = 1# 部署tensorflow模型net = cv.dnn.readNetFromTensorflow(model_bin, config=config_text)# 记录调用时长print(time.time() - a)print(time.strftime('%Y-%m-%d %H:%M:%S'))e1 = cv.getTickCount()# 摄像头是和人对立的，将图像垂直翻转frame = cv.imread(r"F:\python\opencv-4.x\samples\data\lena.jpg")h, w, c = frame.shapeprint("h:", h, "w: ", w, "c: ", c)# 模型输入:1x3x300x300# 1.0表示不对图像进行缩放，设定图像尺寸为(300, 300)，减去一个设定的均值(104.0, 177.0, 123.0)，是否交换BGR通道和是否剪切都选Falseblobimage = cv.dnn.blobFromImage(frame, 1.0, (300, 300), (104.0, 177.0, 123.0), False, False)net.setInput(blobimage)# forward之后，模型输出:1xNx7cvout = net.forward()print(cvout.shape)t, _ = net.getPerfProfile()label = "Inference time: %.2f ms" % (t * 1000.0 / cv.getTickFrequency())# 绘制检测矩形# 只考虑后五个参数for detection in cvout[0, 0, :]:# 获取置信度score = float(detection[2])objindex = int(detection[1])# 置信度>0.5说明是人脸if score > 0.5:# 获取实际坐标left = detection[3] * wtop = detection[4] * hright = detection[5] * wbottom = detection[6] * h# 绘制矩形框cv.rectangle(frame, (int(left), int(top)), (int(right), int(bottom)), (255, 0, 0), thickness=2)# 绘制类别跟得分label_txt = "score:%.2f" % score# 获取文本的位置和基线(fw, uph), dh = cv.getTextSize(label_txt, font, font_scale, thickness)cv.rectangle(frame, (int(left), int(top) - uph - dh), (int(left) + fw, int(top)), (255, 255, 255), -1, 8)cv.putText(frame, label_txt, (int(left), int(top) - dh), font, font_scale, (255, 0, 255), thickness)e2 = cv.getTickCount()fps = cv.getTickFrequency() / (e2 - e1)cv.putText(frame, label + (" FPS: %.2f" % fps), (10, 50), cv.FONT_HERSHEY_SIMPLEX, 1.0, (0, 0, 255), 2)cv.imshow("face-dectection-demo", frame)# 释放资源cv.waitKey(0)cv.destroyAllWindows()# 视频文件执行之后会有警告但是不影响使用

结果示例：

# 人脸识别需要的文件
model_bin ="../data/opencv_face_detector_uint8.pb"
config_text = "../data/opencv_face_detector.pbtxt"# 实时人脸识别摄像头
def video_face_demo():# 记录开始时间a = time.time()print(a)# 获取摄像头cap = cv.VideoCapture(0)font = cv.FONT_HERSHEY_SIMPLEXfont_scale = 0.5thickness = 1# 部署tensorflow模型net = cv.dnn.readNetFromTensorflow(model_bin, config=config_text)# 记录调用时长print(time.time() - a)print(time.strftime('%Y-%m-%d %H:%M:%S'))while True:e1 = cv.getTickCount()# 获取每一帧的帧率fps = cap.get(cv.CAP_PROP_FPS)print(fps)# 摄像头读取,ret为是否成功打开摄像头,true,false。 frame为视频的每一帧图像ret, frame = cap.read()# 摄像头是和人对立的，将图像垂直翻转frame = cv.flip(frame, 1)if ret is not True:breakh, w, c = frame.shapeprint("h:", h, "w: ", w, "c: ", c)# 模型输入:1x3x300x300# 1.0表示不对图像进行缩放，设定图像尺寸为(300, 300)，减去一个设定的均值(104.0, 177.0, 123.0)，是否交换BGR通道和是否剪切都选Falseblobimage = cv.dnn.blobFromImage(frame, 1.0, (300, 300), (104.0, 177.0, 123.0), False, False)net.setInput(blobimage)# forward之后，模型输出:1xNx7cvout = net.forward()print(cvout.shape)t, _ = net.getPerfProfile()label = "Inference time: %.2f ms" % (t * 1000.0 / cv.getTickFrequency())# 绘制检测矩形# 只考虑后五个参数for detection in cvout[0, 0, :]:# 获取置信度score = float(detection[2])objindex = int(detection[1])# 置信度>0.5说明是人脸if score > 0.5:# 获取实际坐标left = detection[3] * wtop = detection[4] * hright = detection[5] * wbottom = detection[6] * h# 绘制矩形框cv.rectangle(frame, (int(left), int(top)), (int(right), int(bottom)), (255, 0, 0), thickness=2)# 绘制类别跟得分label_txt = "score:%.2f" % score# 获取文本的位置和基线(fw, uph), dh = cv.getTextSize(label_txt, font, font_scale, thickness)cv.rectangle(frame, (int(left), int(top) - uph - dh), (int(left) + fw, int(top)), (255, 255, 255), -1, 8)cv.putText(frame, label_txt, (int(left), int(top) - dh), font, font_scale, (255, 0, 255), thickness)e2 = cv.getTickCount()fps = cv.getTickFrequency() / (e2 - e1)cv.putText(frame, label + (" FPS: %.2f" % fps), (10, 50), cv.FONT_HERSHEY_SIMPLEX, 1.0, (0, 0, 255), 2)cv.imshow("face-dectection-demo", frame)# 10ms显示一张图片c = cv.waitKey(10)if c == 27:break# 释放资源cap.release()cv.waitKey(0)cv.destroyAllWindows()# 视频文件执行之后会有警告但是不影响使用

结果示例：

学习参考

本系列所有OpenCv相关的代码示例和内容均来自博主学习的网站：opencv_course

计算机视觉OpenCv学习系列：第十部分、实时人脸检测相关推荐

【OpenCV学习】（十）特征点检测与匹配
[OpenCV学习](十)特征点检测与匹配背景提取图像的特征点是图像领域中的关键任务,不管在传统还是在深度学习的领域中,特征代表着图像的信息,对于分类.检测任务都是至关重要的: 特征点应用的一些场 ...
openCV学习笔记（十二） —— 人脸识别算法（1/3）—— 特征脸 EigenFaces
一.原理 opencv支持3种人脸识别的算法,分别是: 1. Eigen Faces PCA(特征脸方法) 2. Fisher Faces LDA(线性判别分析) 3. ...
深度学习自学（十）：人脸检测android端-JNI调试调用底层检测识别库
一.CmakeLists 1.原始CmakeLists #----------------指定库文件名字(.so)和c++文件路径(可多个) add_library( # Sets the name ...
OpenCV学习笔记（十六）——CamShift研究 OpenCV学习笔记（十七）——运动分析和物体跟踪Video OpenCV学习笔记（十八）——图像的各种变换（cvtColor*+）imgproc
OpenCV学习笔记(十六)--CamShift研究 CamShitf算法,即Continuously Apative Mean-Shift算法,基本思想就是对视频图像的多帧进行MeanShift运算 ...
OpenCV学习笔记（十八）：凸包，最小包围区域算子：convexHull(),minAreaRect(),minEnclosingTriangle(),minEnclosingCircle()
OpenCV学习笔记(十八):凸包,最小包围区域算子:convexHull(),minAreaRect(),minEnclosingTriangle(),minEnclosingCircle() 1. ...
OpenCV学习笔记（十六）：直方图均衡化：equalizeHist()
OpenCV学习笔记(十六):直方图均匀化:equalizeHist() 参考博客: 直方图均衡化的数学原理直方图匹配的数学原理直方图均衡化广泛应用于图像增强中: 直方图均衡化处理的"中 ...
OpenCV学习笔记（十五）：图像仿射变换：warpAffine(),getRotationMatrix2D()
OpenCV学习笔记(十五):图像仿射变换:warpAffine(),getRotationMatrix2D() 一个任意的仿射变换都能表示为乘以一个矩阵(线性变换)接着再加上一个向量(平移)的形式. ...
OpenCV学习笔记（十四）：重映射：remap( )
OpenCV学习笔记(十四):重映射:remap( ) 图像的坐标映射是通过原图像与目标图像之间建立一种映射关系,这种映射关系有两种,一种是计算原图像任意像素在映射后图像的坐标位置,另一种是计算变换后 ...
OpenCV学习笔记（十二）：边缘检测：Canny(),Sobel(),Laplace(),Scharr滤波器
OpenCV学习笔记(十二):边缘检测:Canny(),Sobel(),Laplace(),Scharr滤波器 1)滤波:边缘检测的算法主要是基于图像强度的一阶和二阶导数,但导数通常对噪声很敏感,因此 ...