【人脸识别】基于笑脸数据集Genki4k实现笑脸识别
2024-05-09 02:42:12
目录
- 一、数据集准备
- 二、基于卷积神经网络训练模型
- 1. 构建模型
- 2. 图像数据预处理
- 3. 训练
- 4. 绘制模型的损失图和准确性图像
- 5. 使用该模型进行微笑识别
- 三、使用OpenCV自带的微笑识别库
- 1.代码编写
- 2.运行测试：
- 四、基于Dlib笑脸识别
- 1.代码编写
- 2. 运行测试
- 五、总结
- 六、参考
一、数据集准备
- Genki4k数据集下载
下载地址：https://inc.ucsd.edu/mplab/398.php - 划分数据集
将Genki4k数据集分为测试集与训练集。
并按标签分开存放。
二、基于卷积神经网络训练模型
1. 构建模型
构建代码：
from keras import layers
from keras import models
model = models.Sequential()
model.add(layers.Conv2D(32, (3, 3), activation='relu',input_shape=(150, 150, 3)))
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Conv2D(64, (3, 3), activation='relu'))
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Conv2D(128, (3, 3), activation='relu'))
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Conv2D(128, (3, 3), activation='relu'))
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Flatten())
model.add(layers.Dense(512, activation='relu'))
model.add(layers.Dense(1, activation='sigmoid'))
查看征图的尺寸是如何随着每一层变化的
model.summary()
2. 图像数据预处理
from tensorflow.keras import optimizers
from tensorflow.keras.preprocessing.image import ImageDataGenerator
import os, shutildatagen = ImageDataGenerator(rotation_range=40,width_shift_range=0.2,height_shift_range=0.2,shear_range=0.2,zoom_range=0.2,horizontal_flip=True,fill_mode='nearest')model.compile(loss='binary_crossentropy',optimizer=optimizers.RMSprop(lr=1e-4),metrics=['acc'])base_dir = 'E:\\smile-detection-master\\datasets'
train_dir = os.path.join(base_dir, 'train_folder')
test_dir = os.path.join(base_dir, 'test_folder')# All images will be rescaled by 1./255
# All images will be rescaled by 1./255
train_datagen = ImageDataGenerator(rescale=1./255,rotation_range=40,width_shift_range=0.2,height_shift_range=0.2,shear_range=0.2,zoom_range=0.2,horizontal_flip=True,)test_datagen = ImageDataGenerator(rescale=1./255)train_generator = train_datagen.flow_from_directory(# This is the target directorytrain_dir,# All images will be resized to 150x150target_size=(150, 150),batch_size=32,# Since we use binary_crossentropy loss, we need binary labelsclass_mode='binary')test_generator = test_datagen.flow_from_directory(test_dir,target_size=(150, 150),batch_size=32,class_mode='binary')
生成器的输出：
for data_batch, labels_batch in train_generator:print('data batch shape:', data_batch.shape)print('labels batch shape:', labels_batch.shape)break
3. 训练
代码：
history = model.fit_generator(train_generator,steps_per_epoch=100,epochs=100,validation_data=test_generator,validation_steps=50)
保存模型：
model.save('E:\\smile-detection-master\\models\\smiles_and_unsmiles_small_2.h5')
4. 绘制模型的损失图和准确性图像
acc = history.history['acc']
val_acc = history.history['val_acc']
loss = history.history['loss']
val_loss = history.history['val_loss']
epochs = range(len(acc))
plt.plot(epochs, acc, 'bo', label='Training acc')
plt.plot(epochs, val_acc, 'b', label='Validation acc')
plt.title('Training and validation accuracy')
plt.legend()
plt.figure()
plt.plot(epochs, loss, 'bo', label='Training loss')
plt.plot(epochs, val_loss, 'b', label='Validation loss')
plt.title('Training and validation loss')
plt.legend()
plt.show()
5. 使用该模型进行微笑识别
#检测视频或者摄像头中的人脸
import cv2
from keras.preprocessing import image
from keras.models import load_model
import numpy as np
import dlib
from PIL import Image
model = load_model('D:/smile1/smiles_and_unsmiles_small_2.h5')
detector = dlib.get_frontal_face_detector()
video=cv2.VideoCapture(0)
font = cv2.FONT_HERSHEY_SIMPLEX
def rec(img):gray=cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)dets=detector(gray,1)if dets is not None:for face in dets:left=face.left()top=face.top()right=face.right()bottom=face.bottom()cv2.rectangle(img,(left,top),(right,bottom),(0,255,0),2)img1=cv2.resize(img[top:bottom,left:right],dsize=(150,150))img1=cv2.cvtColor(img1,cv2.COLOR_BGR2RGB)img1 = np.array(img1)/255.img_tensor = img1.reshape(-1,150,150,3)prediction =model.predict(img_tensor) if prediction[0][0]>0.5:result='smile'else:result='unsmile'cv2.putText(img, result, (left,top), font, 2, (0, 255, 0), 2, cv2.LINE_AA)cv2.imshow('Video', img)
while video.isOpened():res, img_rd = video.read()if not res:breakrec(img_rd)if cv2.waitKey(5) & 0xFF == ord('q'):break
video.release()
cv2.destroyAllWindows()
这里采用上面训练出来的模型
smiles_and_unsmiles_small_1.h5
笑脸识别：
非笑脸识别：
三、使用OpenCV自带的微笑识别库
1.代码编写
import cv2face_cascade = cv2.CascadeClassifier(cv2.data.haarcascades+'haarcascade_frontalface_default.xml')eye_cascade = cv2.CascadeClassifier(cv2.data.haarcascades+'haarcascade_eye.xml')smile_cascade = cv2.CascadeClassifier(cv2.data.haarcascades+'haarcascade_smile.xml')
# 调用摄像头摄像头
cap = cv2.VideoCapture(0)while(True):# 获取摄像头拍摄到的画面ret, frame = cap.read()faces = face_cascade.detectMultiScale(frame, 1.3, 2)img = framefor (x,y,w,h) in faces:# 画出人脸框，颜色自己定义，画笔宽度微img = cv2.rectangle(img,(x,y),(x+w,y+h),(255,225,0),2)# 框选出人脸区域，在人脸区域而不是全图中进行人眼检测，节省计算资源face_area = img[y:y+h, x:x+w]## 人眼检测# 用人眼级联分类器引擎在人脸区域进行人眼识别，返回的eyes为眼睛坐标列表eyes = eye_cascade.detectMultiScale(face_area,1.3,10)for (ex,ey,ew,eh) in eyes:#画出人眼框，绿色，画笔宽度为1cv2.rectangle(face_area,(ex,ey),(ex+ew,ey+eh),(0,255,0),1)## 微笑检测# 用微笑级联分类器引擎在人脸区域进行人眼识别，返回的eyes为眼睛坐标列表smiles = smile_cascade.detectMultiScale(face_area,scaleFactor= 1.16,minNeighbors=65,minSize=(25, 25),flags=cv2.CASCADE_SCALE_IMAGE)for (ex,ey,ew,eh) in smiles:#画出微笑框，（BGR色彩体系），画笔宽度为1cv2.rectangle(face_area,(ex,ey),(ex+ew,ey+eh),(0,0,255),1)cv2.putText(img,'Smile',(x,y-7), 3, 1.2, (222, 0, 255), 2, cv2.LINE_AA)# 实时展示效果画面cv2.imshow('frame2',img)# 每5毫秒监听一次键盘动作if cv2.waitKey(5) & 0xFF == ord('q'):break# 最后，关闭所有窗口
cap.release()
cv2.destroyAllWindows()
2.运行测试：
笑脸识别：
非笑脸识别：
四、基于Dlib笑脸识别
1.代码编写
import sys
import dlib # 人脸识别的库dlib
import numpy as np # 数据处理的库numpy
import cv2 # 图像处理的库OpenCvclass face_emotion():def __init__(self):# 使用特征提取器get_frontal_face_detectorself.detector = dlib.get_frontal_face_detector()# dlib的68点模型，使用作者训练好的特征预测器self.predictor = dlib.shape_predictor("shape_predictor_68_face_landmarks.dat")# 建cv2摄像头对象，这里使用电脑自带摄像头，如果接了外部摄像头，则自动切换到外部摄像头self.cap = cv2.VideoCapture(0)# 设置视频参数，propId设置的视频参数，value设置的参数值self.cap.set(3, 480)# 截图screenshoot的计数器self.cnt = 0def learning_face(self):# 眉毛直线拟合数据缓冲line_brow_x = []line_brow_y = []# cap.isOpened（） 返回true/false 检查初始化是否成功while (self.cap.isOpened()):# cap.read()# 返回两个值：# 一个布尔值true/false，用来判断读取视频是否成功/是否到视频末尾# 图像对象，图像的三维矩阵flag, im_rd = self.cap.read()# 每帧数据延时1ms，延时为0读取的是静态帧k = cv2.waitKey(1)# 取灰度img_gray = cv2.cvtColor(im_rd, cv2.COLOR_RGB2GRAY)# 使用人脸检测器检测每一帧图像中的人脸。并返回人脸数rectsfaces = self.detector(img_gray, 0)# 待会要显示在屏幕上的字体font = cv2.FONT_HERSHEY_SIMPLEX# 如果检测到人脸if (len(faces) != 0):# 对每个人脸都标出68个特征点for i in range(len(faces)):# enumerate方法同时返回数据对象的索引和数据，k为索引，d为faces中的对象for k, d in enumerate(faces):# 用红色矩形框出人脸cv2.rectangle(im_rd, (d.left(), d.top()),(d.right(), d.bottom()), (0, 0, 255))# 计算人脸热别框边长self.face_width = d.right() - d.left()# 使用预测器得到68点数据的坐标shape = self.predictor(im_rd, d)# 圆圈显示每个特征点for i in range(68):cv2.circle(im_rd, (shape.part(i).x, shape.part(i).y), 2, (222, 222, 0), -1, 8)#cv2.putText(im_rd, str(i), (shape.part(i).x, shape.part(i).y), cv2.FONT_HERSHEY_SIMPLEX, 0.5,# (255, 255, 255))# 分析任意n点的位置关系来作为表情识别的依据mouth_width = (shape.part(54).x - shape.part(48).x) / self.face_width # 嘴巴咧开程度mouth_higth = (shape.part(66).y - shape.part(62).y) / self.face_width # 嘴巴张开程度# 通过两个眉毛上的10个特征点，分析挑眉程度和皱眉程度brow_sum = 0 # 高度之和frown_sum = 0 # 两边眉毛距离之和for j in range(17, 21):brow_sum += (shape.part(j).y - d.top()) + \(shape.part(j + 5).y - d.top())frown_sum += shape.part(j + 5).x - shape.part(j).xline_brow_x.append(shape.part(j).x)line_brow_y.append(shape.part(j).y)# self.brow_k, self.brow_d = self.fit_slr(line_brow_x, line_brow_y) # 计算眉毛的倾斜程度tempx = np.array(line_brow_x)tempy = np.array(line_brow_y)z1 = np.polyfit(tempx, tempy, 1) # 拟合成一次直线# 拟合出曲线的斜率和实际眉毛的倾斜方向是相反的self.brow_k = -round(z1[0], 3)brow_hight = (brow_sum / 10) / \self.face_width # 眉毛高度占比brow_width = (frown_sum / 5) / \self.face_width # 眉毛距离占比# 眼睛睁开程度eye_sum = (shape.part(41).y - shape.part(37).y + shape.part(40).y - shape.part(38).y +shape.part(47).y - shape.part(43).y + shape.part(46).y - shape.part(44).y)eye_hight = (eye_sum / 4) / self.face_width# 分情况讨论# 张嘴，可能是开心或者惊讶if round(mouth_higth >= 0.03):if eye_hight >= 0.056:cv2.putText(im_rd, "amazing", (d.left(), d.bottom() + 20), cv2.FONT_HERSHEY_SIMPLEX,0.8,(0, 0, 255), 2, 4)else:cv2.putText(im_rd, "smile", (d.left(), d.bottom() + 20), cv2.FONT_HERSHEY_SIMPLEX, 0.8,(0, 0, 255), 2, 4)# 没有张嘴，可能是正常和生气else:if self.brow_k <= -0.3:cv2.putText(im_rd, "angry", (d.left(), d.bottom() + 20), cv2.FONT_HERSHEY_SIMPLEX, 0.8,(0, 0, 255), 2, 4)else:cv2.putText(im_rd, "nosmile", (d.left(), d.bottom() + 20), cv2.FONT_HERSHEY_SIMPLEX, 0.8,(0, 0, 255), 2, 4)# 标出人脸数cv2.putText(im_rd, "Faces: " + str(len(faces)),(20, 50), font, 1, (0, 0, 255), 1, cv2.LINE_AA)else:# 没有检测到人脸cv2.putText(im_rd, "No Face", (20, 50), font,1, (0, 0, 255), 1, cv2.LINE_AA)im_rd = cv2.putText(im_rd, "Q: quit", (20, 450),font, 0.8, (0, 0, 255), 1, cv2.LINE_AA)# 按下q键退出if (k == ord('q')):break# 窗口显示cv2.imshow("camera", im_rd)# 释放摄像头self.cap.release()# 删除建立的窗口cv2.destroyAllWindows()
if __name__ == "__main__":my_face = face_emotion()my_face.learning_face()
2. 运行测试
笑脸识别：
非笑脸识别：
五、总结
本文利用Genki4k人脸微笑数据集，分别通过搭建卷积神经网络模型、Dlib，以及OpenCV自带的微笑识别库，完成人脸实时的微笑识别，
六、参考
https://blog.csdn.net/lxzysx/article/details/107028257
https://blog.csdn.net/qq_41133375/article/details/107141898
【人脸识别】基于笑脸数据集Genki4k实现笑脸识别相关推荐
- 神经网络--基于mnist数据集取得最高的识别准确率
前言: Hello大家好,我是Dream. 今天来学习一下如何基于mnist数据集取得最高的识别准确率,本文是从零开始的,如有需要可自行跳至所需内容~ 本文目录: 1.调用库函数 2.调用数据集 3. ...
- 基于kaggle数据集的猫狗识别(超详细版本)
目录 下载kaggle数据集 创建新的小数据集 构建猫狗分类的小型卷积神经网络 猫狗分类的网络架构 模型的配置 图像的预处理 利用批量生成器拟合模型 绘制精度和损失 结果显示 随机增强后的训练图像显示 ...
- TensorFlow基于minist数据集实现手写字识别实战的三个模型
手写字识别 model1:输入层→全连接→输出层softmax model2:输入层→全连接→隐含层→全连接→输出层softmax model3:输入层→卷积层1→卷积层2→全连接→dropout层→ ...
- 基于Urbansound8K数据集的环境声识别的方法简述
文章目录 摘要 准备工作 论文整理 参考文献 摘要 根据城市环境声识别的要求,为了选择更优的环境声事件识别方案,我对与UrbanSound8K声音数据集相关的论文进行了搜集.比较.分析,据此来给当前面 ...
- Android应用开发病虫害识别,基于Android平台的枣虫害识别系统的设计与实现
摘要: 枣树害虫种类繁杂,繁衍速度快,周期短,危害症状各不相同,防治措施也不尽相同.传统的枣虫害识别方法在对虫害进行识别的时候一般是依据提取到的虫害颜色,纹理形态等特征来进行识别的,然后再和数据库中的 ...
- linux车牌识别,基于嵌入式Linux的电子车牌识别系统设计与实现
摘要: 本文研究的电子车牌识别系统,是国内近几年非常热门的研究项目之一.电子车牌识别系统在车辆管理方面具有可靠性高,操作简单,成本低廉等优点,对于解决城市车流量监控,道路拥堵,车辆非法营运等问题将会有 ...
- 基于声音的击键信号识别
摘要 本文文章采用击键信号的短时能量及峰值片段的幅度及各个幅度对应的频率作为特征向量.采用声音搜集装置搜集敲击键盘产生的声音信号,并对声音信号进行巴特沃斯滤波方法进行滤波预处理:将上述经过滤波得到的信 ...
- 二维码识别 基于stm32 ov7725
二维码识别 基于stm32 ov7725 二维码识别技术在我们的生活中应用的很方便了,但基本都是基于手机的,目前在公交车上也存在了扫描二维码的机器,上次坏了之后,发现一只小企鹅,原来是基于linux的 ...
- 【技术】基于 SpringBoot实现 Word 和 PDF 识别
基于 SpringBoot实现 Word 和 PDF 识别 基于 SpringBoot 实现 Word 和 PDF 识别 识别 Word 识别 PDF 基于 SpringBoot 实现 Word 和 ...
最新文章
- java servlet html文件_Servlet生成html页面
- Java 内存泄漏监控检测与分析
- STM32 HAL库详解 及 手动移植
- Xcode执行Analyze静态分析
- 计算机图形学方向投稿国外期刊
- 3.10 神经网络的梯度下降法-推导
- java有关问题,Java常见有关问题和解决方法
- extern关键字的作用_一文搞懂static关键字与链接性
- 逻辑斯蒂回归和感知机模型、支持向量机模型对比
- KX022-1020 3轴 传感器 LGA RT8577AGQW LED驱动器
- [Java] 用java写的植物大战僵尸辅助
- python:文献引文网络构建——基于web of science
- iframe 的使用理解
- 【面试技巧】你对我们公司了解多少
- H1B工作签证紧俏 “中签率”低对中国留学生影响大-中新网
- Board (染色思想)
- java中包地作用_什么是PCB设计中的包地
- 2016年4月管理计算机应,2016年4月计算机应用能力题库
- “香约宁波”寻觅城市文化味
- HFSS低版本如何打开高版本的文件