一、数据集下载

1.链接：https://pan.baidu.com/s/1__x-U4JE_2hYbrvU2-7kIg

提取码：jybn
2.里面有文件，files是图片，labels.txt是标签文件

二、提取人脸并判别是否为笑脸

（一）数据处理

1.导入包

# 导入包
import numpy as np
import cv2
import dlib
import random#构建随机测试集和训练集
from sklearn.svm import SVC #导入svm
from sklearn.svm import LinearSVC #导入线性svm
from sklearn.pipeline import Pipeline #导入python里的管道
import os
import joblib#保存模型
from sklearn.preprocessing import StandardScaler,PolynomialFeatures #导入多项式回归和标准化
import tqdm

2.文件路径

folder_path='E:/BaiduNetdiskDownload/genki4k (1)/genki4k/'
label='labels.txt'#标签文件
pic_folder='files/'#图片文件路径

3.获得默认的人脸检测器和训练好的人脸68特征点检测器

#获得默认的人脸检测器和训练好的人脸68特征点检测器
def get_detector_and_predicyor():#使用dlib自带的frontal_face_detector作为我们的特征提取器detector = dlib.get_frontal_face_detector()"""功能：人脸检测画框参数：PythonFunction和in Classesin classes表示采样次数，次数越多获取的人脸的次数越多，但更容易框错返回值是矩形的坐标，每个矩形为一个人脸（默认的人脸检测器）"""#返回训练好的人脸68特征点检测器predictor = dlib.shape_predictor('./shape_predictor_68_face_landmarks.dat')return detector,predictor
#获取检测器
detector,predictor=get_detector_and_predicyor()

4.截取面部的函数

def cut_face(img,detector,predictor):   #截取面部img_gry=cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)rects = detector(img_gry, 0)  if len(rects)!=0:mouth_x=0mouth_y=0landmarks = np.matrix([[p.x, p.y] for p in predictor(img,rects[0]).parts()])for i in range(47,67):#嘴巴范围mouth_x+=landmarks[i][0,0]mouth_y+=landmarks[i][0,1]mouth_x=int(mouth_x/20)mouth_y=int(mouth_y/20)#裁剪图片img_cut=img_gry[mouth_y-20:mouth_y+20,mouth_x-20:mouth_x+20]return img_cutelse:return 0#检测不到人脸返回0

5.提取特征值

#提取特征值
def get_feature(files_train,face,face_feature):for i in tqdm.tqdm(range(len(files_train))):img=cv2.imread(folder_path+pic_folder+files_train[i])cut_img=cut_face(img,detector,predictor)if type(cut_img)!=int:face.append(True)cut_img=cv2.resize(cut_img,(64,64))#padding:边界处理的paddingpadding=(8,8)winstride=(16,16)hogdescrip=hog.compute(cut_img,winstride,padding).reshape((-1,))face_feature.append(hogdescrip)else:face.append(False)#没有检测到脸的face_feature.append(0)

6.去掉检测不到脸的图片的特征并返回特征数组和相应标签

def filtrate_face(face,face_feature,face_site): #去掉检测不到脸的图片的特征并返回特征数组和相应标签   face_features=[]#获取标签label_flag=[]with open(folder_path+label,'r') as f:lines=f.read().splitlines()#筛选出能检测到脸的，并收集对应的labelfor i in tqdm.tqdm(range(len(face_site))):if face[i]:#判断是否检测到脸#pop之后要删掉当前元素，后面的元素也要跟着前移，所以每次提取第一位就行了face_features.append(face_feature.pop(0))label_flag.append(int(lines[face_site[i]][0])) else:face_feature.pop(0)datax=np.float64(face_features)datay=np.array(label_flag)return datax,datay

7.多项式svm

def PolynomialSVC(degree,c=10):#多项式svmreturn Pipeline([# 将源数据 映射到 3阶多项式("poly_features", PolynomialFeatures(degree=degree)),# 标准化("scaler", StandardScaler()),# SVC线性分类器("svm_clf", LinearSVC(C=10, loss="hinge", random_state=42,max_iter=10000))])

8.#svm高斯核

#svm高斯核
def RBFKernelSVC(gamma=1.0):return Pipeline([('std_scaler',StandardScaler()),('svc',SVC(kernel='rbf',gamma=gamma))])

9.训练

def train(files_train,train_site):#训练'''files_train:训练文件名的集合train_site :训练文件在文件夹里的位置'''#是否检测到人脸train_face=[]#人脸的特征数组train_feature=[]#提取训练集的特征数组get_feature(files_train,train_face,train_feature)#筛选掉检测不到脸的特征数组train_x,train_y=filtrate_face(train_face,train_feature,train_site)svc=PolynomialSVC(degree=1)svc.fit(train_x,train_y)return svc#返回训练好的模型

10.预测，查看结果集

def test(files_test,test_site,svc):#预测，查看结果集'''files_train:训练文件名的集合train_site :训练文件在文件夹里的位置'''#是否检测到人脸test_face=[]#人脸的特征数组test_feature=[]#提取训练集的特征数组get_feature(files_test,test_face,test_feature)#筛选掉检测不到脸的特征数组test_x,test_y=filtrate_face(test_face,test_feature,test_site)pre_y=svc.predict(test_x)ac_rate=0for i in range(len(pre_y)):if(pre_y[i]==test_y[i]):ac_rate+=1ac=ac_rate/len(pre_y)*100print("准确率为"+str(ac)+"%")return ac

11.设置hog的参数

#设置hog的参数
winsize=(64,64)
blocksize=(32,32)
blockstride=(16,16)
cellsize=(8,8)
nbin=9
#定义hog
hog=cv2.HOGDescriptor(winsize,blocksize,blockstride,cellsize,nbin)
#获取文件夹里有哪些文件
files=os.listdir(folder_path+pic_folder)

12.数据集中随机的9/10做为训练集，剩下的1/10做为测试集,进行十次（此步骤时间会有点长，多等一会儿）

ac=float(0)
for j in range(10):site=[i for i in range(4000)]#训练所用的样本所在的位置train_site=random.sample(site,3600)#预测所用样本所在的位置test_site=[]for i in range(len(site)):if site[i] not in train_site:test_site.append(site[i])files_train=[]#训练集,占总数的十分之九for i in range(len(train_site)):files_train.append(files[train_site[i]])#测试集files_test=[]for i in range(len(test_site)):files_test.append(files[test_site[i]])svc=train(files_train,train_site)ac=ac+test(files_test,test_site,svc)save_path='E:/BaiduNetdiskDownload/genki4k (1)/genki4k'+str(j)+'(hog).pkl'joblib.dump(svc,save_path)
ac=ac/10
print("平均准确率为"+str(ac)+"%")

检测结果：

并且会生成以下文件：

13.检测函数

def test1(files_test,test_site,svc):#预测，查看结果集'''files_train:训练文件名的集合train_site :训练文件在文件夹里的位置'''#是否检测到人脸test_face=[]#人脸的特征数组test_feature=[]#提取训练集的特征数组get_feature(files_test,test_face,test_feature)#筛选掉检测不到脸的特征数组test_x,test_y=filtrate_face(test_face,test_feature,test_site)pre_y=svc.predict(test_x)tp=0tn=0for i in range(len(pre_y)):if pre_y[i]==test_y[i] and pre_y[i]==1:tp+=1elif pre_y[i]==test_y[i] and pre_y[i]==0:tn+=1f1=2*tp/(tp+len(pre_y)-tn)print(f1)

svc7=joblib.load('E:/BaiduNetdiskDownload/genki4k (1)/genki4k9(hog).pkl')
site=[i for i in range(4000)]
#训练所用的样本所在的位置
train_site=random.sample(site,3600)
#预测所用样本所在的位置
test_site=[]
for i in range(len(site)):if site[i] not in train_site:test_site.append(site[i])
#测试集
files_test=[]
for i in range(len(test_site)):files_test.append(files[test_site[i]])
test1(files_test,test_site,svc7)

14.笑脸检测函数

#笑脸检测函数
def smile_detector(img,svc):cut_img=cut_face(img,detector,predictor)a=[]if type(cut_img)!=int:cut_img=cv2.resize(cut_img,(64,64))#padding:边界处理的paddingpadding=(8,8)winstride=(16,16)hogdescrip=hog.compute(cut_img,winstride,padding).reshape((-1,))a.append(hogdescrip)result=svc.predict(a)a=np.array(a)return result[0]else :return 2

前面的都做完，可以开始测试了！

（二）测试

1.图片检测

##图片检测
pic_path='./he.jpeg'
img=cv2.imread(pic_path)
result=smile_detector(img,svc7)
if result==1:img=cv2.putText(img,'smile',(21,50),cv2.FONT_HERSHEY_COMPLEX,2.0,(0,255,0),1)
elif result==0:img=cv2.putText(img,'no smile',(21,50),cv2.FONT_HERSHEY_COMPLEX,2.0,(0,255,0),1)
else:img=cv2.putText(img,'no face',(21,50),cv2.FONT_HERSHEY_COMPLEX,2.0,(0,255,0),1)
cv2.imshow('video', img)
cv2.waitKey(0)

2.结果

三、视频识别并保存图片

1.使用前面的步骤

2.将图片检测的代码换成下面的代码

camera = cv2.VideoCapture(0)#打开摄像头
ok=True
flag=0
# 打开摄像头 参数为输入流，可以为摄像头或视频文件
while ok:ok,img = camera.read()# 转换成灰度图像result=smile_detector(img,svc7)if result==1:img=cv2.putText(img,'smile',(21,50),cv2.FONT_HERSHEY_COMPLEX,2.0,(0,255,0),1)elif result==0:img=cv2.putText(img,'no smile',(21,50),cv2.FONT_HERSHEY_COMPLEX,2.0,(0,255,0),1)else:img=cv2.putText(img,'no face',(21,50),cv2.FONT_HERSHEY_COMPLEX,2.0,(0,255,0),1)cv2.imshow('video', img)k = cv2.waitKey(1)if k == 27:    # press 'ESC' to quitbreakelif k==115:pic_save_path='E:/BaiduNetdiskDownload/genki4k (1)/result/'+str(flag)+'.jpg'flag+=1cv2.imwrite(pic_save_path,img)
camera.release()
cv2.destroyAllWindows()

3.按下s开始保存图片，点击esc退出视频

4.例如（12.jpg）：

四、总结

本次实验对图片进行了处理，使用了HOG+SVM+opencv实现笑脸检测

五、参考链接

微笑识别(HOG+SVM+opencv+python)

利用人脸微笑数据集训练识别模型，完成对人脸图片微笑识别相关推荐

NLP之TM之LDA：利用LDA算法瞬时掌握文档的主题内容—利用希拉里邮件数据集训练LDA模型并对新文本进行主题分类
NLP之TM之LDA:利用LDA算法瞬时掌握文档的主题内容-利用希拉里邮件数据集训练LDA模型并对新文本进行主题分类目录输出结果设计思路核心代码训练数据集 LDA模型应用输出结果设计思路 ...
TF之pix2pix之dataset：基于TF利用自己的数据集训练pix2pix模型之DIY自己的数据集
TF之pix2pix之dataset:基于TF利用自己的数据集训练pix2pix模型之DIY自己的数据集目录转换图像并合并 1.A 类图像将挖去中心像素后得到B 类图像 2.生成并列图像样本的全过 ...
TF之pix2pix：基于TF利用Facades数据集训练pix2pix模型、测试并进行生成过程全记录
TF之pix2pix:基于TF利用Facades数据集训练pix2pix模型.测试并进行生成过程全记录目录 TB监控 1.SCALARS 2.IMAGES 3.GRAPHS 4.DISTRIBUTI ...
ML之NB：(NLP)基于sklearn库利用不同语种数据集训练NB(朴素贝叶斯)算法，对新语种进行语种检测
ML之NB:(NLP)基于sklearn库利用不同语种数据集训练NB(朴素贝叶斯)算法,对新语种进行语种检测目录输出结果训练数据集设计思路核心代码输出结果测试01:I love you ...
TensorFlow笔记（3）——利用TensorFlow和MNIST数据集训练一个最简单的手写数字识别模型...
前言当我们开始学习编程的时候,第一件事往往是学习打印"Hello World".就好比编程入门有Hello World,机器学习入门有MNIST. MNIST是一个入门级的计算机 ...
tensorflow精进之路(二十四)——Object Detection API目标检测(中)（COCO数据集训练的模型—ssd_mobilenet_v1_coco模型）
1.概述上一讲简单的讲了目标检测的原理以及Tensorflow Object Detection API的安装,这一节继续讲Tensorflow Object Detection API怎么用. 2 ...
coco 数据集_如何用 coco 数据集训练 Detectron2 模型？
随着最新的 Pythorc1.3 版本的发布,下一代完全重写了它以前的目标检测框架,新的目标检测框架被称为 Detectron2.本教程将通过使用自定义 coco 数据集训练实例分割模型,帮助你开始使 ...
使用 COCO 数据集训练 YOLOv4-CSP 模型
文章目录前言 1. 创建 YOLOv4-CSP 模型 2. 使用 tf.data.Dataset 3. 对 COCO 2017 数据集的处理 3.1 处理 COCO 2017 数据集的标注信息 3. ...
python文字识别算法_Python图像处理之图片文字识别（OCR）
OCR与Tesseract介绍将图片翻译成文字一般被称为光学文字识别(Optical Character Recognition,OCR).可以实现OCR 的底层库并不多,目前很多库都是使用共同的几 ...

利用人脸微笑数据集训练识别模型，完成对人脸图片微笑识别

目录