Python 3 利用 Dlib 和 sklearn 人脸笑脸检测机器学习建模
0. 引言
利用机器学习的方法训练微笑检测模型，输入一张人脸照片，判断是否微笑；
精度在 95% 左右（ 使用的数据集中 69 张没笑脸，65 张有笑脸 ）；
图1 测试图像与检测结果
项目实现的笑脸识别，并不是通过 计算嘴唇角度，满足一定弧度认定为笑脸进行判定，
而是通过机器学习模型，让模型去 学习人脸嘴唇的坐标和判定笑脸的关系:
输入: 人脸嘴唇的坐标
输出: 有没笑脸
借助 Dlib 进行 人脸嘴部 20 个特征点坐标（ 40 维特征）的提取，然后根据这 40 维输入特征 作为 模型输入， 1 维特征（ 1 代表有微笑 / 0 代表没微笑）作为 输出，进行 Machine Learning 建模;
利用几种机器学习模型进行建模，达到一个二分类（分类 有/无 笑脸）的目的，然后分析模型识别精度和性能，并且可以识别给定图片的人脸是否微笑；
源码：
GitHub: https://github.com/coneypo/Smile_Detector
1. get_features.py :
get_features(img_rd, pos_49to68) # 输入人脸图像路径，利用 Dlib 的 “shape_predictor_68_face_landmarks.dat” 提取嘴部20个特征点坐标的40个特征值；
write_into_CSV() # 将40维特征输入和1维的输出标记（1代表有微笑/0代表没微笑）写入 CSV 文件中；
2. ML_ways_sklearn.py :
pre_data() # 读取 CSV 中的数据，然后提取出训练集 X_train 和测试集 X_test 3. show_lip.py :
显示某人嘴唇的位置
4. check_smiles.py:
输入给定测试图像，用 ML 模型检测其 有/无笑脸；
用到的几种机器学习分类模型：
model_LR() ， Logistic Regression， （线性模型）中的逻辑斯特回归
model_Linear SVC() ，Support Vector Classification， （支持向量机）中的线性支持向量分类
model_MLPC() ， Multi-Layer Perceptron Classification， （神经网络）多层感知机分类
model_SGDC() ， Stochastic Gradient Descent Classification，（线性模型）随机梯度法求解
1. 开发环境
Python: 3.6.3
Dlib: 19.7
OpenCv, NumPy, sklearn, pandas, os, csv 等
get_features.py 中调用的库：
1 import dlib # 人脸识别的库 Dlib 2 import numpy as np # 数据处理的库 Numpy 3 import cv2 # 图像处理的库 OpenCv 4 import os # 读取文件 5 import csv # csv操作
ML_ways_sklearn.py 中调用的库：
1 # pd 读取 CSV 2 import pandas as pd 3 4 # 分割数据 5 from sklearn.model_selection import train_test_split 6 7 # 用于数据预加工标准化 8 from sklearn.preprocessing import StandardScaler 9 10 from sklearn.linear_model import LogisticRegression # 线性模型中的Logistic回归模型 11 from sklearn.neural_network import MLPClassifier # 神经网络模型中的多层网络模型 12 from sklearn.svm import LinearSVC # SVM模型中的线性SVC模型 13 from sklearn.linear_model import SGDClassifier # 线性模型中的随机梯度下降模型
使用的人脸来自于 The MUCT Face Database（Link: http://www.milbo.org/muct/）
(The MUCT database was prepared by Stephen Milborrow, John Morkel, and Fred Nicolls in December 2008 at the University Of Cape Town. We would like to send out a thanks to the people who allowed their faces to be used.)
2. 设计流程
工作内容主要以下两大块：提取人脸特征 和 建模；
整体的设计流程如下图所示：
图 2 总体设计流程图
2.1 提取人脸特征：
该部分的设计流程图：
图 3 人脸提取特征部分流程图
先在项目目录下建立两个文件夹，分别存放
有笑脸的人脸的路径 : path_images_with_smiles = "data_imgs/database/smiles/"
无笑脸的人脸的路径: path_images_no_smiles = "data_imgs/database/no_smiles/"
这样之后读取的时候就可以知道人脸的标记有/无人脸；
关于利用 Dlib 进行人脸 68个特征点的提取，在我之前另一篇博客里面介绍过 (link: http://www.cnblogs.com/AdaminXie/p/7905888.html)；
本项目中只使用其中嘴部 20个特征点的坐标作为特征输入，20个点的序号如下图所示：
图 4 Dlib 标定的嘴部特征点序号
20 个特征点 40 个坐标值的提取，由 get_features() 函数实现；
输入是图像文件所在路径，返回的的是数组 pos_49to68（40个为特征点坐标值）
1 # 输入图像文件所在路径，返回一个41维数组（包含提取到的40维特征和1维输出标记） 2 def get_features(img_rd): 3 4 # 输入: img_rd: 图像文件 5 # 输出: pos_49to68: feature 49 to feature 68, 20 feature points in all, 40 points 6 7 # read img file 8 img = cv2.imread(img_rd) 9 # 取灰度 10 img_gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) 11 12 # 计算 68 点坐标 13 pos_68 = [] 14 rects = detector(img_gray, 0) 15 landmarks = np.matrix([[p.x, p.y] for p in predictor(img, rects[0]).parts()]) 16 17 for idx, point in enumerate(landmarks): 18 # 68点的坐标 19 pos = (point[0, 0], point[0, 1]) 20 pos_68.append(pos) 21 22 pos_49to68 = [] 23 # 将点 49-68 写入 CSV 24 # 即 pos_68[48]-pos_68[67] 25 for i in range(48, 68): 26 pos_49to68.append(pos_68[i][0]) 27 pos_49to68.append(pos_68[i][1]) 28 29 return pos_49to68
然后就遍历两个存放有/无笑脸的文件夹，读取图像文件，然后利用 get_features() 函数得到特征值，写入 CSV 中：
1 def write_into_CSV():
2 with open(path_csv+"data.csv", "w", newline="") as csvfile:
3 writer = csv.writer(csvfile)
4
5 # 处理带笑脸的图像
6 print("######## with smiles #########")
7 for i in range(len(imgs_smiles)):
8 print("img:", path_pic_smiles, imgs_smiles[i])
9
10 # 用来存放41维特征
11 features_csv_smiles = []
12
13 # append "1" means "with smiles"
14 get_features(path_pic_smiles+imgs_smiles[i], features_csv_smiles)
15 features_csv_smiles.append(1)
16 print("features:", features_csv_smiles, "\n")
17
18 # 写入CSV
19 writer.writerow(features_csv_smiles)
20
21 # 处理不带笑脸的图像
22 print("######## no smiles #########")
23 for i in range(len(imgs_no_smiles)):
24 print("img", path_pic_no_smiles, imgs_no_smiles[i])
25
26 # 用来存放41维特征
27 features_csv_no_smiles = []
28
29 # append "0" means "no smiles"
30 get_features(path_pic_no_smiles+imgs_no_smiles[i], features_csv_no_smiles)
31 features_csv_no_smiles.append(0)
32 print("features:", features_csv_no_smiles, "\n")
33
34 # 写入CSV
35 writer.writerow(features_csv_no_smiles)会得到一个 41 列的 CSV 文件，前 40 列为 40 维的输入特征，第 41 列为笑脸标记。
show_lip.py
1 # Created on: 2018-01-27
2 # Updated on: 2018-09-06
3
4 # Author: coneypo
5 # Blog: http://www.cnblogs.com/AdaminXie/
6 # Github: https://github.com/coneypo/Smile_Detector
7
8 # draw the positions of someone's lip
9
10 import dlib # 人脸识别的库 Dlib
11 import cv2 # 图像处理的库 OpenCv
12 from get_features import get_features # return the positions of feature points
13
14 path_test_img = "data_imgs/test_imgs/i064rc-mn.jpg"
15
16 detector = dlib.get_frontal_face_detector()
17 predictor = dlib.shape_predictor('shape_predictor_68_face_landmarks.dat')
18
19 pos_49to68 = get_features(path_test_img)
20
21 img_rd = cv2.imread(path_test_img)
22
23 # draw on the lip points
24 for i in range(0, len(pos_49to68), 2):
25 print(pos_49to68[i],pos_49to68[i+1])
26 cv2.circle(img_rd, tuple([pos_49to68[i],pos_49to68[i+1]]), radius=1, color=(0,255,0))
27
28 cv2.namedWindow("img_read", 2)
29 cv2.imshow("img_read", img_rd)
30 cv2.waitKey(0)2.2 ML 建模和测试
这部分机器学习模型使用比较简单，之前的特征提取已经完成，写入了 CSV 文件中；接下来就是要从 CSV 中将想要的数据集提取出来，利用 sklearn 进行机器学习建模。
2.2.1 数据预加工
利用 pands.read_csv 读取 CSV 文件，然后利用 train_test_split 进行数据分割；
得到 训练集：X_train, y_train 和 测试集：X_test, y_test
1 # 从 csv 读取数据
2 def pre_data():
3 # 41维表头
4 column_names = []
5 for i in range(0, 40):
6 column_names.append("feature_" + str(i + 1))
7 column_names.append("output")
8
9 # read csv
10 rd_csv = pd.read_csv("data_csv/data.csv", names=column_names)
11
12 # 输出 csv 文件的维度
13 # print("shape:", rd_csv.shape)
14
15 X_train, X_test, y_train, y_test = train_test_split(
16
17 # input 0-40
18 # output 41
19 rd_csv[column_names[0:40]],
20 rd_csv[column_names[40]],
21
22 # 25% for test, 75% for train
23 test_size=0.25,
24 random_state=33)
25
26 return X_train, X_test, y_train, y_test2.2.2 机器学习建模
几种建模方法在 sklearn 中实现的代码类似，所以在此只介绍 LR, logistic regression, 逻辑斯特回归分类，它是属于线性模型一种；
1 from sklearn.linear_model import LogisticRegression
利用 LR.fit 训练数据：LR.fit(X_train_LR, y_train_LR)，利用 LR.predict 预测标记：y_predict_LR = LR_predict(X_test_LR)；
返回 ss_LR 和 LR，需要这两个返回值，是因为之后要利用它们对给定图像的进行检测，之后 2.2.3 节会介绍；
1 # LR, logistic regression, 逻辑斯特回归分类（线性模型）
2 def model_LR():
3 # get data
4 X_train_LR, X_test_LR, y_train_LR, y_test_LR = pre_data()
5
6 # 数据预加工
7 # 标准化数据，保证每个维度的特征数据方差为1，均值为0。使得预测结果不会被某些维度过大的特征值而主导
8 ss_LR = StandardScaler()
9 X_train_LR = ss_LR.fit_transform(X_train_LR)
10 X_test_LR = ss_LR.transform(X_test_LR)
11
12 # 初始化 LogisticRegression
13 LR = LogisticRegression()
14
15 # 调用 LogisticRegression 中的 fit() 来训练模型参数
16 LR.fit(X_train_LR, y_train_LR)
17
18 # save LR model
19 joblib.dump(LR, path_models + "model_LR.m")
20
21 # 评分函数
22 score_LR = LR.score(X_test_LR, y_test_LR)
23 # print("The accurary of LR:", score_LR)
24
25 return (ss_LR)我的数据集里面是69张没笑脸，65张有笑脸，测试精度如下，精度在95%附近：
The accurary of LR: 0.941176470588 The accurary of SGD: 0.882352941176 The accurary of SVM: 0.941176470588 The accurary of MLP: 0.970588235294
2.2.3 测试单张图片
现在我们已经建好机器学习模型，在 2.2.2 中可以利用 sklearn 机器学习模型的 score 函数得到模型精度;
但是如果想检测给定图像的笑脸，需要进行该部分工作：path_test_pic 就是需要进行检测的文件路径，需要精确到图像文件，比如 “F:/pic/test.pic”;
然后调用 get_features.py 中的 get_features() 函数进行特征提取，得到给定图像的40维特征数组 pos_49_68；
check_smile.py:
1 # Created on: 2018-01-27
2 # Updated on: 2018-09-07
3 # Author: coneypo
4 # Blog: http://www.cnblogs.com/AdaminXie/
5 # Github: https://github.com/coneypo/Smile_Detector
6
7 # use the saved model
8 from sklearn.externals import joblib
9
10 from get_features import get_features
11 import ML_ways_sklearn
12
13 import cv2
14
15 # path of test img
16 path_test_img = "data_imgs/test_imgs/test1.jpg"
17
18 # 提取单张40维度特征
19 pos_49to68_test = get_features(path_test_img)
20
21 # path of models
22 path_models = "data_models/"
23
24 print("The result of"+path_test_img+":")
25 print('\n')
26
27 # ######### LR ###########
28 LR = joblib.load(path_models+"model_LR.m")
29 ss_LR = ML_ways_sklearn.model_LR()
30 X_test_LR = ss_LR.transform([pos_49to68_test])
31 y_predict_LR = str(LR.predict(X_test_LR)[0]).replace('0', "no smile").replace('1', "with smile")
32 print("LR:", y_predict_LR)
33
34 # ######### LSVC ###########
35 LSVC = joblib.load(path_models+"model_LSVC.m")
36 ss_LSVC = ML_ways_sklearn.model_LSVC()
37 X_test_LSVC = ss_LSVC.transform([pos_49to68_test])
38 y_predict_LSVC = str(LSVC.predict(X_test_LSVC)[0]).replace('0', "no smile").replace('1', "with smile")
39 print("LSVC:", y_predict_LSVC)
40
41 # ######### MLPC ###########
42 MLPC = joblib.load(path_models+"model_MLPC.m")
43 ss_MLPC = ML_ways_sklearn.model_MLPC()
44 X_test_MLPC = ss_MLPC.transform([pos_49to68_test])
45 y_predict_MLPC = str(MLPC.predict(X_test_MLPC)[0]).replace('0', "no smile").replace('1', "with smile")
46 print("MLPC:", y_predict_MLPC)
47
48 # ######### SGDC ###########
49 SGDC = joblib.load(path_models+"model_SGDC.m")
50 ss_SGDC = ML_ways_sklearn.model_SGDC()
51 X_test_SGDC = ss_SGDC.transform([pos_49to68_test])
52 y_predict_SGDC = str(SGDC.predict(X_test_SGDC)[0]).replace('0', "no smile").replace('1', "with smile")
53 print("SGDC:", y_predict_SGDC)
54
55 img_test = cv2.imread(path_test_img)
56
57 img_height = int(img_test.shape[0])
58 img_width = int(img_test.shape[1])
59
60 # show the results on the image
61 font = cv2.FONT_HERSHEY_SIMPLEX
62 cv2.putText(img_test, "LR: "+y_predict_LR, (int(img_height/10), int(img_width/10)), font, 0.8, (84, 255, 159), 1, cv2.LINE_AA)
63 cv2.putText(img_test, "LSVC: "+y_predict_LSVC, (int(img_height/10), int(img_width/10*2)), font, 0.8, (84, 255, 159), 1, cv2.LINE_AA)
64 cv2.putText(img_test, "MLPC: "+y_predict_MLPC, (int(img_height/10), int(img_width/10)*3), font, 0.8, (84, 255, 159), 1, cv2.LINE_AA)
65 cv2.putText(img_test, "SGDC: "+y_predict_SGDC, (int(img_height/10), int(img_width/10)*4), font, 0.8, (84, 255, 159), 1, cv2.LINE_AA)
66
67 cv2.namedWindow("img", 2)
68 cv2.imshow("img", img_test)
69 cv2.waitKey(0)3. 实现效果
图 5 同一个人不同表情的笑脸检测结果
图 6 检测到没微笑
图 7 检测到有微笑
4. 总结
数据集中有无笑脸是自己进行分类的，而且有写的表情不太好界定，所以选取的是一些笑容比较明显的照片作为有笑脸，所以可能出来模型在检测一些微笑上有误差；
笑容检测模型的数据集测试精度在 95% 左右，比较理想；
其实人脸笑容检测的话，光靠嘴部特征去判断不太合适，要结合整张人脸特征点进行训练，改进的话也比较简单；
# 源码上传到了 GitHub，我也在不断更新优化，如果对您有帮助或者感兴趣欢迎 Star 支持我: https://github.com/coneypo/Smile_Detector
# 请尊重他人劳动成果，转载或者使用源码请注明出处：http://www.cnblogs.com/AdaminXie
# 交流学习可以联系邮箱 coneypo@foxmail.com
转载于:https://www.cnblogs.com/AdaminXie/p/8367348.html
Python 3 利用 Dlib 和 sklearn 人脸笑脸检测机器学习建模相关推荐
- Python 3 利用 Dlib 实现人脸检测和剪切
0. 引言 利用 Python 开发,借助 Dlib 库进行人脸检测 / face detection 和剪切: 1. crop_faces_show.py : 将检测到的人脸剪切下来,依次排序平 ...
- java dlib实现人脸检测_利用dlib库进行人脸检测
一.dlib的使用 dlib需要预先的安装 ①安装Python还是推荐3.5 ②下载dlib的安装包 https://pypi.python.org/pypi/dlib/18.17.100 选择匹配的 ...
- 在python中利用OpenCV包实现人脸识别
一.实验环境 1.python3.6环境,numpy包,OpenCV包,pillow包 2.联想T470笔记本电脑,win10系统 3.在测试目录下新建两个文件夹,一个是Facedata用于存放采集的 ...
- Opencv与dlib联合进行人脸关键点检测与识别
前言 依赖库:opencv 2.4.9 /dlib 19.0/libfacedetection 本篇不记录如何配置,重点在实现上.使用libfacedetection实现人脸区域检测,联合dlib标记 ...
- Python基于face-alignment实现2D/3D人脸关键点检测
今天在调试一个项目的时候报错缺少face-alignment模块,查询一下发现这个模块号称是世界上精度最高的检测器,瞬间来了兴致,从Git上下载下来学习一下. 仓库地址在这里. 安装方式也很简单pip ...
- python 摄像头标定_python 3利用Dlib 19.7实现摄像头人脸检测特征点标定
Python 3 利用 Dlib 19.7 实现摄像头人脸检测特征点标定 0.引言 利用python开发,借助Dlib库捕获摄像头中的人脸,进行实时特征点标定: 图1 工程效果示例(gif) 图2 工 ...
- python摄像头跟随人脸_Python3利用Dlib实现摄像头实时人脸检测和平铺显示示例
1. 引言 在某些场景下,我们不仅需要进行实时人脸检测追踪,还要进行再加工:这里进行摄像头实时人脸检测,并对于实时检测的人脸进行初步提取: 单个/多个人脸检测,并依次在摄像头窗口,实时平铺显示检测到的 ...
- python实现面部特效_Python 3 利用 Dlib 实现摄像头实时人脸检测和平铺显示
1. 引言 在某些场景下,我们不仅需要进行实时人脸检测追踪,还要进行再加工:这里进行摄像头实时人脸检测,并对于实时检测的人脸进行初步提取: 单个/多个人脸检测,并依次在摄像头窗口,实时平铺显示检测到的 ...
- 基于Dlib库的人脸表情分析与识别——Python
本项目主要由包含我在内的四名成员共同完成:孙明喆.吴震.张晨.张明 项目介绍,及可执行文件.模型文件.详细报告均在GitHub中可以查看: GitHub 关于项目的详细介绍,可能过些日子在复习时候会有 ...
最新文章
- 2021-08-09 图像灰度二值化
- ARM中char、short、int、long、float、double数据类型占多少位
- pycharm 报错 out of memory 解决方法
- 【转】Unity中的单位长度与像素之间的关系
- python编写安全工具_Python3学习系列（四）：编写属于自己的邮件伪造工具
- 关于RGB屏调试的一些知识（转）
- matlab实现二项分布
- Docker技术入门与实战
- 阿里图标库iconfont下载和在旧有的iconfont中添加新的图标
- sm4 前后端 加密_sm4加密
- 开发直播APP时，视频图片等上传到七牛云存储的实现流程
- 一年后再读《rework》
- 《Arduino与LabVIEW开发实战》第3章 如何连接Arduino与LabVIEW
- QQ秀文字,很酷的!
- 豆腐干豆腐干地方的规定
- MySQL GIS功能介绍
- python中entry的使用方法_python中entry用法讲解
- 如何单独清除某个网页的缓存（reload）
- Rocky和ChatGPT谈笑风生的日子 |【AI行研商业价值分析】
- 使用Hogo+LoveIt主题搭建博客网站
热门文章
- 回归分析中的正则化问题
- .NET项目发布网站具体步骤和注意事项
- 转自把《编程珠玑》读薄
- 动作基类 CCAction
- 好用的ToolStripManager类
- Scott Mitchell 的ASP.NET 2.0数据教程之三十九:: 在编辑和插入界面里添加验证控件...
- 五一重装WinXP操作系统所遇问题的解决
- 算法试题 - 找出字符流中第一个不重复的元素
- 利用android studio 生成 JNI需要的动态库so文件
- org.apache.flink.table.catalog.exceptions.CatalogException: Failed to create Hive Metastore client