序

目的

经查阅相关文献，疲劳在人体面部表情中表现出大致三个类型：打哈欠（嘴巴张大且相对较长时间保持这一状态）、眨眼（或眼睛微闭，此时眨眼次数增多，且眨眼速度变慢）、点头（瞌睡点头）。本实验从人脸朝向、位置、瞳孔朝向、眼睛开合度、眨眼频率、瞳孔收缩率等数据入手，并通过这些数据，实时地计算出驾驶员的注意力集中程度，分析驾驶员是否疲劳驾驶和及时作出安全提示。

技术背景

环境：Win10、Python3.7、anaconda3、JupyterNotebook
技术：

Opencv：图像处理
Dlib：一个很经典的用于图像处理的开源库，shape_predictor_68_face_landmarks.dat是一个用于人脸68个关键点检测的dat模型库，使用这个模型库可以很方便地进行人脸检测，并进行简单的应用。
Numpy：基于Python的n维数值计算扩展。
Imutils ：一系列使得opencv 便利的功能，包括图像旋转、缩放、平移，骨架化、边缘检测、显示
matplotlib 图像（imutils.opencv2matplotlib(image）。

正文

（1）环境搭建

（2）下载开源数据集

参考前一文：Dlib模型之驾驶员疲劳检测一（眨眼）

（3）打哈欠疲劳检测原理

基于dlib人脸识别68特征点检测、获取嘴部面部标志的索引，通过opencv对视频流进行灰度化处理，检测出人嘴的位置信息。
人脸特征点检测用到了dlib，dlib有两个关键函数：dlib.get_frontal_face_detector()和dlib.shape_predictor(predictor_path)。

前者是内置的人脸检测算法，使用HOG pyramid，检测人脸区域的界限（bounds）。
后者是用来检测一个区域内的特征点，并输出这些特征点的坐标，它需要一个预先训练好的模型（通过文件路径的方法传入），才能正常工作。
使用开源模型shape_predictor_68_face_landmarks.dat，可以得到68个特征点位置的坐标，连起来后，可以有如图所示的效果（红色是HOG pyramid检测的结果，绿色是shape_predictor的结果，仅把同一个器官的特征点连线）。

只要产生打哈欠的动作即归类为“疲劳”。
68脸部特征图lamark：

嘴部主要取六个参考点：

打哈欠可利用嘴巴处通过计算51、59、53、57、的纵坐标、49、55的横坐标来计算眼睛的睁开度。如：1/2*[(y51+y53)-(y59+y57)]/(x55-x49)点的距离来判断是否张嘴及张嘴时间，从而确定人是否是在打哈欠，同时这个阈值应当合理，应经过大量实验，能够与正常说话或哼歌区分开来。

同眼睛相类似方法求嘴部欧式距离：

最终判定：
进行加权评分：基于眼睛和打哈欠的特征进行融合决策（打分，以模糊度表示）

（4）主要代码思路

双阈值法哈欠检测——即对内轮廓进行检测：结合张口度与张口时间。
Yawn为符合打哈欠的帧数，N为1min内总帧数，设阈值为10%，当Freq>10%时认为打了一个深度哈欠或者至少连续两个浅哈欠，此时给出疲劳提醒。

Step1：提取帧图像检测人脸，嘴部粗定位进行肤色分割；
Step2:嘴部精确定位，获取嘴部特征值K1，若k1大于阈值T1，则Step3,；否则K2=K1/2，count=0回到step1，检测下一帧。
Step3:提取嘴部内轮廓特征值K2，若K2大于阈值T2，则Step4，否则count=0,返回Step1，检测下一帧。
Step4:统计哈欠特征count=count+1,当count超过阈值且下一帧的哈欠特征消失，保存count到Yawn，Yawn(i)=count，count=0（count清0）回到Step1，否则的话也直接转回Step1。
Step5:分析完1min内所有图像，计算哈欠特征总数，按照计算Freq值，超过阈值则发出疲劳提醒。（推荐阈值为0.1）

# -*- coding: utf-8 -*-
# import the necessary packages
from scipy.spatial import distance as dist
from imutils.video import FileVideoStream
from imutils.video import VideoStream
from imutils import face_utils
import numpy as np # 数据处理的库 numpy
import argparse
import imutils
import time
import dlib
import cv2def eye_aspect_ratio(eye):# 垂直眼标志（X，Y）坐标A = dist.euclidean(eye[1], eye[5])# 计算两个集合之间的欧式距离B = dist.euclidean(eye[2], eye[4])# 计算水平之间的欧几里得距离# 水平眼标志（X，Y）坐标C = dist.euclidean(eye[0], eye[3])# 眼睛长宽比的计算ear = (A + B) / (2.0 * C)# 返回眼睛的长宽比return eardef mouth_aspect_ratio(mouth):A = np.linalg.norm(mouth[2] - mouth[9])  # 51, 59B = np.linalg.norm(mouth[4] - mouth[7])  # 53, 57C = np.linalg.norm(mouth[0] - mouth[6])  # 49, 55mar = (A + B) / (2.0 * C)return mar# 定义两个常数
# 眼睛长宽比
# 闪烁阈值
EYE_AR_THRESH = 0.2
EYE_AR_CONSEC_FRAMES = 3
# 打哈欠长宽比
# 闪烁阈值
MAR_THRESH = 0.5
MOUTH_AR_CONSEC_FRAMES = 3
# 初始化帧计数器和眨眼总数
COUNTER = 0
TOTAL = 0
# 初始化帧计数器和打哈欠总数
mCOUNTER = 0
mTOTAL = 0# 初始化DLIB的人脸检测器（HOG），然后创建面部标志物预测
print("[INFO] loading facial landmark predictor...")
# 第一步：使用dlib.get_frontal_face_detector() 获得脸部位置检测器
detector = dlib.get_frontal_face_detector()
# 第二步：使用dlib.shape_predictor获得脸部特征位置检测器
predictor = dlib.shape_predictor('D:/myworkspace/JupyterNotebook/fatigue_detecting/model/shape_predictor_68_face_landmarks.dat')# 第三步：分别获取左右眼面部标志的索引
(lStart, lEnd) = face_utils.FACIAL_LANDMARKS_IDXS["left_eye"]
(rStart, rEnd) = face_utils.FACIAL_LANDMARKS_IDXS["right_eye"]
(mStart, mEnd) = face_utils.FACIAL_LANDMARKS_IDXS["mouth"]# 第四步：打开cv2 本地摄像头
cap = cv2.VideoCapture(0)# 从视频流循环帧
while True:# 第五步：进行循环，读取图片，并对图片做维度扩大，并进灰度化ret, frame = cap.read()frame = imutils.resize(frame, width=720)gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)# 第六步：使用detector(gray, 0) 进行脸部位置检测rects = detector(gray, 0)# 第七步：循环脸部位置信息，使用predictor(gray, rect)获得脸部特征位置的信息for rect in rects:shape = predictor(gray, rect)# 第八步：将脸部特征信息转换为数组array的格式shape = face_utils.shape_to_np(shape)# 第九步：提取左眼和右眼坐标leftEye = shape[lStart:lEnd]rightEye = shape[rStart:rEnd]# 嘴巴坐标mouth = shape[mStart:mEnd]# 第十步：构造函数计算左右眼的EAR值，使用平均值作为最终的EARleftEAR = eye_aspect_ratio(leftEye)rightEAR = eye_aspect_ratio(rightEye)ear = (leftEAR + rightEAR) / 2.0# 打哈欠mar = mouth_aspect_ratio(mouth)# 第十一步：使用cv2.convexHull获得凸包位置，使用drawContours画出轮廓位置进行画图操作leftEyeHull = cv2.convexHull(leftEye)rightEyeHull = cv2.convexHull(rightEye)cv2.drawContours(frame, [leftEyeHull], -1, (0, 255, 0), 1)cv2.drawContours(frame, [rightEyeHull], -1, (0, 255, 0), 1)mouthHull = cv2.convexHull(mouth)cv2.drawContours(frame, [mouthHull], -1, (0, 255, 0), 1)# 第十二步：进行画图操作，用矩形框标注人脸left = rect.left()top = rect.top()right = rect.right()bottom = rect.bottom()cv2.rectangle(frame, (left, top), (right, bottom), (0, 255, 0), 3)    '''分别计算左眼和右眼的评分求平均作为最终的评分，如果小于阈值，则加1，如果连续3次都小于阈值，则表示进行了一次眨眼活动'''# 第十三步：循环，满足条件的，眨眼次数+1if ear < EYE_AR_THRESH:# 眼睛长宽比：0.2COUNTER += 1else:# 如果连续3次都小于阈值，则表示进行了一次眨眼活动if COUNTER >= EYE_AR_CONSEC_FRAMES:# 阈值：3TOTAL += 1# 重置眼帧计数器COUNTER = 0# 第十四步：进行画图操作，同时使用cv2.putText将眨眼次数进行显示cv2.putText(frame, "Faces: {}".format(len(rects)), (10, 30),cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)cv2.putText(frame, "Blinks: {}".format(TOTAL), (150, 30),cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)cv2.putText(frame, "COUNTER: {}".format(COUNTER), (300, 30),cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2) cv2.putText(frame, "EAR: {:.2f}".format(ear), (450, 30),cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)'''计算张嘴评分，如果小于阈值，则加1，如果连续3次都小于阈值，则表示打了一次哈欠，同一次哈欠大约在3帧'''# 同理，判断是否打哈欠    if mar > MAR_THRESH:# 张嘴阈值0.5mCOUNTER += 1cv2.putText(frame, "Yawning!", (10, 60),cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)else:# 如果连续3次都小于阈值，则表示打了一次哈欠if mCOUNTER >= MOUTH_AR_CONSEC_FRAMES:# 阈值：3mTOTAL += 1# 重置嘴帧计数器mCOUNTER = 0cv2.putText(frame, "Yawning: {}".format(mTOTAL), (150, 60),cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)cv2.putText(frame, "mCOUNTER: {}".format(mCOUNTER), (300, 60),cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2) cv2.putText(frame, "MAR: {:.2f}".format(mar), (480, 60),cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)# 第十五步：进行画图操作，68个特征点标识for (x, y) in shape:cv2.circle(frame, (x, y), 1, (0, 0, 255), -1)print('嘴巴实时长宽比:{:.2f} '.format(mar)+"\t是否张嘴："+str([False,True][mar > MAR_THRESH]))print('眼睛实时长宽比:{:.2f} '.format(ear)+"\t是否眨眼："+str([False,True][COUNTER>=1]))# 确定疲劳提示if TOTAL >= 50 or mTOTAL>=15:cv2.putText(frame, "SLEEP!!!", (100, 200),cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 0, 255), 3)# 按q退出cv2.putText(frame, "Press 'q': Quit", (20, 500),cv2.FONT_HERSHEY_SIMPLEX, 0.7, (84, 255, 159), 2)# 窗口显示 show with opencvcv2.imshow("Frame", frame)# if the `q` key was pressed, break from the loopif cv2.waitKey(1) & 0xFF == ord('q'):break# 释放摄像头 release camera
cap.release()
# do a bit of cleanup
cv2.destroyAllWindows()

（5）运行效果

码云源码链接：
https://gitee.com/cungudafa/fatigue_detecting

Dlib模型之驾驶员疲劳检测二（打哈欠）相关推荐

基于Dlib模型实现驾驶员疲劳检测项目
Dlib系列文章目录文章目录 Dlib系列文章目录前言一.背景环境: 技术: 二.使用步骤 1.环境搭建 opencv3.4.1 dlib人脸识别库 wxFromBuilder可视化界面新建 ...
Dlib模型之驾驶员疲劳检测总结（可视化界面）
目录序目的技术背景正文 (1)环境搭建 (1.1)opencv3.4.1图像处理 (1.2)dlib人脸识别库 (1.3)wxFromBuilder可视化界面 (2)检测原理 (3)wxpyt ...
计算机视觉应用（二）疲劳检测之打哈欠
目的经查阅相关文献,疲劳在人体面部表情中表现出大致三个类型:打哈欠(嘴巴张大且相对较长时间保持这一状态).眨眼(或眼睛微闭,此时眨眼次数增多,且眨眼速度变慢).点头(瞌睡点头).本实验从人脸朝向.位 ...
opencv 图像旋转_用Dlib和OpenCV还能做什么？这个开源项目实现了驾驶员疲劳检测...
Dlib 和 OpenCV 这两个库已经在深度学习和人脸识别领域逐渐有了自己的一席之地,基于它们的各种开源项目的越来越多,今天 Gitee 上这个开源项目也是基于 Dlib 和 OpenCV 的,具体 ...
使用dlib实现的简单疲劳检测程序
一.环境配置程序的github链接:https://github.com/akshaybahadur21/Drowsiness_Detection 我建立的是python3.7的虚拟环境 1.安装c ...
驾驶员行为检测+疲劳驾驶
参考文章: 吸烟行为检测: yolov3+tensorflow+keras实现吸烟的训练全流程及识别检测: https://blog.csdn.net/liuwuw/article/details/1 ...
基于OpenCV的驾驶员疲劳鉴别系统
(504546888) 介绍基于图像驾驶员疲劳检测技术研究更多学习记录参考: cungudafa博客:Dlib模型之驾驶员疲劳检测系列(眨眼.打哈欠.瞌睡点头.可视化界面) Dlib模型之驾驶员 ...
dlib疲劳检测_使用OpenCv和Dlib进行打哈欠检测
OpenCV: OpenCV是一个用于计算机视觉的库函数,最初是用c++编写的. Dlib: Dlib是一个Python库,包含了数据挖掘.数据结构.机器学习.图像处理等工具. 打哈欠检测与应用打哈 ...
基于人脸关键点检测的驾驶员睡意检测系统
摘要驾驶员注意力不集中或者分心是道路交通事故的主要原因. 为了减少道路交通事故,设计开发驾驶员疲劳检测系统至关重要. 本研究利用人脸关键点检测方法提出了驾驶员睡意检测系统,目的是使驾驶更安全. 一. ...

Dlib模型之驾驶员疲劳检测二（打哈欠）

目录

序

目的