我之前写的关于DuerOS开发日记：

今天看了2017百度世界大会上李彦宏董事长介绍了百度的疲劳驾驶检测，正好我之前阿德里安·罗斯布鲁克的文章中介绍了利用Facial landmarks + drowsiness detection with OpenCV and dlib在树莓派上进行疲劳驾驶检测，当然这个准确性肯定没有百度的准确但是给我们玩是够了的。阿德里安·罗斯布鲁克他在文章中利用的是TrafficHAT进行警告我进行了简化，使用espeak进行语音警告'hi,wake up!'。

现在进入正题。

硬件：一个树莓派一个音箱。

1.软件安装

关于numpy、dlib、opencv在树莓派上的安装我在【君奉天|开发日记】人脸识别-更新已完结，可用求顶中已经详细介绍过了，大家可以去看一下。

sudo pip install RPi.GPIO

sudo pip install gpiozero

sudo pip install imutils

sudo apt-get install espeak python espeak

sudo apt-get install python-pyaudio

2.软件检测

检测软件是否安装

python

>>> import RPi.GPIO

>>> import gpiozero

>>> import numpy

>>> import dlib

>>> import cv2

>>> import imutils

如果没有报错，说明成功了。在此说明我这里用的是python2.7为例的。

我们测试一下espeak：

espeak "hello world

但可能会爆这个错误。

通过下面四步即可解决。

pulseaudio --kill

jak_control start

jak_control exit

pulseaudio --start

3.代码

以下是test.py代码。

from imutils.video import VideoStream

from imutils import face_utils

import numpy as np

import argparse

import imutils

import time

import dlib

import cv2

def euclidean_dist(ptA, ptB):

# compute and return the euclidean distance between the two

# points

return np.linalg.norm(ptA - ptB)

def eye_aspect_ratio(eye):

# compute the euclidean distances between the two sets of

# vertical eye landmarks (x, y)-coordinates

A = euclidean_dist(eye[1], eye[5])

B = euclidean_dist(eye[2], eye[4])

# compute the euclidean distance between the horizontal

# eye landmark (x, y)-coordinates

C = euclidean_dist(eye[0], eye[3])

# compute the eye aspect ratio

ear = (A + B) / (2.0 * C)

# return the eye aspect ratio

return ear

# construct the argument parse and parse the arguments

ap = argparse.ArgumentParser()

ap.add_argument("-c", "--cascade", required=True,

help = "path to where the face cascade resides")

ap.add_argument("-p", "--shape-predictor", required=True,

help="path to facial landmark predictor")

ap.add_argument("-a", "--alarm", type=int, default=0,

help="boolean used to indicate if TraffHat should be used")

args = vars(ap.parse_args())

# check to see if we are using GPIO/TrafficHat as an alarm

if args["alarm"] > 0:

from espeak import espeak

th = espeak.synth("hi,wake up!")

print("[INFO] using espeak alarm...")

# define two constants, one for the eye aspect ratio to indicate

# blink and then a second constant for the number of consecutive

# frames the eye must be below the threshold for to set off the

# alarm

EYE_AR_THRESH = 0.3

EYE_AR_CONSEC_FRAMES = 16

# initialize the frame counter as well as a boolean used to

# indicate if the alarm is going off

COUNTER = 0

ALARM_ON = False

# load OpenCV's Haar cascade for face detection (which is faster than

# dlib's built-in HOG detector, but less accurate), then create the

# facial landmark predictor

print("[INFO] loading facial landmark predictor...")

detector = cv2.CascadeClassifier(args["cascade"])

predictor = dlib.shape_predictor(args["shape_predictor"])

# grab the indexes of the facial landmarks for the left and

# right eye, respectively

(lStart, lEnd) = face_utils.FACIAL_LANDMARKS_IDXS["left_eye"]

(rStart, rEnd) = face_utils.FACIAL_LANDMARKS_IDXS["right_eye"]

# start the video stream thread

print("[INFO] starting video stream thread...")

vs = VideoStream(src=0).start()

# vs = VideoStream(usePiCamera=True).start()

time.sleep(1.0)

# loop over frames from the video stream

while True:

# grab the frame from the threaded video file stream, resize

# it, and convert it to grayscale

# channels)

frame = vs.read()

frame = imutils.resize(frame, width=450)

gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)

# detect faces in the grayscale frame

rects = detector.detectMultiScale(gray, scaleFactor=1.1,

minNeighbors=5, minSize=(30, 30),

flags=cv2.CASCADE_SCALE_IMAGE)

# loop over the face detections

for (x, y, w, h) in rects:

# construct a dlib rectangle object from the Haar cascade

# bounding box

rect = dlib.rectangle(int(x), int(y), int(x + w),

int(y + h))

# determine the facial landmarks for the face region, then

# convert the facial landmark (x, y)-coordinates to a NumPy

# array

shape = predictor(gray, rect)

shape = face_utils.shape_to_np(shape)

# extract the left and right eye coordinates, then use the

# coordinates to compute the eye aspect ratio for both eyes

leftEye = shape[lStart:lEnd]

rightEye = shape[rStart:rEnd]

leftEAR = eye_aspect_ratio(leftEye)

rightEAR = eye_aspect_ratio(rightEye)

# average the eye aspect ratio together for both eyes

ear = (leftEAR + rightEAR) / 2.0

# compute the convex hull for the left and right eye, then

# visualize each of the eyes

leftEyeHull = cv2.convexHull(leftEye)

rightEyeHull = cv2.convexHull(rightEye)

cv2.drawContours(frame, [leftEyeHull], -1, (0, 255, 0), 1)

cv2.drawContours(frame, [rightEyeHull], -1, (0, 255, 0), 1)

# check to see if the eye aspect ratio is below the blink

# threshold, and if so, increment the blink frame counter

if ear

COUNTER += 1

# if the eyes were closed for a sufficient number of

# frames, then sound the alarm

if COUNTER >= EYE_AR_CONSEC_FRAMES:

# if the alarm is not on, turn it on

if not ALARM_ON:

ALARM_ON = True

# check to see if the TrafficHat buzzer should

# be sounded

if args["alarm"] > 0:

th = espeak.synth("hi,wake up!")

# draw an alarm on the frame

cv2.putText(frame, "DROWSINESS ALERT!", (10, 30),

cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)

# otherwise, the eye aspect ratio is not below the blink

# threshold, so reset the counter and alarm

else:

COUNTER = 0

ALARM_ON = False

# draw the computed eye aspect ratio on the frame to help

# with debugging and setting the correct eye aspect ratio

# thresholds and frame counters

cv2.putText(frame, "EAR: {:.3f}".format(ear), (300, 30),

cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)

# show the frame

cv2.imshow("Frame", frame)

key = cv2.waitKey(1) & 0xFF

# if the `q` key was pressed, break from the loop

if key == ord("q"):

break

# do a bit of cleanup

cv2.destroyAllWindows()

vs.stop()

以下是代码下载链接：

链接：http://pan.baidu.com/s/1pLV32Y3 密码：952u。

解压后进入目录执行：

python test.py --cascade haarcascade_frontalface_default.xml \

--shape-predictor shape_predictor_68_face_landmarks.dat --alarm 1

即可。

申明：这只是测试代码大家不可用于实际驾驶的疲劳驾驶检测且不可用于商业用途。

求顶

当闭眼的时候音箱会提示"hi,wake up!"