团队项目(2.4) -- 《基于瞳孔检测的注意力检测研究》文献综述

在本项目的最后，给大家带来的是本项目的文献综述，重申一下本项目拟题在开题时就被怼过，确实不妥，但是在此依旧沿用此名称。下面是直接引用：

一、研究背景

1.1 人脸检测的应用背景

在生物特征识别技术中,人脸识别是最自然、最直接和最友好的手段。人脸检测和识别在身份认证、电子商务、视频监控、人机交互等领域具有广阔的应用前景。人脸检测和识别已经成为模式识别和人工智能领域中极富挑战性的热点课题之一,对人脸检测和识别的研究具有很高的理论意义和实用价值。

1.2 人眼检测的应用背景

人眼检测是人脸识别、表情识别、眼动分析、虹膜识别等技术的必要步骤,涉及图像处理、计算机视觉以及模式识别等多个学科,并在工业检测、智能机器人、人机交互、公共安全、智能交通以及军事侦察等领域均有广泛的应用。随着相关技术的积累以及硬件技术的日益发展，使得很多相关技术得以推广，越来越多的学者投入到这个领域的研究当中，这一方面的研究势必会得到进一步的发展。

1.3 视线跟踪的应用背景

视线跟踪可以应用到很多领域。人机交互中,基于视线跟踪的字符输入以及辅助绘画功能；在医学上,除了医学诊断和心理研究,行动不便的患者还可以利用视线跟踪技术控制周围的家用电器；在商业中,视线跟踪技术主要是应用在广告评估及网页测试方面,实现了广告和网页的最优化设计；在军事方面,视线跟踪技术可以进行精准的制导。作为人类获取外界信息的重要途径,视线跟踪系统也在智能人机交互中发挥着巨大的潜力,是科学界研究的一大热点。

二、国内外研究现状

2.1 人脸检测方法^[2]

(1)基于知识的方法

基于知识的人脸检测技术是将人脸面额器官之间的关系编码准则化的人脸检测技术，该技术是自上向下的，依据人脸面部器官的对称性、灰度差异等知识，制定出一系列的准则。当图像中的待测区有符合准则的则被检测为人脸。

(2)基于模板匹配的方法

基于模板的方法可以分为两类：预定模板和变形模板。预定模板方法首先制定出标准的模板，然后计算检测区域和模板的相关，当相关值符合制定的准则就判断检测区域为人脸；变形模板首先制定出模板参数，然后根据检测区域的数据对参数进行修改直至收敛，以达到检测出人脸部器官位置的目的。由于基于模板的方法比较成熟，因此其实现起来比较简单，但是这个方法对于人脸检测来说，效率并不高。

(3)基于特征不变量的方法

基于特征的方法不仅可以从已有的面部特征进行检测，还可以从他们的几何关系进行人脸检测。它是先利用各种手段寻找人脸的不变特征，然后找到的不变特征来确定待检测区域是否是人脸。面部不变特征主要包括眉毛、眼睛、鼻子、嘴等，一般利用边缘检测器提取，根据提取的特征，建立统计模型来描述特征之间的关系，并确定存在的人脸位置。

(4)基于统计模型的方法

这个方法的模型是从一系列具有代表性脸部表观的训练图像学习而来，再将学习而成的模板用于人脸检测，它不像基于模板的方法，模板是由专家预先定义的。目前很多人脸检测方法都是基于统计模型的方法。

2.2 人眼检测方法

（1）模板匹配法^[3]

传统的模板匹配方法一般是从人脸图像库中选取，然后分别用左右眼模板在图像中进行匹配，得到两个相似度最大的点作为定位的眼睛。这种方法由于要对整幅图扫描两次，分别定位左眼和右眼，因此计算量较大，且常常只能定位到一只眼睛。后来的研究者利用眼睛对的相对位置关系，将选取的左眼模板和右眼模板合成，用来检测在图像中匹配后选取多个相似眼睛点，通过计算相似眼睛点之间的两两距离来同时定位眼睛。这在一定程度上克服了传统模板对左眼和右眼比较敏感的缺陷，使定位的准确率显著提高，有效压缩了计算量。

(2)Hough变换法^[4]

霍夫变换是图像处理中从图像中识别几何形状的基本方法之一，应用很广泛，也有很多改进算法。Hough变化通过识别几何形状精确定位人眼中心。通常，在人脸图像中利用水平积分投影可以确定出眼睛的大致位置，通常在人脸图像中利用水平积分投影确定出眼睛的大致位置。由于眼睛的大小范围已经确定，在单侧眼睛范围内进行Hough变换，就能得到该侧眼睛的虹膜半径和中心点。根据眼睛的相对位置可以确定另一侧眼睛的具体位置，实现人眼精确定位。Hough变换算法思路简单，但是运算量较大，需要鲁棒性较好的边缘检测算法，而且由于它是属于形状检测，所以需要排除类似于圆形的干扰，在进行霍夫变换前首先要确定出眼睛的大致位置。

(3)灰度投影法^[5][6]

灰度投影法是利用眼睛在灰度图像中明显的梯度性确定其位置。双眼灰度图像的水平方向上的灰度变化次数最多，可以首先计算出图像水平微分图像的积分和，对积分和进行直方图统计，最大的值就是眼睛的垂直坐标。由于眼睛中间的黑色像素最多，在计算眼睛的水平坐标时，直接计算灰度图像垂直方向积分和，直方图中会出现两个至高点和谷点，谷点的坐标就是一侧眼睛的中心水平坐标，同理可得另一侧眼睛中心水平坐标。

(5)对称变换法^[7]

考虑离散对称变换法，它不仅具有广义对称变换描述物体对称性大小的特点，而且通过对各点邻域的考察，去除那些处于规则区域外的点，可大大降低计算量，实现眼睛定位的快速算法。离散对称变换以减少计算量为出发点，在计算对称之前加入一个对图像灰度不均匀区域的检测步骤以减少计算量，其次定义一个与广义对称变化相似的对称算子。完成图像的离散对称变换后，眼睛中心点附近的像素一般都处在对称值最大的前四、五位。对这些点采用两条简单的规则筛选，规则l邻近像素合并，选取对称值最大的前10位候选点，然后将位置相邻的后选点合并到对称值最大的像素处；规则2几何约束判别，候选点经过规则l筛选后，利用眼睛在脸部的几何分布性质进一步筛选取基本满足眼睛分布规律的两点作为最终的双眼定位结果。

(6)红外光照法^[8]

红外线照射法是利用红外光源位置不同时，眼睛产生的不同效应来确定眼睛的位置。这种方法简单、速度快、精度高，但是由于红外线的波长和强度如果不合适就会造成眼睛的伤害，所以在实际的应用中需要有严格标准要求的红外光源，而且光源的布局需要有特定的格式，需要信号同步装置，设备的要求比较高，在实验时还需要人眼尽量靠近摄像头。

2.3 视线检测方法^[9]

（1）霍夫变换法^[10][11]

视线的方向定义为眼球中心与瞳孔中心连线的方向。霍夫变换法首先要检测出虹膜的位置，确定虹膜的半径和圆心，然后根据一些几何模型，利用虹膜圆心的运动特点以及虹膜半径的关系与眼球的关系确定视线方向。由于虹膜的边界模糊或者边缘检测算法精度不高，使得在进行霍夫变换时不能准确的找到虹膜半径与中心点位置，而且角度不同虹膜的形状可能是圆形或者是椭圆形，所以虽然此算法比较简单，但是精度不高。虹膜半径与眼球半径的比例本身就是一个范围，选用一个经验值必然会影响判别结果，所以算法本身就存在精度上的问题。

（2）基于表面特征的方法

表面特征是将图像看着高维空间的点，一副20×20的图像，就可以看作是400维空间上的点。随着眼睛的运动，眼睛图像在高维的空间上呈现出连续性特点，可以形成一个表象流型，如果能够找到这个连续的流型，当测试样本进入时，就可以找到相应的匹配点了。通常都是用一定数量的样本，通过线性或样条插值的方法逼近表象流型，计算量较高。

(3)基于多类分类器的方法^[12]

此算法的基本思路是，将眼睛的注视方向归结为十类，上、下、左、右、左上、右上、左下、右下、中间和闭眼状态。采集这十类眼睛的样本，利用PCA等方法将得到的图片向量降维，训练出十类分类器。测试时，通过摄像头采集图像先进行人脸检测然后是眼睛检测，将检测到的眼睛归一化到样本的尺寸，同样方法降维后送入到训练好的多类分类器中，输出属于哪类就认为眼睛就注视着哪个方向。这种方法思路简单，可以判断眼睛是否注视着某一目标，根据这一思路可以研究出新型的智能家电，使人们的生活更加的现代化，省去了人工操作的麻烦，可以进一步解放劳动力，提高工作效率。但是这种方法有一定局限性，也就是说只能确定眼睛的十种状态，而在人与计算机的交互过程中需要无缝的视线跟踪，在模拟游戏中也需要精确的估计出视线的方向，这时这种定位方法就失效了，所以还需要研究更精确的定位算法。

(4)基于红外光源的方法^[13]

在视线跟踪的算法中基于红外线的算法是最经典的算法，这种方法是视线跟踪算法的研究热点。基于红外线的视线跟踪方法多种多样，需要红外光源于摄像机的数量也各有不同，一种常用的基于红外光源的视线跟踪算法，是利用瞳孔中心反射点向量来进行预测，在头部位置固定不变的情况下，由于摄像头与红外光源的位置都是固定的，所以可以认为红外线在虹膜上的反射点位置是不变的，瞳孔中心位置的变化就可以表现出视线方向的变化。

2.4 应用背景

人眼跟踪交互应用广泛，列举几种：

（1）驾驶员疲劳检测^[14][15][16]

汽车驾驶员疲劳驾驶是导致交通事故的重要原因之一，通过监测驾驶员的眼睛可以判别驾驶员的疲劳程度，并可通过一定方法提醒司机，防止危险情况发生。

（2）残疾人辅助系统^[17]

现有的残疾人辅助系统大多由主动控制、肌电信号控制以及语音信号控制组成，但对于高度残疾病人，肢体不全无法获取肌电信号进行控制，而语音信号则无法帮助残疾人实时跟踪定位目标物体，这些患有严重身体残疾和行动不便的特殊人群难以与计算机进行交互，故有关学者提出了利用视线跟踪技术来帮助高度残疾患者实时高精度地控制辅助系统理论

（3）眼动游戏

目前已经出现了采用人眼驱动的游戏引擎，比如EIDOS公司发行的《古墓丽影-暗影》由Tobii公司提供技术支持，玩家可以通过移动视线焦点来进行自由视角转动、观察环境、目标辅助锁定、投掷物品等一系列操作

2.5 人脸检测

为了提高检测速度和精度，我们选择了目前最流行的基于统计模型的人脸检测方法，并选择了其中综合性能表现最佳的TensorFlow架构，利用Google已开源的TensorFlow项目^[18]以及网络上现有的数据集，训练我们自己的分类器，同时遵循先检测人脸，再在人脸的基础上检测人眼，进而找出瞳孔位置和眼角点位置的顺序，完成我们的项目。

2.5.1 MTCNN(Multi-task Cascaded Convolutional Networks) 算法简介^[19]

MTCNN算法是利用三层级联架构结合精心设计的卷积神经网络算法，对人脸进行检测和关键点的粗略定位。该算法有三个阶段组成，第一阶段是用浅层的CNN快速产生候选窗体；第二个阶段是通过更复杂的CNN丢弃大量的虚假窗体，精炼候选窗体；第三阶段是用更强大的CNN，确定最后的脸部区域，并同时输出五个面部关键点的位置。

2.5.2 Google 开源TensorFlow项目的MTCNN总框架

共分为三个阶段

（1）P-Net：利用一个全卷积网络proposal Network（简称为P-Net），用来生成脸部候选窗和边框回归向量（bounding box regression vectors）。基于边框回归向量来校正候选窗。接下来，我们用非极大值抑制方法（NMS）合并重叠的候选框。

（2）R-Net：所有的候选窗被喂给另一个CNN网络Refined Network（简写为R-Net），R-Net的任务就是进一步清除大量的非脸部的候选者，接下来，仍然继续使用边框回归向量进行校准和NMS方法进行合并。

（3）O-Net：这一阶段用到的网络为Output Network（缩写为O-Net），这一阶段和第二阶段是很相似的，但是在这一层，主要的目的是用更多的监督确定脸部区域。同时，网络将会输出五个脸部标志点的位置。

2.5.3 训练

该算法中需要实现三个任务的学习，分别是：人脸/非人脸的分类(face/non-face classification)，边框回归向量(bounding box regression)和定位人脸特征点(facial landmark localization) 并在每一个CNN中运行多个训练任务。具体算法此处不做深究。

2.6 人眼检测

常见的人眼定位方法可以分为基于学习的方法，基于模板匹配，基于特征的三类方法。

在我们上述的人脸区域划分过程中，我们已经获得了人脸区域的五个特征点(包括左眼、右眼、鼻、左嘴角以及右嘴角)的坐标，所以我们采取的策略是直接用左右眼的坐标差乘以某个经验值得到眼部区域的长，再在此基础上用长的值乘以另外一个经验值得到眼部区域的宽，经过多次试验验证，在一般情况下，基本能够满足我们的需求，故人眼区域的定位我们并没有采用额外更加复杂的方式。

2.7 视线检测

2.7.1 瞳孔检测^[20][21]

为了进一步进行视线跟踪，我们需要进行瞳孔中心定位和眼角点检测。瞳孔区域是人眼截图中比较稳定的图像信息，在睁眼的时候这部分的特征明显。当前主要的检测方法有霍夫变换法、投影法、椭圆拟合法以及形态学法重构法[22]等，在一定情况下这确实加大了我们瞳孔检测的难度，故采用两种方法获得瞳孔中心：方法一是用虹膜中心位置作为瞳孔中心；方法二是利用星射线迭代算法获得。

（1）用虹膜中心位置代替瞳孔中心

用Otsu动态阈值输出二值化图像，再利用纵向腐蚀滤波得到最终虹膜区域，以虹膜区域中心点作为瞳孔的中心；

（2）星射线迭代算法

1.抓取第一帧图像，以该图像的中心为起始点。

2.从起始点向四周发出射线，射线间隔20度，共18条，如图d所示。依次沿每条射线前进，当相邻两点像素的差值delta大于设定阈值∅时停止，这里只考虑正值，即灰度值上升的情况，处理后会得到一个候选边缘点的集合，处理结果如图d所示。

3.然后，依次以每个候选点为起始点，在经过该候选点射线的两侧正负50度范围内再次发出射线，射线条数为n = 5*delta/∅，射线之间的间隔角度为 100/n，射线条数最小值为5。如图f,q所示。

4.步骤1，2完成了第一次迭代，计算所有候选边缘点的几何中心为下次迭代的起始点，如图g所示。

5.重复执行步骤1，2，3直至所有候选边缘点的几何中心收敛于相对稳定的位置，即前后两次迭代计算出的几何中心位置之间的距离不大于10 pixel，如图i所示。作者通过对迭代次数进行统计得出结论：对于大多数情况（93%）迭代次数会小于或等于5次。统计结果如图q所示。如果迭代次数大于等于10几何中心仍未收敛，则说明当前图像中不存在瞳孔区域，有可能是眨眼或其他意外情况。

6.椭圆拟合

因为使用最小二乘法进行拟合，错误的候选点也会参与其中，作者统计发现错误的候选点大约占所有候选点的17%，如图r所示，拟合结果所产生的误差是很难让人接受的,如图k所示。

所以使用RANSAC（RANdom SAmple Consensus，随机抽样一致）模型，对候选点进行椭圆拟合，可有效的排出错误的候选点。

随机的从所有候选点中选取5个点，然后用一个参数确定的椭圆去拟合这5个点，约束条件为：

（1）. 椭圆的参数必须都为实数；

（2）. 椭圆的中心坐标必须在图像范围内；

（3）. 椭圆长轴必须小于2*短轴。

然后，统计候选点中除去这5个点以外的其他符合这个椭圆模型点的数量，将符合该模型点的集合称为模型一致集合。经过迭代之后会找到一个椭圆所对应的模型一致集合内元素的数量最大，则将该椭圆作为最优拟合椭圆，如图n所示。统计发现，平均迭代次数大约为8，如图（s）所示。

7. 最后对定位结果使用基于模型的优化方法来优化拟合椭圆的参数，使定位结果更优。

使用Nelder-Mead单一搜索（Nelder-Mead Simplex search）算法，通过最小化函数:

来找到更好的拟合椭圆。其中δ = 1，I(a,b,α,x,y,θ)是由参数a,b,α,x,y,θ确定的椭圆轮廓上角θ处的像素值。搜索的初始参数设为步骤5所确定的最优椭圆的参数。优化结果如图o所示。

8. 将最后确定的椭圆的中心作为瞳孔中心定位的最终结果，并作为下一帧图像定位的起始点，转步骤2。

以上为瞳孔定位的整个过程。此方法的优点是：处理速度较快，实时性较好；且对图像质量要求不高，只需要一套成本低廉的眼球跟踪设备，所采用的摄像头也可以是常用的；还可应对眨眼等不存在瞳孔的图像；对于瞳孔严重离轴情况的图像，定位效果较理想；对于瞳孔部分遮挡的图像，如图m，也可准确推出瞳孔中心的位置。

2.7.2 眼角点检测

通过对上述获得的眼部坐标进行一定的比例拓展并经过适量的参数调整即可得到比较好的眼部区域比例与眼部坐标之间的对应比例关系，即可作为我们进行瞳孔识别的ROI区域，减少了计算量。以ROI区域的左右边界视作眼角点位置。

2.7.3 视线跟踪模型

经过分析，我们拟采用以瞳孔中心为动点，眼角为定点，通过分析两者的相对位置来确定视线方向。并与待观测目标(比如电脑显示屏上的某移动的点)所在平面建立对应坐标变换关系，从而获得视线方向。

二、参考文献：

[2] 顾忠伟,吴晓飞,何岩.人脸检测识别算法的研究与应用[J].中国安防2011(10).

[3] 舒梅, 董秀成.基于肤色和模板匹配的人眼定位.[J].计算机工程与应用.2009．

[4] 张杰，杨晓飞，赵瑞莲．基于Hough变换圆检测的人眼精确定位方法[J]．计算机工程与应用．2005(27)：43-44．

[5] Zhou Z．H，Geng X．Projection functions for eye detection[J]．Pattern Recognition．2004，37(5)： 1049-1056．

[6] Rizon M，Kawaguchi T．Automatic eye detection using intensity and edge information． Proceedmgs[J]．IEEE TENCON.2000，2：415~420

[7] 徐艳，陈孝威．人脸检测中的眼睛定位算法研究[J]．计算机与信息技术．2006，9：24~28．

[8] Zhiwei Z，Qiang J．Eye and gaze tracking for interactive graphic display[J]．Machine Vision and Applications．2004，15(3)：139-148．

[9] 李郝. 人眼跟踪与视线检测算法研究[D]. 西华大学. 2010, 5.

[10] 黄永林，叶玉堂，陈镇龙，乔闹生.一种新的快速Hough变换圆检测方法[J]. 电子测量与仪器学报.2010，9.

[11] Xinghuas，Guoyong C，Chunxia Z et a1．Gaze Estimation of Human Eye[C]．6th International Conference on ITS Telecommunications Proceedings，2006：310-313．

[12] Fujie S，Yamahada T，Kobayashi T. Conversation robot with the function of gaze recognition[C]． Proceedings of 2006 IEEE-RAS International Conference on Humanoid Robots，Humanoids, 2006：364-369．

[13]Mlyakawa M, Kosugi T. A three-dimensional gazing point direction system of communication analysis[C]. Proceeding of 25th Annual International Conference，EMBS Cancun Mexico，2003:918-921.

[14]J.Fukuda, E.Akutsu and K. Aoki,“An estimation of driver’s drowsiness level using keeping”[J]. JSAE,1995(16):185-199.

[15]H.Ueno,M.Kaneda and M.Tasukino,“Development of drowsiness detection system Conference”[C].1994,8:15-20.

[16] 刘珂，韩瑶，杨中伍，王知也.基于人脸识别的驾驶员疲劳检测系统[J].科学与财富.2019，6.

[17]郭政业.基于双目跟踪定位的残疾人辅助系统设计与实现[D].华中科技大学.2016，5.

[18] TensorFlow官网, https://www.tensorflow.org/

[19] Kaipeng Zhang,Zhanpeng Zhang,Zhifeng Li,Yu Qiao. Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks. IEEE Signal Processing Letters(SPL), vol.23,no10, pp.1499-1503,2016.

[20] 新智数字科技有限公司.一种对人眼图像中瞳孔图像进行定位的方法及装置[P].河北：CN201820934979.8，2018，12.

[21]裴忠诚，马浩然，周济.人眼图像瞳孔中心定位的一种方法设计[J].内蒙古科技与经济.2009,(17).

[22]田野，王怀军，方志良.基于形态学重构算法的瞳孔精准检测[J].光电子.激光.2018，19（3）

[23] 陈白帆，蔡自兴．基于尺度空间理论的Harris角点检测[N]．中南大学报(自然科学版)．2005，

[24]L.Kitchen and A.Rosenfeld.Gray level Corner detection[J]. Pattern Recognition Letters.1982::pp.95-102.

[25] R.Haralick.Corner detectionin color imags by multiscale combination of end-stopped cortical cells[C].Proc.IEEE Conf.Computer vision and pattern Recognition.

[26] 陈冠潼.人脸检测识别算法的研究与应用[D].大连理工大学.2013.

[27] 张顺丰.基于深度学习的人脸识别算法研究[D]. 北京信息科技大学自动化学院.2018

[29]何之源.21个项目玩转深度学习[M].中国工信出版社.2018,3.

[30] 塔里克-拉希德.Python神经网络编程[M].中国工信出版社.2018.4.