Hybrid eye center localization using cascaded regression and hand-crafted model fitting

论文:https://arxiv.org/pdf/1712.02822.pdf

作者及团队：Alex Levinshtein & Edmund Phung & Parham Aarabi 加拿大多伦多大学

会议及时间：2017

Code:

Abstract

1. 作者想解决什么问题？

eye center localization

2. 作者通过什么理论/模型来解决这个问题？

提出一种新的级联回归器进行眼中心检测。使用现有的面部特征对齐方法可以更准确地检测眼睛，通过使用advanced features 和powerful regression machinery来提高算法定位的鲁棒性，添加圆拟合后处理步骤来使定位更加准确。最后，使用一种简单的手工方法进行眼中心定位，展示了如何在无需人工注释训练数据的情况下训练级联回归器。

3. 作者给出的答案是什么？

在数据集BioID, GI4E, 和TalkingFace 上测试，在平均归一化误差e <0:05时，经过人工注释的数据训练的回归变量的准确度为95：07％（BioID），99：27％（GI4E）和95：68％（TalkingFace）；自动训练的回归器几乎一样好，准确性为93：9％（BioID），99：27％（GI4E）和95：46％（TalkingFace）。

1.Introduction

1.1. 作者为什么研究这个课题？

野外的眼中心定位对于很多应用都很重要，比如eye tracking, iris recognition，以及增强现实应用。虽然有些技术需要使用专门的头戴装置或主动照明，但这种设备价格昂贵，在许多情况下不适用。所以作者提出使用标准相机进行eye center localization.

1.2. 目前这个课题的研究进行到了哪一阶段？

eye center localization的方法可以分为两类。
第一类手动拟合方法(hand-crafted model fitting) 。这些技术使用的外观，如瞳孔的黑暗，和瞳孔和虹膜的圆形形状来检测。这些方法通常是准确的，但往往缺乏鲁棒性，在更有挑战性的环境，如低分辨率或噪声图像和低照明。

第二类是基于机器学习的方法。其中有基于训练滑动窗口眼睛中心探测器的方法和基于面部特征对齐的级联回归方法进行眼睛中心定位。虽然这类方法已经被证明是更健壮的，但是它们缺乏模型拟合方法的准确性，并且需要注释的训练数据。

1.4. 作者使用理论基于哪些假设？

在有关面部特征对齐的文献中，有两种类型的级联回归方法：使用复杂特征（例如SIFT或HoG）的简单级联线性回归器和使用简单成对像素差异特征的更复杂级联回归森林。

contribution1: 提出了采用了复杂的特征和复杂的回归器的眼中心定位新方法。该方法基于级联回归树，每个级联的特征都锚定到当前的眼中心估计，并且采用了更强大的梯度直方图功能（基于Dollar等人的行人检测工作[8]），而不是简单的成对像素差异。最后，利用准确的眼睛轮廓来初始化回归器并归一化特征位置。

contribution2: 通过添加圆拟合后处理步骤来优化回归估计。采用可靠的估计和虹膜大小的先验知识有助于子像素精度眼中心检测, 从而实现了亚像素精度的眼中心定位。（所提出的级联回归方法是健壮的，但是具有其他基于判别性回归的方法的相同缺点。即，它是不准确的，并且需要带注释的训练数据）。

contribution3: 通过使用手工制作的眼中心检测器，无需手动注释的训练数据即可对回归进行训练。

2.method：研究方法：数据来源+重要指标+模型步骤+每个步骤得出的结论

2.1. 模型分哪几步？每一步分别得出了什么结论？

2.1.1.Eye Center Localization

2.1.2.Cascaded regression framework

2.1.3.Iris refinement by robust circle fitting

2.1.4.Using a hand-crafted detector for automatic annotations

2.1.5.Handling closed eyes

2.2. 研究的数据从哪里来？

2.3. 研究中用到的重要指标有哪些？

2.4. 实验结果

3.Conclusion

3.1. 这篇文章存在哪些缺陷？

3.2. 作者关于这个课题的构思有哪几点？