题目：Video-based eyetracking methods and algorithms in head-mounted displays
作者：Hong Hua and Prasanna Krishnaswamy
来源：Opt Express. 2006 May 15;14(10):4328-50.

头戴式显示器中基于视频的眼动追踪方法和算法

摘要
1.简介
2.相关工作
- 2.1眼动追踪技术概述
- 2.2在HMD中整合眼动追踪功能
3. ET-HMD系统架构：建模和仿真
- 3.1眼睛模型
- 3.2成像光学模型

摘要

在大多数使用头戴式显示器（HMD）的3D可视化应用程序中，使用头姿势来近似用户的视线以进行实时图像渲染和交互。在大多数头部运动完成之前，眼睛通常会到达感兴趣的对象。非常需要将眼动追踪功能集成到各种应用中的HMD中。尽管眼动追踪HMD（ET-HMD）的复杂性给设计紧凑，便携式和耐用的系统带来了挑战，但这种集成为改善眼动追踪的准确性和耐用性提供了机会。在本文中，基于眼睛成像和跟踪系统的建模，我们研究了挑战并确定了ET-HMD设计中基于视频的瞳孔闪烁跟踪方法的参数要求，并预测了这些参数如何影响跟踪精度，分辨率和鲁棒性。我们进一步提出了新颖的方法和相关算法，可以有效地提高眼睛的跟踪精度并扩展跟踪范围。

1.简介

功能集成方法：整合HMD和eye tracker，在使用的后期，将两个单独的工具放在一起。
系统完全集成方法：ET-HMD仪器。

2.相关工作

2.1眼动追踪技术概述

眼睛可以进行三种动作：水平旋转，垂直旋转和绕视轴旋转。但是，后者仅在特殊情况下发生，并且大多数眼睛运动监视技术仅测量前两个旋转。现有的眼睛跟踪方法可以大致分为两类：二维（2D）跟踪和三维（3D）跟踪。在2D跟踪方法中，眼睛的3D位置通常是未知的，也无法通过眼睛跟踪器本身进行测量，并且仅测量相对于用户头部的相对视线。通常，由于其2D性质，这些2D跟踪方法要求用户相对于监视设备非常稳定地握住其头部，以实现良好的精度。在要求高精度的应用中，除了添加辅助设备（例如下巴托或咬合棒）之外，将成像设备连接到头饰是一种典型的做法。与2D跟踪相反，3D眼睛跟踪方法确定眼睛的3D位置，因此能够提供相对于固定参考的视线的完整3D表示。这样的方法自然地在一定程度上容忍了头部的移动，并且对用户的限制较小。

2D跟踪技术可以分类为非成像或基于成像的方法。非成像方法包括电眼（EOG）方法和基于巩膜搜索线圈的方法，该方法基于眼睛周围的电位差来检测眼睛的运动，该电极附着在被检者的眼睛周围，巩膜搜索线圈方法通过记录眼睛的运动来确定眼睛的运动。嵌入到对象眼睛中的微小感应线圈或隐形眼镜的确切位置。两种方法都具有很强的侵入性，几乎不用于人类受试者。

利用各种眼睛特征的基于图像的跟踪方法是最广泛使用的技术。大多数基于图像的方法通常在近红外（NIR）照明下利用眼睛的光谱特性。当近红外光照射到眼睛上时，它会从眼睛的不同结构反射出来，并产生几种类型的红外照明的眼睛特征。可以跟踪的典型特征包括角膜和眼睛晶状体形成的角膜缘，瞳孔和反射图像，它们在眼睛旋转时相对于眼窝成比例地移动。例如，角膜缘跟踪可检测虹膜和白色巩膜之间的边界。由于眼睑、瞳孔跟踪比角膜缘跟踪更可靠，可监视瞳孔和虹膜之间的边界。根据红外照明器的配置，可能会创建不同的瞳孔跟踪方案。当红外光从相对于成像设备光轴的偏轴位置射入眼睛时，会产生暗瞳孔效应，瞳孔成为红外光的沉陷，看起来比虹膜和另一只眼睛暗特征。另一方面，由于视网膜的逆向反射特性，使用同轴红外照明器可以观察到明亮的瞳孔效果，其中瞳孔看起来比虹膜在摄影中用红眼观察的要亮。除了产生暗或明亮的瞳孔效果外，还通过前角膜的约2.4％镜面反射形成角膜反射图像（也称为闪烁图像或第一浦肯野图像）。角膜反射跟踪（也称为闪烁跟踪）对瞳孔跟踪的敏感度低于瞳孔跟踪。

跟踪检测瞳孔中心和第一张Purkinje图像之间的矢量差[ 21]。与仅使用瞳孔或角膜反射的方法相比，瞳孔和闪光跟踪的组合在较小程度上可容忍头部运动。结合明亮和黑暗的瞳影像的方法已经被报道[ 22，23，24 ]。在这些方法中，多组红外照明器交替闪烁并与CCD相机的奇数和偶数场同步闪烁，其中一组在轴上用于创建明亮的光瞳，另一组在轴上用于创建黑暗的光瞳。将奇数场和偶数场的图像相减以检测瞳孔特征。

3D跟踪技术比2D跟踪更为复杂。近年来，在对人机交互应用程序的需求不断增长的推动下，对它们进行了探索[ 11 ]。尽管大多数2D跟踪方法可以扩展到3D跟踪，但是3D跟踪系统通常需要多个眼睛特征或其他面部特征以及多个摄像头来估计眼睛旋转中心，或者需要其他机制来确定眼睛位置。例如，Shih和Liu提出了一个系统，该系统由多个摄像头和多个点光源组成，而无需使用任何用户相关参数来估计眼球旋转中心并因此输出3D凝视方向[ 25]。由于其3D性质，3D跟踪系统通常是远程安装的。跟踪摄像机的视场（FOV）必须足够大，以允许用户在指定区域内自由移动其头部。但是，使用大型FOV相机只能产生有限的人眼特征分辨率。几个研究人员提出的系统，要么使用平移-倾斜-变焦摄像机或宽的组合，缩小FOV相机[ 25，26 ]。

2.2在HMD中整合眼动追踪功能

最早是由CAE Corporation的高分辨率插图显示[ 27 ]开始的。

只有极少数，并初步作出了努力朝着系统化的方法ET-HMD集成在系统设想和优化作为一个文件，而不是在利用[的后期汇集了两个单独的工具[28，14，15，29 ]。

3. ET-HMD系统架构：建模和仿真

本文将重点关注眼睛照明成像子系统的成像方面，并研究如何利用多个NIR光源及其合成特征来开发新的跟踪方法，从而提高跟踪精度并扩展跟踪范围。

为了便于相关的眼部特征和眼睛旋转之间的动态关系的理解和分析，我们开发了一个Matlab ®眼睛拍摄子系统基于模拟。成像过程可分解为两个步骤：（1）通过眼睛光学器件形成相关特征（例如，通过角膜前表面反射产生的LED闪烁以及通过屈光度的折射形成虚拟瞳孔虹膜。角膜表面和房水）; （2）通过成像光学器件捕获这些特征和其他眼睛结构。

3.1眼睛模型

在一阶分析的上下文中，通过抑制曲面的圆锥系数，简化了光学系统与Arizona Eye模型的比较[ 31 ]。眼睛光学器件的横截面和相关参数如图2（a）所示。假定角膜是球体的一部分，其前半径r_c1等于7.8mm，后半径r_c2等于6.5mm，厚度t_c等于0.55mm，并且折射率n_c等于1.3771。房水的折射率为n_a等于1.3374。虹膜是带有中心孔的着色膜片，即瞳孔，是眼睛光学器件的孔径光阑。根据光照水平和心理因素，瞳孔直径从2毫米到8毫米不等。给定HMD中的主要亮度水平，在模拟中假设瞳孔为4mm。由于考虑到巩膜和闪烁物之间的图像对比度低以及巩膜发生镜面反射，虹膜与巩膜的外边界通常被认为是可以可靠地检测闪烁的极限。基于人体测量[ 32]，虹膜外边界的直径假定为11mm。虽然在不同距离处观察物体时眼透镜的形状会发生变化，但它不会影响第4节和第5节中分析的准确性，因为我们将仅使用角膜前表面的反射来形成闪烁和角膜表面的折射。用于瞳孔/虹膜成像。

尽管从严格意义上讲眼睛不是旋转对称的，但是以最小二乘意义上穿过光学表面的曲率中心的线被假定为眼睛的光轴。轴穿过眼球的旋转中心E。眼球半径r_e介于12至13mm [ 31]，假定为12.5mm。从固定点开始，实际的视线等于眼睛光学系统的主光线。由于中央凹偏离光轴约4°，因此视线偏离光轴该角度。在下文中，我们将使用光轴代表视轴。实际的视线将通过典型的校准过程获得。上眼睑和下眼睑根据人体测量法建模为两个抛物线[ 32 ]。令E代表眼睛旋转中心，让EXYZ代表相关的眼睛参考（图2（a））。指向角膜的眼睛参考的Z轴与眼睛光学系统的光轴对齐。

图2. 眼睛照明和成像系统的仿真：（a）示意性眼睛模型；（b）坐标系和参数说明。

3.2成像光学模型

《Video-based eyetracking methods and algorithms in head-mounted displays》论文阅读相关推荐

《基于卷积神经网络的深度迁移学习，用于燃气轮机燃烧室的故障检测》论文阅读
目录突出抽象引言 1.1动机 1.2文献综述获得的结论 1.3贡献 1.4组织 2方法 2.1燃汽轮机组故障知识共享 2.2迁移学习 2.3 基于卷积神经网络的深度迁移学习 2.4用于燃气轮机燃 ...
基于卷积神经网络和投票机制的三维模型分类与检索 2019 论文笔记
作者:白静计算机辅助设计与图形学学报 1.解决的问题由于三维模型投影得到的视图是由不同视点得到,具有相对独立性,这种像素级的融合运算并没有直接的物理或者几何意义,更有可能造成图像有益信息淹没和混淆 ...
TextCNN——基于卷积神经网络的文本分类学习
1.CNN基础内容 CNN的全称是Convolutional Neural Network,是一种前馈神经网络.由一个或多个卷积层.池化层以及顶部的全连接层组成,在图像处理领域表现出色. 本文主要学习 ...
读懂深度迁移学习，看这文就够了 | 赠书
百度前首席科学家.斯坦福大学副教授吴恩达(Andrew Ng)曾经说过:迁移学习将是继监督学习之后的下一个促使机器学习成功商业化的驱动力. 本文选自<深度学习500问:AI工程师面试宝典> ...
一种基于卷积神经网络的图像去雾研究-含matlab代码
目录一.绪论二.去雾卷积网络 2.1 特征提取 2.2 多尺度映射 2.3 局部均值 2.4 非线性回归三.实验与分析四.Matlab代码获取一.绪论雾是一种常见的大气现象,空气中悬浮的水 ...
机械臂论文笔记（一）【基于卷积神经网络的二指机械手抓取姿态生成研究】
基于卷积神经网络的二指机械手抓取姿态生成研究论文下载摘要第1章绪论 1.1 抓取生成国内外研究现状 1.1.1已知物体抓取生成 1.1.2相似物体抓取生成 1.1.3 未知物体抓取生成 1. ...
毕业设计 - 基于卷积神经网络的乳腺癌分类深度学习医学图像
文章目录 1 前言 2 前言 3 数据集 3.1 良性样本 3.2 病变样本 4 开发环境 5 代码实现 5.1 实现流程 5.2 部分代码实现 5.2.1 导入库 5.2.2 图像加载 5.2.3 ...
基于卷积神经网络与迁移学习的油茶病害图像识别
基于卷积神经网络与迁移学习的油茶病害图像识别 1.研究思路利用深度卷积神经网络强大的特征学习和特征表达能力来自动学习油茶病害特征,并借助迁移学习方法将AlexNet模型在ImageNet图像数据集上 ...
Python深度学习实例--基于卷积神经网络的小型数据处理（猫狗分类）
Python深度学习实例--基于卷积神经网络的小型数据处理(猫狗分类) 1.卷积神经网络 1.1卷积神经网络简介 1.2卷积运算 1.3 深度学习与小数据问题的相关性 2.下载数据 2.1下载原始数据 ...
基于卷积神经网络实现图片风格的迁移 1
卷积神经网络详解一.实验介绍 1.1 实验内容 Prisma 是最近很火的一款APP,它能够将一张普通的图像转换成各种艺术风格的图像.本课程基于卷积神经网络,使用Caffe框架,探讨图片风格迁移背后 ...

《Video-based eyetracking methods and algorithms in head-mounted displays》论文阅读