EOG-based eye movement detection and gaze estimation for an asynchronous virtual keyboard基于EOG的异步虚

基于EOG的异步虚拟键盘眼动检测和注视估计

【摘要】

这项工作的目的是开发一种新的基于眼电图（EOG）的虚拟键盘，其具有标准的QWERTY布局，与类似的最先进系统不同，它允许用户直接和异步地从任何位置到达任何图标。使用新的双通道输入线性回归模型将扫视EOG电位位移映射为角度凝视位移，该模型考虑了从水平和垂直EOG信号分量中联合提取的特征。使用该技术，视线位移估计误差为1.32±0.26◦ 和1.67±0.26◦ 在水平和垂直方向上分别实现了一种性能，该性能也被发现通常在统计上显著优于使用一个模型为每个EOG组件分别建模水平和垂直方向上的关系而获得的性能，如文献中通常使用的那样。

此外，本文还提出了一种基于阈值的方法来实时检测EOG信号中的眼球运动，然后使用基于EOG峰值和梯度特征的参数和信号形态分类器的新级联将其分类为眼跳或眨眼。这导致平均眼跳和眨眼标记准确率分别为99.92%和100.00%，表明使用所提出的算法可以可靠地实时检测和区分这两种眼球运动。当使用这些技术与拟议的基于EOG的异步虚拟键盘交互时，受试者的平均书写速度达到了每分钟11.89±4.42个字符，这一性能随着用户体验的提高而显著提高

layout which,

布局，

reach any icon

到达任意图标

directly and asynchronously.

直接和异步。

saccadic EOG potential displacement

扫视性EOG电位位移

signal components

信号组件

saccades or blinks

扫视或眨眼

gradient features.

梯度特征

a novel cascade

新型级联

parametric and a signal-morphological classifier

参数和信号形态分类器

improve substantially

大幅改善

【1. Introduction

1、引言】

如今，计算机被视为无处不在，通常只需要很少的努力即可使用。然而，患有运动障碍的个体，例如被诊断为肌萎缩侧索硬化症（ALS）或瘫痪中风患者，在自主性和对此类设备的控制方面可能会受到严重挑战。

尽管受到不同条件的限制，但眼睛通常是最后一个受到影响的器官，因此，基于眼动的人机界面（HCI）系统可以为此类智能系统提供替代通信通道，使患有这些条件的个人更加独立，提高生活质量[1]。

近年来，这种基于眼睛的人机交互系统已被广泛开发，使用基于视频眼球成像（VOG）的技术，它使用相机和图像处理算法来跟踪用户的眼球姿势（眼睛位姿）。尽管基于VOG的技术比基于眼电图（EOG）的技术具有更好的分辨率，但它们在计算上要求很高，易受照明条件的影响，对用户的移动很敏感，并且通常还需要外部照明源。替代眼动记录技术包括红外反射眼图，通常仅限于记录水平眼动；或者巩膜搜索线圈技术，这是一种半侵入性技术，因为它要求用户佩戴带有嵌入式线圈的隐形眼镜[2]。

另一方面，EOG通过捕捉人眼产生的电活动，可以为这些技术提供一个很好的替代解决方案，人眼的行为类似于电偶极，其正负极分别位于角膜和视网膜。事实上，这会产生0.4–1.0 mV范围内的电位差，称为视网膜角电位（CRP），从而产生电场。具体来说，EOG使用一组基于凝胶电极非侵入性地捕捉CRP产生的电活动，该电极附着在眼睛周围眶周位置的面部[2,3]。

ubiquitous,无处不在。

mobility impairments,

活动障碍，

an alternative communication channel

替代通信信道

eye movement-based human–computer interface (HCI) system

基于眼动的人机界面（HCI）系统

last organs

最后的器官

a better resolution

更好的分辨率

susceptible to

易受

sensitive to

敏感于

normally require

通常需要

create a potential difference

产生电位差

the corneo-retinal potential (CRP)

视网膜角电位（CRP）

creates an electrical field.

创建电场。

这项工作涉及到使用EOG信号与虚拟键盘应用进行交互。最先进的基于EOG的虚拟键盘通常要求用户进行重复的上、下、左、右和可能的斜视运动，以离散的固定大小的步骤在图标上盘旋[1,4,5]，或者通过从屏幕中心向放置在外围的一组图标进行眼球运动来进行后续的图标选择，以抄写每个字符[6,7]。相比之下，拟议的虚拟键盘允许用户从屏幕上的任何位置访问任何图标。具体来说，这是通过模拟EOG信号中眼球运动的电压-角度关系来实现的，以允许直接估计受试者的扫视角位移，而不是简单地检测扫视的方向；因此，受试者可以在一个步骤中从一个目标移动到最终目标目的地，从而消除了必须通过中间位置或从屏幕上的中心位置重复发起眼球运动的限制。拟议的虚拟键盘也是异步控制的，因此不需要在提示间隔内执行眼动[6,7]。具体来说，这是通过提出一种新技术来实现的，该技术通过实时处理EOG信号来检测用户的扫视运动并将其与眨眼区分开来。这还允许用户执行检测到的特定眨眼序列，以解决Midas触摸问题，这是文献中通常忽略的一个方面。

perform repetitive

重复执行

oblique saccadic movements

斜扫视运动

hover over icons in discrete fixed-sized steps

将光标悬停在离散的固定大小的图标上

saccadic angular displacement

扫视角位移

intermediary locations

中间位置

within cued intervals

在提示间隔内

in the literature.

在文献中。

在文献中，EOG信号中眼球运动的电压-角度关系通常通过分别分析水平和垂直EOG分量来建模，特别是通过对每个EOG分量采用一个模型来分别建模水平和垂直方向上的注视角度和EOG电位之间的关系[8-10]。然而，该方法的正确性取决于以下假设：水平EOG信号分量仅是水平眼位移的函数，类似地，垂直EOG信号分量仅是垂直眼位移的函数，这在实践中可能不是典型情况，例如，由于水平和垂直EOG电极对与水平和垂直眼偶极子轴之间的错位[11]。Lee等人[12]观察到了这一点，其中每个EOG分量由一个线性模型表示，该模型取决于水平和垂直位移。本文进一步研究了每个EOG分量对水平和垂直眼位移的依赖性。

因此，本研究调查了在估计注视角度时，是否应该单独或联合使用这两个分量，特别是通过提出一个双通道输入线性回归模型，联合使用从两个EOG分量中提取的特征，并将其与包括每个EOG分量一个模型的最先进方法进行比较。

the voltage–angle relationship

电压-角度关系

misalignment

错位

另一方面，关于EOG信号的异步眼球运动检测的有限文献通常仅限于检测眨眼和仅在四个[1,4]或八个方向[3,5]上的一个特定位移的离散扫视运动集。如前所述，这限制了用户仅在离散方向上以固定大小的步长在屏幕上悬停。最先进的眨眼和扫视检测技术通常基于幅度和持续时间阈值[3-5]。

通常也使用基于模板匹配的方法，特别是对于眨眼检测[1,11]，但是，由于在标记眼球运动之前必须等待整个EOG段的获取，因此眨眼检测存在很长的标记延迟。鉴于此，我们提出了一种新技术，该技术利用眼跳和眨眼EOG峰值梯度特征分布，实时从EOG信号中区分任何位移和方向的眨眼和扫视。

, as previously indicated.

，如前所述。

in discrete directions

在离散方向上

amplitude and duration thresholds

振幅和持续时间阈值

总之，这项工作的主要贡献包括：

（i）统计分析每个EOG信号分量对水平和垂直眼位移的依赖性，以下称为依赖性测试；

（ii） 一个双通道输入回归模型来估计眼球的姿势。

（iii）通过实时处理EOG信号来检测和标记眼球运动的新技术；

（iv）结合使用这些技术与虚拟键盘交互。

本文的其余部分分为以下几部分：；第2节重点介绍EOG信号的采集和处理，第3节介绍了相关性测试以及拟议的双通道输入回归模型。第4节介绍了拟议的实时眼动检测和标记技术，第5节介绍了使用拟议技术获得的眼位姿估计和眼动标记性能。最后，第6节介绍了一种基于EOG的异步虚拟键盘，并对其性能进行了测试。第7节总结了本文。

displacements,

位移，移动

henceforth referred to as

以下简称

acquisition采集

【2. Acquisition and processing of EOG signals2.EOG信号的采集和处理】

2.1. Acquisition of EOG signals

2.1。EOG信号采集

EOG信号的采集得到了马耳他大学大学研究伦理委员会（UREC）的批准，在每个记录环节之前，受试者必须提供他们的知情同意。受试者被放置在离24英寸液晶显示器约60厘米的地方，用眼罩固定头部不动。液晶显示器约60厘米远，通过眼科下巴和前额的托架使他们的头部不动。在这些环节中，他们被要求遵循屏幕上的指示，这将在接下来的章节中进一步讨论。

EOG电极的配置如图1所示，两个电极分别放置在各自外眼角的左侧和右侧，另一对放置在右眼上方和下方。如图所示，一个接地（'G'）和一个参考（'R'）电极也分别放置在前额和左耳后的乳突上。EOG数据是用g.tec g.USBamp生物信号放大器（g.tec医疗工程有限公司，奥地利）记录的，采样频率为256Hz。水平和垂直排列的电极之间的电位差被计算出来，以产生所谓的水平和垂直EOG成分，分别用EOGh(t)和EOGv(t)表示：公式(1) 公式(2)

其中V1（t）、V2（t）、V3（t）和V4（t）分别表示从图1中的电极1-4记录的电位。

2.2. Processing of EOG data 2.2. EOG数据处理

EOG数据可能受到外部噪声的污染，例如电网干扰和高频肌电（EMG）噪声，尤其是由于潜在的面部肌肉收缩，例如在斜视或微笑期间。另一个噪声因素是基线漂移效应，它是指干扰所采集EOG信号的低频信号，并且由于背景信号干扰或电极极化而产生[3]。

在这方面，采集的EOG信号在0到30 Hz之间进行带通滤波，同时还应用50 Hz陷波滤波器分别消除高频噪声和电网干扰。另一方面，为了减轻基线漂移效应，差分信号计算如下：等式（3）等式（4），其中EOGh（t）和EOGv（t）分别表示水平和垂直差分EOG分量。为了保持扫视事件的EOG潜在位移？t 设定为眼睛从一个角度姿势扫视到另一个极端姿势的最大扫视持续时间。在256 Hz的采样频率下，经验发现这是25个样本，相当于？=0.0977秒。因此，由扫视（S）和闪烁（B）引起的EOG信号被转换为差分信号（Difference signal）EOG，如图2所示。

3、基于EOG的视线位移估计

在本节中，研究了每个EOG信号分量对水平和垂直眼位移的依赖性。

此外，本文还提出了估计凝视角位移的双通道输入线性回归模型。

3.1. 相关性测试

该测试的目的是研究水平和垂直EOG分量是否共同依赖于水平和垂直眼位移或其他。

这是通过分析一般斜扫视运动的水平和垂直EOG分量是否分别等效于相同角位移的纯（非斜）水平和纯（非斜）垂直运动的相应水平和垂直EOG分量来测试的；这如图3所示。如果该分析表明斜视运动的EOG信号分量不同于相应纯运动的EOG信号分量，则可以得出水平和垂直EOG分量共同依赖于水平和垂直眼位移，这进一步意味着两个EOG信号分量应联合用于估计一般的角度眼位姿。--------------------------一个斜着的方向向量分解成两个方向向量 xy坐标似的

在本分析中，使用了图4所示的提示设置，将水平和垂直提示间角度分离设置为5◦. 记录了六名受试者从线索0到线索1-28的一组扫视动作，每个动作后都会相应地返回到线索0。此外，同时使用基于视觉的眼球注视跟踪器，特别是感知仪器（SMI）RED500眼球跟踪器来验证屏幕上受试者的所需注视点（POG）。

如第2.2节所述处理记录的EOG数据，并提取对应于不同扫视运动的峰值振幅。

为了测试相关性，使用两样本t检验将斜扫视运动的水平EOG分量提取的峰值与相同角度位移的纯水平运动的水平分量提取的峰值进行统计比较。例如，将从线索0到线索21的斜扫视的水平分量获得的峰值与从线索0到线索5的纯水平扫视的峰值幅度进行比较；对所有斜向运动重复该程序。对垂直EOG组件进行了类似的练习。

获得的结果如表1所示，其中线索P和O分别指纯眼跳和斜眼跳的目标线索。突出显示的单元格表明，分别从斜扫视运动的水平和垂直分量提取的EOG峰值与纯水平和垂直运动的峰值之间存在统计显著差异。这可能是由于电极与眼偶极子轴不对齐。因此，这些结果表明，在估计角度眼位姿时，应同时使用水平和垂直EOG分量。

3.2. EOG信号和角度注视位移之间的关系建模

在这项工作中，EOG信号和角度凝视位移之间的关系是使用两种不同的技术建模的。

这两种技术都使用分别从预处理的水平和垂直EOG分量中提取的扫视EOG峰值振幅、Ph和Pv来估计角度凝视位移？？h和ˆ？？v、分别在水平和垂直方向上。

图5a所示的第一种技术显示了最先进的模型[8-10]，该模型包括两个线性回归模型Mx和My，分别表示水平和垂直EOG分量与各个方向上的角度凝视位移之间的关系。另一方面，根据第3.1节中概述的相关性测试结论，还提出了一种替代的单双通道输入线性回归模型M，如图5b所示，该模型将从水平和垂直EOG分量中提取的峰值共同视为其2D输入。

通常，线性回归模型Mx、My和M涉及输入变量的固定非线性基函数（BF）的线性组合，通常可以用[13]的形式表示：等式（5），其中y表示K维列向量输出，x是D维列向量输入，W是参数的L×K矩阵，和？（x）是一个L维列向量，其元素是j=0的BFs（x）。，L− 1，其中L表示考虑的BF总数[13]。

因此，图5a中的模型Mx和My分别表示为ˆh=WTx（Ph）和ˆv=WTy（Pv）。中的BFsj（xn）？这些模型中考虑的（xn）设置为？（xn）=（…）式中[13]：公式（6），对于j=0。，L1D，其中L1D是模型订单。

另一方面，图5b的拟议双通道输入线性回归模型M表示为（ˆh，ˆv）T=WTxy（Ph，Pv）T。在这种情况下，考虑的BF根据各自的最大阶L2D进行分组，其中，对于任何整数L2D>0，考虑2D输入向量xn的不同多项式BF集，直至L2D阶；L2D考虑的BFs∈ {1，2，3}如表2所示，其中类似的方案适用于更高阶。

【

4. Real-time saccade and blink detection and labelling

4、实时扫视和眨眼检测和标记】

由于我们的目标是开发基于EOG的异步虚拟键盘，因此需要技术来检测眼睛事件，特别是眼跳和眨眼，并实时区分这两个事件。

文献表明，角扫视位移与相应的峰值速度之间存在关系[14]。在这方面，我们在EOG峰值Pv和EOG信号梯度Gv的特征空间中表示扫视和眨眼，该特征空间是从预处理的垂直EOG信号分量中提取的，如图6所示，该分量通常由两个簇表示，从而提供这两个事件之间的区分。

4.1. 建议的算法
基于预处理的水平和垂直EOG分量的信号特征，即EOGh(t)和EOGv(t)，应用于两个EOG分量的突出事件阈值（SET）被用来检测任何眼球运动的开始，这里被称为突出事件。图7是一个特定斜向运动的例子，其中检测到发病的瞬间用 "A "标记。

在检测到发病后，水平和垂直EOG分量的峰值振幅，即Ph和Pv，以及垂直EOG信号分量的梯度，即Gv，被提取出来。

然后在分类器中使用Pv和Gv将事件标记为扫视或眨眼。需要指出的是，由于只有向上的扫视具有与眨眼相似的特征，因此每当检测到显著事件且Pv<0时，该事件立即被标记为扫视。如果事件被标记为扫视，则根据Ph和Pv估计角度凝视位移。-----------因为向上是垂直方向变化，而Pv就是垂直方向的向量如果小于0那就没上下动那就是扫视？？？？

相反，如果事件被标记为眨眼，则会被抑制，并且不会估计新的注视位移。

数学

看不懂

图8。实时从EOG信号中检测和标记眼跳和眨眼的算法流程图。

【

5. Results

5、结果】

在这项研究中，共记录了六名受试者600次随机角位移的扫视运动和300次眨眼，要求他们按照屏幕上的指示进行不同的眼球运动。角度注视位移变化高达±40◦ 水平和±20◦ 垂直，跨越24英寸的整个空间。LCD监视器。然后，如第2.2节所述，对收集的EOG数据进行预处理，任何与受试者相关的错误，例如在指示进行扫视的期间或相反期间眨眼，从进一步分析中手动丢弃，导致480次扫视和200次眨眼。

5.1. 凝视位移估计性能

5.1. Gaze displacement estimation performance

在该分析中，不同扫视运动的峰值幅度分为四个倍数，每个倍数有120个试验。为了比较图5所示的估计模型，计算了每个折叠的均方根误差（RMSE），定义为：等式（12），其中N表示折叠中的试验总数？？hj和？？vj分别表示目标水平和垂直角度凝视位移，而ˆ？？hj和ˆ？？vj分别表示估计的水平和垂直角度注视位移。

此外，还计算了平均绝对水平和垂直角度误差。

考虑到图5a的建模技术，即每个EOG组件有一个单独的模型，最优多项式阶数L∗ 模型Mx和My的1D分别确定。可以确定，如果模型阶数L1D>1用于Mx和My，则模型性能没有统计差异；在所有六名受试者中都发现了这种情况。这与文献[8-10]中经常假设的线性模型一致。因此，如表3所示，使用一阶模型计算了水平和垂直方向上的双重交叉验证均方根误差和平均绝对角误差。

对于拟议的双通道输入线性回归模型，最优阶数L∗ 2D是通过比较增加模型阶数L2D的双重交叉验证RMSE来确定的∈{1，2，3，4}并确定在哪个顺序下性能没有统计上显著的改善。在这种情况下，发现不同受试者的最优模型顺序不同，徘徊在L之间∗ 2D=1和L∗ 2D=3。使用这些特定于主题的L∗ 2D，水平和垂直方向上的双重交叉验证均方根误差和平均绝对角度误差如表3所示。

研究发现，使用拟议的双通道输入线性回归模型获得的优越性能在统计学上显著优于使用文献中通常考虑的一维输入模型获得的性能，大多数受试者的情况都是如此。这些结果表明，第3.1节中相关性测试的观察结果确实可以用于设计具有改进估计性能的双通道回归模型。

性能方面 2D胜出

5.2. Eye movement labelling performance

5.2. 眼球运动标签性能

参数Tc、Td、B−, 第4节中提出的算法所需的集合和˛确定如下。Tc的值设置为0.75，这是通过注意到在眼跳和眨眼的（Pv，Gv）特征分布重叠的区域中，典型的pmax值小于该值而根据经验确定的。

虽然Tc值越高，使用MAP分类器的分类错误越低，但这也会导致更频繁的拒绝事件，其中每个事件都必须等待波谷检测器处理以进行标记，从而导致更高的系统延迟。

时间间隔Td的值基于预处理垂直EOG分量中的平均闪烁峰谷间隔。对于256 Hz采样频率，该值为60个样本，对应于0.2344 s。

阈值B− 由一组记录的闪烁确定，使用等式（13），其中λ是范围[0，1]内的常数，Etrain表示包含在特定于受试者的训练会话期间获得的闪烁波谷幅度值的数据集，而med{Etrain}表示Etrain的中值。中值统计的选择是为了确保阈值校准对异常值具有鲁棒性，异常值通常由训练数据收集过程中与主题相关的错误引起。经六名受试者交叉验证，λ的最佳值为0.4。

设置值的选择会影响错误事件检测率。

因此，生成了各种设定值的准确度与假检测率的曲线图，并在曲线图的拐点处选择了最佳设定值，以最大限度地提高准确度并最小化假检测率，对于给定的记录设备，误检测率为60–70μV。在α的情况下，增加其值将导致较高的错误事件检测率，因此需要较低的α值；然而，较低的α值将导致较长的循环重启平均持续时间。根据文献[16]，眼跳间注视持续时间通常为250 ms，因此，需要确保选择的最低α值不会导致重新启动周期延迟超过该值。发现0.0到0.1之间的α值满足这些相反的要求。

接下来，评估了第4节中提出的算法的实时眼动分类性能。使用最佳参数值，使用拟议算法为每个受试者获得的事件标记精度为10倍，如表4所示；注意，向下扫视运动，即Pv<0的扫视，不包括在本性能分析中，以避免对结果产生偏见，因为这些事件被确定地标记为扫视，如第4节所述。

6、基于EOG的虚拟键盘

然后，使用拟议的双通道输入线性回归模型以及实时眼动检测和标记技术与基于EOG的实时虚拟键盘进行交互，如图9所示。使用回归模型来估计受试者的注视位移，允许用户从屏幕上的任何位置到达任何图标，从而远离文献[1,4-7]中发现的标准、不自然、离散步长虚拟键盘。此外，实时眼动检测技术允许用户与应用程序异步交互，即不受限制在特定提示间隔内执行眼动[6,7]。本节介绍了键盘界面以及由10名受试者测试时获得的性能（表4）。

6.1. 与虚拟键盘交互

按照标准QWERTY键盘布局，拟议的虚拟键盘在两个40图标菜单上组织字母、数字、标点符号和其他符号，如图9所示，图标间的水平和垂直角度间隔约为5◦. 两个菜单上的布局还包括动作图标，用于在两个菜单之间切换、删除最后转录的字符或单词、模拟按下“回车”键以及退出应用程序。顶部还显示了一个显示转录字符的书写条。

为了使用虚拟键盘打字，用户进行扫视运动以达到所需的图标，并使用基于停顿的验证技术进行选择，即通过固定预先指定的时间段，该时间段设置为2秒。具体来说，每当通过第4节的算法检测到受试者的第i次扫视时，相应的水平和垂直角度注视位移，△ˆθhi和△ˆθvi分别使用提出的双通道输入回归模型进行估计。然后使用这些估计值确定受试者在屏幕上的新POG，该POG映射到最近图标的质心。

由于使用了基于停顿的验证技术，将显示一个以该图标为中心的绿色圆形进度条，以提供有关POG的视觉反馈，以及在选择图标和键入/启动相应角色/动作之前剩余的时间。当停留时间过去时，图标以绿色高亮显示，以向用户指示其已被选择；此反馈旨在减少受试者在每次选择图标后查看书写栏的本能，以确保采取了正确的操作。

但是，如果估计POG位于书写条区域内，则系统将暂时暂停，忽略受试者的眼部活动3秒。这种暂停允许用户有足够的时间验证是否成功转录了正确的字符，并将其POG重新聚焦在指示的图标上。在此时间间隔内，对应于上一个POG的图标上显示一个橙色的圆形进度条，指示系统恢复监测眼部活动之前剩余的时间。

该应用程序还设计用于解决Midas触摸问题[7,10]，允许用户故意暂停并恢复系统，从而允许受试者在忽略眼部活动的情况下四处凝视和休息。该暂停恢复功能是通过双闪烁检测实现的，具体来说，如果在1秒内检测到两个连续的闪烁事件，系统将在其活动和暂停状态之间切换。当系统暂停时，圆形进度条变为实心红色圆形光标，以指示系统的状态，并作为提示用户通过执行另一个双闪烁手势重新聚焦其POG以恢复系统。

如果未正确估计对象的角度注视位移，导致光标落在不需要的图标上，则此功能也特别有用。在这种情况下，双闪烁手势也可用于暂停系统，以便在将POG聚焦在实心红色圆形光标上后，他/她执行第二个双闪烁手势，从该位置继续执行任务。

6.2. Results

6.2. 后果

共有10名受试者测试了拟议的虚拟键盘，他们被要求抄写两个字符串，"HELLO "和 "GOOD DAY"，然后分别选择退出图标，进行三次试验。受试者还被要求正确和完整地抄写这两个字符串，因此，需要使用删除字母图标来纠正任何错误的字符。

在使用拟议的虚拟键盘应用程序之前，用户必须进行200秒的数据记录，其中共收集了100个扫视和50次眨眼。这些数据被用来估计系统参数，详见第5节。

我们考虑了两个不同的性能指标，即书写速度（WS）和图标选择准确性。以每分钟字符数为单位的WS[4-7]定义为：公式（14），其中N代表试验的总数，|Sj|代表在试验j中转录的特定字符串的长度，而Dj表示完成试验j所需的时间（秒）。

分子中包含的+1代表在输入每个字符串后选择退出图标的情况。由于选择图标的停留时间为2秒，因此该指标的理论最大值为30cpm。

然而，由于这项工作中记录的WS结果考虑到了遍历到所需图标的延迟，以及在打字过程中由于系统或用户错误而导致的任何错误的纠正所花费的延迟，所引用的结果提供了典型打字率的实际值。

图标选择精度[5,6]定义为：等式（15），其中N表示试验总数，| Scorrectj |表示试验j中预期和成功选择的图标总数，因此，也包括了删除字母图标的任何有意选择，而| Sselectedj |表示试验j期间选择的图标总数，这也包括了所有意外的图标选择以及退出和删除字母图标的选择。

表5列出了10名受试者中每个人获得的WS和图标选择准确性结果，其中指出受试者S1在应用方面有更多经验；因此，计算受试者S2-S10的平均结果。

所获得的性能与最先进的基于EOG的虚拟键盘[1,4-7]所获得的WS和准确性性能进行了很好的比较。这些结果还表明，开发的应用程序可以通过使用EOG捕捉的简单眼动进行有效控制。由于（i）垂直和水平方向的角度误差小于图标间角度间隔，以及（ii）如果估计的POG落在不需要的图标上，则受试者仍有2 s的停留时间来验证图标或其他，因此实现了良好的WSs和高精度。

此外，很明显，获得的平均WSs低于30 cpm的理论最大WS。然而，该理论最大值基于这样的假设，即成功选择特定图标后到达下一个图标所需的时间可以忽略不计，而实际上并非如此。其他归因于平均WSs较慢的问题包括使用应用程序时与主题相关的错误。例如，在一些情况下，受试者未能在错误估计发生后立即执行双闪烁手势，以便立即暂停系统，并允许用户的POG在恢复之前重新聚焦于红色光标指示的图标。取而代之的是，受试者反复对图标进行扫视运动，在那里他们的POG可能会被错误估计，这导致估计的POG远离所需的图标。另一方面，如果在错误估计发生后立即成功启动双眨眼手势，则一些受试者通常会在执行第二个双眨眼手势之前花费大量时间来恢复系统并继续执行任务。此外，即使受试者通过高亮显示系统所选图标获得反馈，其中一些人有时仍然通过查看书写栏来确认这一点。

然而，随着用户对系统的熟悉程度，这些问题预计会大大减少，从而实现更高的WSs。经验丰富的用户S1的WS显著较高，平均为20.78±2.37 cpm。

此外，随着用户对系统熟悉程度的提高，可以通过缩短驻留时间来进一步提高WS性能，这将有效减少成功选择每个图标所需的时间。事实上，当受试者S1使用1.5 s的修正停留时间进行相同的运动时，平均WS为29.84±3.10 cpm。这些结果还表明，在用户熟悉的情况下，可以获得比文献[1,4-7]中报告的更好的WS性能。

7、结论

这项工作的重点是开发新技术，以估计受试者的眼睛姿势，并实时检测和标记EOG信号中的不同眼球运动，这些信号用于与基于EOG的虚拟键盘交互，使用户可以直接和异步地从屏幕上的任何位置访问任何图标。使用双通道输入线性回归模型，联合使用从水平和垂直EOG分量中提取的特征来估计角度凝视位移。使用该技术，平均绝对角度误差为1.32±0.26◦ 和1.67±0.26◦ 分别在水平和垂直方向上获得，发现其在统计上明显优于文献中通常认为的使用每个EOG分量的单独模型获得的结果。此外，本文提出了一种新的算法，利用EOG峰值和梯度特征实时区分EOG信号中的眼跳和眨眼。使用该技术，眼跳和眨眼标记的准确率分别为99.92%和100.00%。当使用这些技术与拟议的虚拟键盘交互时，受试者的平均书写速度为11.89±4.42 cpm；随着用户对系统的熟悉，这种性能已被证明有了很大的提高。未来的工作旨在开发使驻留时间适应用户体验的技术，并结合字典来帮助提高写作速度。

EOG-based eye movement detection and gaze estimation for an asynchronous virtual keyboard基于EOG的异步虚相关推荐

《A novel non-intrusive eye gaze estimation using cross-ratio under large head motion》论文阅读
标题:A novel non-intrusive eye gaze estimation using cross-ratio under large head motion 作者:Dong Hyun ...
视线估计（Gaze Estimation）简介概述
©PaperWeekly 原创 · 作者|俞雨单位|瑞士洛桑联邦理工学院博士研究方向|视线估计.头部姿态估计本文七个篇章总计涵盖 29 篇论文,总结了自深度学习以来,视线估计领域近五年的发展. ...
Gaze Estimation笔记——data normalization
最近在看一些视线检测(Gaze Estimation)相关的东西,由于之前没怎么接触过,所以也算是从头开始,很多新的东西要学.写一个系列笔记,把慢慢看懂的东西记录下来,做个整理,也方便以后回头查阅 ...
巩膜：论文翻译《一种改进的眼角检测算法》An Improved Algorithm for Eye Corner Detection
1509.04887.pdf论文翻译 An Improved Algorithm for Eye Corner Detection Anirban Dasgupta, Anshit Mandloi, ...
文献解读-CVPR2019-Stereo R-CNN based 3D Object Detection for Autonomous Driving
小菜鸡最近跟着大佬们学看文献,那就适当地记录一下,当作自己的学习笔记吧.文中也有很多理解不到位的地方的,毕竟还只是个小菜鸟,不懂的地方多得是.所以哪里有问题的还请各位读者好好指点指点. 今天要介绍的论 ...
【论文翻译】Few-Shot Object Detection and Viewpoint Estimation for Objects in the Wild
Few-Shot Object Detection and Viewpoint Estimation for Objects in the Wild 野外目标的小样本目标检测与视点估计论文地址:ht ...
【视线估计】Appearance-Based Gaze Estimation via Evaluation-Guided Asymmetric Regression
0. 前言这是一篇2018年北航博士Yihua Cheng发表的关于视线估计的论文,被ECCV收录.该论文通过多分支卷积神经网络提取双眼图像特征并结合头部姿态实现视线估计,通过设计非对称损失函数来估 ...
OpenCV注视估计Gaze Estimation的实例(附完整代码)
OpenCV注视估计Gaze Estimation的实例 OpenCV注视估计Gaze Estimation的实例 OpenCV注视估计Gaze Estimation的实例 #include < ...
[我研究]Behavior Based Software Theft Detection - Hawk
Xinran Wang, Yoon-Chan Jhi, Sencun Zhu, Peng Liu@PSU 背景: Behavior Based Software Theft Detection的系统包 ...

EOG-based eye movement detection and gaze estimation for an asynchronous virtual keyboard基于EOG的异步虚

EOG-based eye movement detection and gaze estimation for an asynchronous virtual keyboard基于EOG的异步虚相关推荐

最新文章

热门文章