智能多模式，视线追踪控制界面的应用（翻译）

介绍

基于红外线的眼睛视线跟踪器的最新进展显着增加了凝视跟踪技术的研究和工业应用。虽然涉及眼睛凝视分析的研究可追溯到19世纪初，但直到最近，眼睛注视追踪器主要用于分析眼睛参数以进行阅读和各种人机交互任务。随着处理器速度和图像处理算法的进步，现在还可以实时使用凝视跟踪技术来控制直接操作界面中的屏幕指针。凝视控制的接口已经被研究并用于辅助技术，以及汽车和航空环境。本章介绍了一组提高眼睛注视控制界面交互质量的系统。

在二维屏幕中，我们主要研究扫视（saccadic）和小幅度眼睛追踪运动。扫视需要250到350毫秒才能完成，本质上是有轨迹的运动（ballistic）弹。然而，微小的追随动作会让你的视线在你感兴趣的地方来回移动。如果我们将指针直接跟随视线移动，这个微小的追逐动作会产生抖动，如果指针不稳定，就很难选择目标。

截至2015年2月，眼睛‐注视跟踪器的最佳可用精度为视角的0.4°。从65厘米的观看距离来看，这一精度相当于标准桌面屏幕的18个像素。因此，视线控制界面有时可能需要用户将焦点稍稍偏离目标，以便将光标移到屏幕元素上。

总的来说，根据眼睛的注视移动屏幕指针并不困难，但是在注视控制界面中，将屏幕指针集中在屏幕元素上仍然是一个挑战。现有的凝视控制软件通过设计带有大屏幕元素的特殊界面来补偿精度的变化和限制，解决了这一问题。然而，交互系统不应该限制接口设计，而应该在不限制屏幕元素大小的情况下为现有接口工作。

我们的研究试图通过两种方式减少注视控制界面中的指向和选择时间以及认知负荷。我们开发了一种目标预测和扩展技术，可以激活一个目标，而不需要指针到达目标的顶部。其次，我们将其他的输入模式与注视跟踪相结合，以帮助定位和选择。本章介绍了以下使用智能多模态凝视跟踪技术的案例研究：

图形用户界面中的一种指向和选择任务，涉及眼睛‐注视跟踪器（eye‐gaze
tracker）、操纵杆（joystick）和跳跃运动控制器（Leap motion controller）；
使用眼睛‐注视跟踪浏览谷歌地图；
使用智能眼睛进行电子购物——电脑新手的目光跟踪；
控制驾驶模拟器中的仪表盘(堆栈)；
控制飞行模拟器驾驶舱中的多功能显示器。

新的视线追踪技术

研究人员已经研究了将视线跟踪和其他输入方式结合起来。MAGIC指点系统(Zhai, Morimoto， & Ihde, 1999)探索将鼠标的使用与基于眼睛‐注视跟踪‐指点相结合。最近的Tobii EyeX系统也提供了一个类似的功能，可以通过触摸板或鼠标进行眼神交流。Bates(1999)将Polhemus跟踪器与基于眼睛‐视线跟踪‐的指向相结合，他们的多模态眼睛跟踪系统允许使用Polhemus跟踪器对屏幕的一部分进行缩放。Zandera, Gaertnera, Kothea和Vilmek(2010)将BCI系统与眼睛‐注视跟踪相结合，在该系统中，通过想象冲洗动作生成的脑电图被训练来进行选择。然而，他们的系统在减少指向时间方面收效甚微。

眼动轨迹的追踪
该系统的开发目的是将眼球注视跟踪与辅助技术相结合，帮助运动障碍患者完成指向和选择任务。
最初，系统根据用户的眼睛注视情况在屏幕上移动指针(图20.1)。用户可以看到一个小按钮在屏幕上移动，按钮被放置在他们正在看屏幕的地方。我们使用SDK提取眼球‐注视位置，SDK提供了一个眼球‐注视跟踪器，并使用了一个中值过滤器，该过滤器每500毫秒改变一次指针位置。在眼球追踪过程中，用户可以通过眨眼或按键切换到扫描系统。眨眼的持续时间是可配置的，以区分有意和无意眨眼。

我们使用了一种特殊类型的扫描系统，称为8‐定向扫描来在屏幕上导航。在8‐方向扫描技术中，指针图标定期改变，以显示8个方向之一(上、上、左、左、左、下、下、右、右、右、上)。当指针图标显示所需的方向时，用户可以通过按下开关或闪烁来选择方向。得到方向选择后，指针开始移动。当指针到达屏幕上所需的点时，用户必须再按下一个键来停止指针的移动并单击。用户可以在扫描界面中选择exit按钮，从扫描系统回到眼球跟踪系统(图20.2)。
扫描系统的演示可以在http://www.youtube.com/ watch?v=0eSyyXeBoXQandfeature=user上看到。你可在以下连接找到有关该系统的短片：

screenshot: http://www.youtube.com/watch?v=UnYVO1Ag17U
actual usage:http://www.youtube.com/watch?v=2izAZNvj9L0

我们的研究(Biswas & Langdon, 2011)证实，这项技术的速度比基于扫描的界面更快，因为用户可以通过眼睛注视屏幕，将指针移动很长一段距离，比只使用一个单开关扫描界面更快。

使用操纵杆对眼动轨迹的追踪
该系统主要针对军用航空环境，将视线跟踪与操纵杆相结合。指针最初是基于用户的眼球注视在屏幕上移动的，但是如果用户移动操纵杆，基于眼球注视跟踪的指向将被关闭，指针的移动基于操纵杆输入。操纵杆按钮用于选择，一旦选择完成，基于指向的眼球注视跟踪将再次打开(图20.3)。

使用Leap motion对眼动轨迹的追踪
在这项技术中，我们使用了带有视线追踪器的Leap - motion控制器。跳跃运动控制器用于当单靠眼球跟踪器无法使指针对准目标时进行小的纠正运动。如果用户将手放在Leap - motion传感器上，指针就会根据用户的视线停止移动。我们使用手指位置变化的对数来根据手的运动来移动指针。对数函数保证指针与前一位置的视角移动不超过1°，手的移动只能用于寻的阶段，不能用于弹道运动。当用户将手从Leap - motion传感器顶部移开时，指针根据用户的视线恢复移动。

我们使用鼠标左键进行选择，虽然鼠标中的光传感器被阻塞，以确保屏幕指针不会随着鼠标移动而移动。该系统在Web浏览上下文中的演示视频可以在http://youtu.be/AnAZxJ6U9Wc 找到。参见图20.4。
与前三种情况不同，我们没有为这种特殊的技术组合任何其他指向方式;相反，我们试图预测和扩大用户的预期目标。在一个二维的屏幕上，当人们搜索一个物品时，他们通常会向目标做一个大的扫视动作，然后进行一系列平滑的追踪动作，以视觉上观察目标。这两个阶段的运动大致对应的弹道和归航阶段的快速瞄准运动。
我们开发了一个基于神经网络的模型(图20.5)，它采用不同的轨迹剖面，如速度、加速度和运动方位作为输入参数，并在此基础上预测眼球运动的类型。如果模型预测的是小幅度的抖动运动，我们假设用户已经接近他的目标。然后我们将最近的目标从用户当前的注视位置扩展到原来大小的3/2。
研究人员已经在意图识别或下一个点预测方面探索了类似的技术(Lank, Cheng， & Ruiz, 2007;但是我们率先使用了类似的技术来控制视线。我们的用户研究(Biswas & Langdon, 2015)证实，该模型可以显著减少注视控制界面的指向和选择时间。有关目标预测技术的演示视频可在https://www.youtube.com/watch?v=p9YOKj59TiY找到。

应用

本节介绍一系列眼动控制研究的结合在各种各样的领域。案例研究包括桌面计算、汽车和航空环境。前两项研究没有使用目标预测算法，而第三项和第四项研究使用了目标预测算法。最后的研究采用了目标扩展和多模态技术。

指点和任务的选择

在这项用户研究中，我们评估了两个多模态眼‐注视跟踪系统。这些系统没有使用任何目标预测或扩展技术，而是使用硬件开关进行选择，因为我们在之前的研究中发现它比基于语音的选择更好(bisis & Langdon, 2015)。我们结合了基于操纵杆和基于手的移动指示以及基于眼睛的注视跟踪指示。

参与者我们收集了10名参与者的数据(年龄从19岁到53岁，5名男性，5名女性)，他们没有任何视觉、认知或运动障碍。参与者是我们大学的学生和工作人员，所有人都参加了一两次眼动跟踪研究，尽管除了参加用户研究，他们没有定期使用眼动控制界面。

材料我们使用Windows 7 HP Pavilion计算机(处理器速度2.5 GHz)和21英寸屏幕(435 mm×325 mm)， 1600×1200像素分辨率，以及标准罗技鼠标进行研究。我们使用了一个Tobii TX‐2 (Tobii, 2013)眼睛凝视跟踪器和Tobii SDK。我们还使用了Leap motion controller (https://www.leapmotion.com/ )和美国空军A10 Warthog HOTAS (US Air Force A10 Warthog HOTAS) 操纵杆(http://www.thrustmaster.com/products/hotas‐Warthog )和目标软件将其与操作系统进行接口。

设计我们试图在输入观测器系统的完全自然交互场景和传统Fitts定律分析的受控单目标任务之间取得平衡。该任务类似于ISO 9241指向任务，屏幕上有多个干扰物(图20.6)。用户被要求点击屏幕中央的按钮，然后点击与其他干扰物一起出现的目标按钮。目标按钮(图20.6中的白色)可以以任意随机角度出现在内环或外环中。干扰物与目标按钮大小相同，目标和干扰物均为方形。
在研究过程中，我们使用了记录软件，每隔15毫秒记录下参与者的光标位置和瞳孔大小。光标记录被用来测量任务完成的时间和错误选择的数量，同时分析瞳孔直径，以找到一种客观测量认知负荷的方法。
我们比较了多模态眼球注视跟踪技术与单峰眼睛注视跟踪。

结果我们总共为每个基于眼球追踪的系统记录了400多个指向任务。我们比较了单模态非自适应眼动跟踪系统和多模态眼动跟踪系统的点和选择时间、TLX和系统可用性量表(2014)得分。图20.7绘制了与目标id相关的点和选择时间。在配对t‐测试中，我们发现使用Leap motion系统的眼‐注视跟踪的点和选择时间显著降低(p < 0.01)，但使用操纵杆的眼注视跟踪在点和选择时间上与单峰注视跟踪系统没有显著差异。

与单模态相比，多模态注视跟踪系统的TLX评分认知负荷有所降低，而Leap motion系统的眼球注视跟踪有显著性差异(p < 0.05)。参见图20.8。
在使用操纵杆(ETJ)进行眼睛‐注视跟踪时，错误选择的数量比基于单模模式的眼睛‐注视跟踪系统要多。误差小于1%，如图20.9所示。

我们也比较用户在多模视线追踪系统中的主观倾向。图20.10绘制SUS平均得分数。注意到在SUS数值68表示这个系统对于用户来说是便于使用的和倾向于的。用户更倾向于Leap Motion下的多模视线跟踪系统，而不是操纵杆下的多模视线跟踪系统。

讨论调查比较了两种不同的多模视线追踪技术，其中我们结合了另一种指定的模式与多模视线控制接口。另一种指定模式的加入降低了关于TLX评分用户感知认知负担。用户使用基于Leap motion的系统可以比基于操纵杆的系统更快地进行指向和选择任务，更能追踪视线。这种差异可以归因于研究中使用的操纵杆的特定模型。考虑到该系统在航空领域的应用，我们使用了一个附在油门上的操纵杆。特殊的操纵杆使用一个按钮在X‐Y平面上移动光标，并进行选择。用户经常发现，在不移动X‐Y平面上的光标的情况下，很难使用操纵杆进行选择，而且对于使用操纵杆切换模式也感到困惑。基于Leap motion的系统不那么令人困惑，因为我们使用一个单独的硬件开关进行选择，用户只需将手放在Leap motion顶部，然后将手拿开，使用视线跟踪，就可以轻松切换模式。然而，由于Leap motion需要几毫秒的时间来检测手的运动，所以在从视线跟踪切换到手跟踪的模式上存在延迟，这偶尔会增加指向时间，而在基于操纵杆的系统中没有这种延迟。事实上，本节中描述的最后一项用户研究使用了带有目标扩展技术的基于操纵杆的视线跟踪系统，比只使用操纵杆而不使用视线跟踪要快得多。

地图浏览
本研究探讨了在大尺度空间数据处理中视线跟踪的应用。与本章描述的其他研究不同的是，在本研究中，来自视线跟踪器的信号并没有用于控制屏幕上的指针，而是用于控制整个显示器。一种使用谷歌地图的技术演示程序被开发了。用户可以移动地图，只用眼睛放大或缩小，而不需要用手。我们开发了以下涉及谷歌映射的交互技术:

查看屏幕的边缘会将地图向相反的方向移动——例如，如果用户查看屏幕的左边缘，地图会自动向右滚动；
如果用户盯着地图上的某个特定点看，该区域就会放大；
如果用户眨眼，地图就会缩小。

虽然下面的研究对所有参与者使用相同的值，但是凝视和眨眼的持续时间是可以配置的。我们还设置了适当的功能来区分有意识的眨眼、无意识的眨眼以及当用户将视线从屏幕移开时跟踪器发出的信号丢失。该系统的演示视频可以在http://youtu.be/aJeiR_LZ1SE找到。
下面的研究比较了用户的认知负荷和对使用现有技术凝视跟踪界面的主观偏好。

参与者我们收集了8名身体健康的参与者的数据(4名男性，4名女性，年龄介乎28至35岁)，并无任何身体或认知障碍。他们都是计算机专家，熟悉谷歌地图界面。

材料我们使用宏碁Aspire E15笔记本电脑和Tobii EyeX (Tobii, 2015)视线跟踪器和Tobii EyeX SDK。笔记本电脑屏幕尺寸为34.5cm×19.5cm，分辨率为1366×768像素。

设计这项研究类似于从空间中搜索视觉刺激的情况显示。参与者被要求从谷歌地图显示中找到四个城市，使用视线跟踪和笔记本电脑触摸板。使用触摸板和视线跟踪器的顺序是随机的。这些城市的名称是随机选择的，在默认的谷歌地图界面中不可见。城市环绕着中心位置，与中心位置的距离几乎相同。
参与者被要求找到这些城市，并在找到时放大它们。试验结束后，我们要求参与者填写来自NASA TLX、BRS和SUS的问卷。我们比较了用户对触摸板和视线追踪的认知负荷和主观偏好。

结果我们比较了参与者对于视线跟踪和触摸板的BRS、TLX和SUS评分。所有参与者都通过BRS评分证明他们可以在两种情况下完成任务。八名参与者中只有一名(P4)认为视线追踪条件应该减少工作量，而其他人则认为两种条件下的工作量都很低或微不足道。
图20.11显示了每个参与者的TLX得分，而图20.12显示了SUS得分。在图20.11中，条形图对应于平均分，误差条形图表示标准差。
虽然TLX和SUS在视线追踪条件下的得分高于touchpad，但在配对t‐测试中，差异并不显著。TLX中心理需求和挫折感的差异最大。

讨论本研究调查了在大规模空间显示中搜索视觉刺激凝视控制界面的实用性。一些具有前瞻性的案例研究可能会在监视视频中寻找特定的人脸(演示视频可以在https://youtu.be/UjRoZbe9LAM上看到)，或者在大型拓扑结构中研究特定的分子结构，等等。我们的研究表明，虽然用户在视线追踪界面中感知到的认知负荷比传统触摸板要高，但这种差异在统计学上并不显著，即使是第一次使用视线追踪系统，每个人都能完成任务。可以将上一节描述的多模态系统与此地图浏览系统集成在一起，这样用户就可以使用眼睛注视移动或缩放显示，并使用操纵杆或Leap motion控制器控制屏幕上的指针。

电子购物
在这个用户试验中，我们使用eShopping界面的在线购物任务对用户的认知负荷和视线追踪与鼠标之间的选择时间(图20.13)进行比较。本研究使用目标预测技术和视线追踪。我们从不经常使用电脑的参与者那里收集数据。这项研究旨在发现，与目前仍是最常用的电脑输入设备的鼠标相比，用户使用基于视线追踪的系统来感知和执行任务是容易还是困难。维特加尔(2008)比较了视线和基于鼠标的指向和点击任务交互，发现基于停留时间的选择的眼球‐视线追踪比鼠标更快，但视线追踪也产生了更高的错误率。

参与者我们收集了8名用户的数据(平均年龄57岁，男性6名，女性2名)。参与者被问及他们以前使用电脑的经验，只有在他们以前从未经常使用电脑的情况下才允许参加试验。少数用户偶尔使用计算机，但仍然不认为自己是专家用户。

材料我们使用的是一台装有54cm×33cm显示器的Windows 7 HP电脑，1920×1080像素分辨率，用eShopping系统记录用户的表现。我们使用一个Tobii TX2视线追踪器来记录眼睛的注视。我们使用基于贝塞尔曲线 (Shirley & Marschner, 2009)的滤波算法来平滑地移动鼠标指针。对于基于视线追踪的交互，使用标准罗技键盘上的空白按钮来选择目标。使用标准的罗技鼠标记录鼠标性能。我们使用NASA TLX评分表来测量认知负荷。

设计用户被指示使用eShopping界面(图20.13)购买一些物品，使用鼠标和视线追踪器。基于鼠标的交互不涉及目标预测系统，而基于眼睛的视线追踪系统则涉及目标预测。在重复这个过程几次之后，他们被要求填写TLX评分表。输入选项的顺序(鼠标和视线追踪器)被随机化，以最小化顺序效应。购买物品的过程包括以下步骤:
1指向并单击顶部的组合框之一(图20.13)。
2指向并单击具有所需项目的按钮(如照相机、计算机等)-参见图20.13。单击一个按钮，界面就会显示相机、计算机等的列表。
3用手指点击拥有想要的产品的按钮，比如一个特定的电脑品牌或者一本书。
4重复以上步骤，向购物车中添加更多的商品。
5指向并单击屏幕右侧的“check out”按钮(图20.13)。
6使用鼠标和视线追踪器重复整个过程(步骤1-5)2至3次。

结果所有8个用户都可以进行试验并完成任务。按钮选择时间以两个按钮选择之间的时间差值或组合框选择与下一个按钮按下之间的时间差值来度量。时间包括指向目标并选择它。在威克逊符号等级测试(Z= - 2.84, p<0.01, r= - 0.33)中，基于视线追踪‐的系统的按钮选择时间明显少于鼠标(图20.14显示平均值和标准差，图20.15显示中位数和四分位数)。在实验设置，我们定义误差或错误的选择如下:

用户连续两次选择相同的商品;
用户选择“删除最后一项”按钮;
用户选择“清除所有”按钮。

我们发现用户在93个视线追踪系统的选择中有4个选择错误，在79个鼠标选择中有一个选择错误。两种情况下的错误率都低于5%。

图20.16显示了NASA TLX评分下的认知负荷。这些列对应于平均分，而Y误差条表示标准差。用户在视线追踪器(平均38.48,stdev 17.85)的TLX评分高于鼠标(平均27.66，标准偏差15.67)，尽管在配对双侧t‐测试中差异不显著。

讨论这项研究表明，对于一个易于使用的界面，新手用户使用视线追踪器比鼠标更快地完成任务，尽管视线追踪器往往比鼠标产生更多的认知负荷。值得注意的是，这些用户中没有人以前使用过视线追踪器，尽管他们中有6人以前使用过鼠标。我们只记录了四次用户在93个正确选项中选择一个按钮花费超过10秒的情况。按钮的平均选择时间为4.3秒。

汽车仪表板控制
Kern, Mahr, Castgronovo, Schmidt, 和 Müller (2010) 和 Poitschke, Laquai, Stamboliev, 和Rigoll (2011) 报告了涉及模拟驾驶任务的用户研究，同时将眼控界面与传统界面进行了比较。本研究探索了在汽车环境中操作仪表盘的视线控制接口的可能性。特别地，我们评估了两种不同的赛道条件对驾驶员视线追踪界面性能的影响。Kern 等人(2010)和Poitschke等人(2011)报告了涉及模拟驾驶任务的用户研究，同时比较了眼控界面和传统触摸屏控制界面。我们采用了一种低成本的视线跟踪器和一种智能的目标预测算法来进行这项工作，该算法可以减少指向时间。该系统的演示视频可以在http://youtu.be/lmYZcnwzEbU找到。

参与者我们收集了12名参与者的数据(年龄从19岁到27岁，10名男性，2女)。所有参与者都是大学生，没有人经常开车。8名参与者有驾照，尽管他们的驾驶考试质量有很大的不同。然而，所有的参与者都是驾驶模拟器的专家用户，并曾在模拟器中驾驶汽车。

设计我们设计了这个测试来评估在不同驾驶技能水平的参与者中，由眼睛控制的次要任务对主要驾驶任务的影响。主要任务是在不偏离车道的情况下将车开到左车道。我们使用了两种不同的赛道条件——一个由四个转弯组成的简单赛道和另一个由20个转弯组成的复杂赛道。路上没有其他车辆，司机们被告知要安全驾驶，不要偏离车道，同时要用眼睛盯着仪表盘。第二个任务是通过听觉线索启动的。它模仿汽车仪表盘(图20.17)，参与者在听到听觉提示后按下仪表盘上的按钮(图20.18)。听觉提示设置为5 - 7秒间隔出现。在汽车仪表盘中随机选择目标按钮。使用智能眼球跟踪算法(bisis & Langdon, 2015)通过用户的眼球注视进行指向，通过方向盘上的一个硬件按钮进行选择。
本研究(图20.18)采用2×2的因子设计，其中自变量是:

跟踪情况：
- 简单；
- 复杂。
次要任务的完成情况：
无辅助任务驾驶；
次要任务驾驶。

因变量为：

任务完成时间；
平均偏离道路中心；
注视‐控制界面中正确选择的数量。

我们还使用血氧计(http://www.nonin.com/What‐is‐Pulse‐Oximetry)和NASA TLX评分来测量驾驶员的认知负荷。

材料我们使用罗技驾驶模拟器硬件和Torque©car仿真软件。硬件设置为自动变速器车。我们使用了Tobii EyeX eye‐凝视跟踪器和EyeX SDK来实现凝视控制界面。主任务在Linux桌面上运行，而辅助任务在Windows 8笔记本电脑上执行。笔记本电脑屏幕尺寸为34.5cm×19.5cm，屏幕分辨率为1368×800像素。

程序最初，参与者被简要介绍该程序，并接受了使用驾驶模拟器和视线控制界面的培训。然后他们按照随机的轨道条件进行试验。每个条件完成后，他们根据自己在试验中最艰难的经历填写TLX表格。
我们使用了记录软件，用驾驶模拟器的时间戳记录了汽车的轨迹，并用鼠标和眼睛的运动记录了第二项任务。我们还用时间戳从血氧计记录了参与者的脉搏率。

结果我们发现二次任务中正确选择次数与平均车速之间存在显著的统计学相关性(图20.19,r= - 0.46, p<0.05)。驾驶员在复杂赛道上驾驶时，使用视线控制进行正确选择的次数(t (1,21)= - 2.2, p<0.05)显著高于在简单赛道上驾驶时(图20.20)。在重复测量方差分析中，我们发现:

轨道条件对其主要影响显著
- 任务完成时间F (11) = 88.24, p < 0.01,η2 = 0.89;
- 偏离车道驾驶F (11) = 6.51, p <
  0.05,η2 = 0.37;
- TLX分数F (11) = 14.58, p < 0.01,η2 = 0.57。
次要任务的存在对:
- 任务完成时间F (11) = 22.07, p < 0.01,η2 = 0.67;
- 偏离车道驾驶F (11) = 13.69, p < 0.01,η2 = 0.55;
- 及分数F (11) = 23.01, p < 0.01,η2 = 0.68。

在p < 0.05时，各变量间的交互作用均不显著。可以注意到，辅助任务的存在对偏离车道和TLX分数的影响大于赛道条件，而赛道条件对任务完成时间的影响大于辅助任务的存在。结果表明，用户根据路况调整驾驶速度，在复杂轨道上行驶速度变慢。由于他们驾驶速度较慢，在复杂的赛道上，他们可以比在简单的赛道上承担更多的指向和选择任务。然而，当他们参与次要任务时，他们往往比没有任何次要任务时更容易偏离车道。

我们测量了听觉提示实例与目标按钮选择之间的时间差。这个时间差等于使用眼球注视的目标按钮的指向和选择时间。使用智能眼球注视跟踪技术，即使对于之前没有使用过注视控制界面的新手用户，平均也能将指向和选择时间缩短至2.5秒(图20.19)。两种不同赛道条件下的选择次数(图20.21)差异无统计学意义(p < 0.05)。
综上所述，我们的结论是:

复杂性和双重任务的存在显著增加认知负荷和任务完成时间;
二次任务的性能与车速显著相关——在复杂路况下，用户驾驶速度较慢，二次任务比简单路况下表现更好;
以目前的眼球‐注视跟踪器状态，用户需要大约2.5秒的时间来进行指向和选择。

飞机驾驶舱控制
该任务探索了在战斗机驾驶舱中使用多模态自适应眼动跟踪系统的可能性。我们的目标是增加现有的手控-油门-操纵杆(HOTAS)与眼睛-注视跟踪系统。我们将多模态眼‐注视跟踪系统与基于HOTAS‐的操纵杆进行了比较。该任务要求参与者在一个模拟多功能显示器中检查五个目标，该显示器的尺寸与欧洲台风战斗机的原始显示器相同。下面几节将详细描述这项研究。

参与者我们招募了8名身体健康的年轻参与者(5名男性，3名女性，平均年龄31.2岁)。

材料我们进行这项研究使用Windows 7惠普馆电脑(处理器速度2.5 GHz)和21个“屏幕(435毫米×325毫米)和1600×1200像素分辨率和一个标准的罗技鼠标。我们使用了Tobii TX‐2 (Tobii,2013)眼注视跟踪器和Tobii SDK。我们使用了美国空军A10疣猪HOTAS (http://www.thrustmaster.com/products/hotas‐Warthog)和目标与操作系统进行接口。

设计任务包括在模拟的多功能显示器中选择一组5个目标(图20.22)，并在单击它们后重新设置显示器。参与者使用多模态智能眼-注视跟踪(结合眼-注视跟踪和基于操纵杆的指向)和基于HOTAS的操纵杆。我们对这两种设备都使用了目标预测技术。我们还研究了用户的认知负荷和主观偏好，收集了每种模式的TLX评分和系统可用性量表(Brooke, 1996)得分。

程序参与者最初被简要介绍了任务。该任务涉及浏览菜单树以使目标可见，然后单击目标。目标会出现在屏幕上的任何地方。目标宽度和距离与之前的研究相同。一项试验包括选择至少20个指向和选择任务的5个目标。每个参与者使用每种方式进行两次试验。模型的顺序是随机的。在以一种方式完成试验后，参与者根据他们的平均表现填写TLX和SUS得分表。

结果我们最初比较了两种输入模式的目标选择时间。从选择按钮的时刻到选择下一个按钮的时刻，计算选择时间。我们忽略了每个试验的第一次选择，因为系统在它之后开始了日志记录过程。一个设备(2)×会话(2)方差分析发现了显著影响设备(F(1153)= 26.07,p < 0.0001,η2 = 0.15)和会话设备(F(1153)= 4.99,p < 0.05,η2 = 0.03),尽管交互效应不显著(图20.23)。
TLX评分(图20.24)在眼-注视跟踪中较低，尽管在t -‐测试中与操纵杆没有显著差异。然而，使用眼-注视跟踪的TLX挫败感评分明显低于使用操纵杆的TLX挫败感评分(p < 0.05)。

图20.25总结了SUS问卷的结果。SUS使用了一个五点量表，从非常同意到非常不同意。我们比较了同意(强烈或仅仅同意)和不同意(强烈或仅仅不同意)每种设备的人数。我们发现更多的用户更喜欢基于眼睛注视跟踪的系统，而不是操纵杆，并感到有信心使用基于眼睛注视跟踪的系统。

讨论这项研究进一步证实，用户可以使用智能眼-注视跟踪系统进行现实军事任务的试验，其速度比现有的基于HOTAS的操纵杆要快。用户对眼睛-注视跟踪系统的认知负荷也比操纵杆小，这也反映在用户的主观偏好在SUS评分方面。本研究展示了另一个利用眼-注视跟踪增强现有交互设备的例子。该操纵杆可以配置基于不同的多功能显示器，但移动指针的大范围运动和精确的寻的运动可能是具有挑战性的，不仅对新手用户，也对高负载情况下的专家用户。使用眼-注视跟踪移动指针接近目标，甚至选择适当的显示器，然后切换到通常的操纵杆输入是一个有希望的解决方案，正如我们的研究证明。

总结

眼-注视控制界面主要是为严重残疾的人探索，最近，为了改善电脑游戏体验。本章的案例研究旨在扩展凝视控制界面的范围。案例研究从基本的指向和选择任务开始，然后转移到地图浏览、计算机新手用户、汽车和军用航空环境的应用程序。值得注意的是，我们的参与者在参与这些研究之前并没有使用注视控制界面，但注视控制界面要么得到了改进(在计算机新手用户和军用航空案例研究中)，要么没有显著降低交互速度。我们强调，凝视控制界面不仅应该局限于特定的应用程序，而且可以扩展到大量的领域，即使是对于身体健康的普通用户。

结论

法雷尔和翟(2005)指出，“人类的眼睛天生是感知器官，而不是操纵器官。”眼球运动通常是无意识的，为了准确使用这些目标选择系统，在需要时仔细引导眼球运动是有压力的。“不过，也要注意的是，与任何图形用户界面的交互都涉及到视觉搜索，我们也可以利用这种视觉搜索来选择目标。”正如法雷尔所指出的，如果这个过程需要眼球运动的“仔细指导”，那将是有压力的，但在这一章中，我们提出了一个目标预测系统，并整合了其他可以减少指向和选择时间的模式，也需要对有意识的眼球注视运动进行不那么精确的控制。还有一些情况下，现有的指向设备不是最佳选择，或者使用起来很危险。例如，对于有严重运动障碍的人，或者航空和汽车环境中的操作人员，不能像他们身体健康的同行或桌面计算环境中的操作人员那样轻松地使用鼠标或触摸板。眼睛注视跟踪和扫描的结合将是一项有用的辅助技术，上述用户研究表明，智能眼睛注视控制界面也可以用于有能力的计算机新手用户。考虑到情景障碍的情况，航空和汽车用户界面不需要像桌面计算中的图形用户界面那样连续操作屏幕指针。除非驾驶员非常熟悉特定的交互(比如开车时伸手去拿变速箱)，否则他必须看一眼用户界面。使用目标预测技术的精确注视跟踪可以利用这种注视进行指向。此外，相同的眼-注视跟踪器可用于检测认知负荷或驾驶或驾驶分心，这实际上可以提高驾驶或飞行的安全性。

参考

Bates, R. (1999). Multimodal eye‐based interaction for zoomed target selection on a standard graphical user interface. In Proceedings of INTERACT. London: British Computer Society.

Biswas, P., & Langdon, P. (2011). A new input system for disabled users involving eye gaze tracker and scanning interface. Journal of Assistive Technologies, 5(2), 58–67.

Biswas, P., & Langdon, P. (2015). Multimodal intelligent eye‐gaze tracking system. International Journal of Human‐Computer Interaction, 31(4), 277–294.

Brooke, J. (1996). SUS: a “quick and dirty” usability scale. In P. W. Jordan, B. Thomas, B. A. Weerdmeester, & A. L. McClelland (Eds.), Usability evaluation in industry. London:
Taylor & Francis.

Evans, A. C., & Wobbrock, J. O. (2012). Taming wild behavior: The input observer for obtaining Text entry and mouse pointing measures from everyday computer use. In Proceedings of the ACM Conference on Human Factors in Computing Systems (CHI ‘12) (pp. 1947–1956). New York, NY: ACM.

Farrell, S., & Zhai, S.(2005). US Patent No.20050047629A1.
System and method for selectively expanding or contracting a portion of a display using eye‐gaze tracking. Washington,DC: U.S. Patent and Trademark Office.

Fitts, P. M. (1954). The information capacity of the human motor system in controlling the amplitude of movement. Journal of Experimental Psychology, 47, 381–391.

Kern, D., Mahr, A., Castronovo, S., Schmidt, A., & Müller, C. (2010). Making use of drivers’ glances onto the screen for explicit gaze‐based interaction. In Proceedings of the Second International Conference on Automotive User Interfaces and Interactive Vehicular Applications (pp. 110–116). New York, NY: ACM.

Lank, E., Cheng, Y. N., & Ruiz, J. (2007). Endpoint prediction using motion kinematics. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (CHI ‘07) (pp. 637–646). New York, NY: ACM.

MacKenzie, I. S., Sellen, A., & Buxton, W. (1991). A comparison of input devices in elemental pointing and dragging tasks. In Proceedings of the CHI ‘91 Conference on Human Factors in Computing Systems (pp. 161–166). New York, NY: ACM.

Poitschke, T., Laquai, F., Stamboliev, S., & Rigoll, G. (2011). Gaze‐based interaction on multiple displays in an automotive environment. In IEEE International Conference on Systems,Man, and Cybernetics (SMC) (pp. 543–548). doi:10.1109/ICSMC.2011.6083740.

Shirley, P., & Marschner, S. (2009). Fundamentals of computer graphics. Boca Raton, FL: CRC Press.

Tobii. (2015). Tobii EyeX Eye Tracker, Available at: http://www.tobii.com/xperience/.

Tobii. (2013). Tobii TX2 Eye Tracker, Available at: http://www.tobii.com/en/eye‐tracking‐research/global/products/hardware/tobii‐x60x120‐eye‐tracker/.

Vertegaal, R. (2008). A Fitts’ law comparison of eye tracking and manual input in the selection of visual targets. In Proceedings of the International Conference of Multimodal Interaction (pp. 241–248). New York, NY: ACM.

Zandera T. O., Gaertnera M., Kothea C. & Vilimek, R. (2010). Combining eye gaze input with a brain–computer interface for touchless human–computer interaction. International Journal of Human‐Computer Interaction, 27(1), 38–51. doi:10.1080/10447318.2011.535752.

Zhai, S., Morimoto, C., & Ihde, S.(1999). Manual and gaze input cascaded (MAGIC) pointing.Proceedings of the ACM SIGCHI Conference on Human Factors in Computing Systems (pp. 246 ‐–253). New York, NY: ACM.

Ziebart, B., Dey, A., & Bagnell, J. A. (2012). Probabilistic pointing target prediction via inverse optimal control. In Proceedings of the 2012 ACM International Conference on Intelligent User Interfaces (IUI ‘12) (pp. 1–10). New York, NY: ACM.

智能多模式，视线追踪控制界面的应用（翻译）相关推荐

一套鼠标键盘控制多台电脑，无界鼠标 (Mouse without Borders)控制界面的功能翻译
一套鼠标键盘控制多台电脑,无界鼠标 (Mouse without Borders)控制界面的功能翻译: 易君对英语一窍不通今天在网上找了很久无界鼠标的使用安装教程倒是很多但没有完整的功能界面翻译 ...
智能通风柜手势控制界面设计与实现
目录 1 绪论 1 1.1课题研究背景和意义 1 1.2国内外研究现状和发展 1 1.3研究内容 2 1.3.1单片机的通讯 2 1.3.2单片机的数据处理 2 1.3.3操作界面的设计与数据显示 ...
智能家居(1) —— 工厂模式引入工厂模式实现继电器控制
目录一.什么是设计模式二.类和对象三.工厂模式工厂模式的实现四.工厂模式实现继电器控制 mainPro.c(主函数) controlDevice.h(设备类) bathroomLight.c ...
开源项目搭建私有物联网智能家居接入天猫精灵控制
开源项目搭建私有物联网智能家居接入天猫精灵控制最近几年随着物联网的高速发展,众多智能硬件厂商都开发出自己的智能家居产品,都想在物联网智能家居市场上占有自己的一席之地,而随着众多智能音箱的问世,智能家 ...
儿童手表运动轨迹和路径追踪_如何将智能手表或健身追踪器用作静音闹钟
儿童手表运动轨迹和路径追踪 When you need to wake up without disturbing everyone around you a silent vibration-bas ...
基于Zigbee的智能路灯控制系统的Qt操作界面
本项目已经用于参加过比赛,在加之本人确实有点忙,所以拖到现在才发.这里只详细说明关于Qt控制界面的相关功能说明,本来是19年写的,代码量有点大,具体的地方,我自己都可能有点遗忘了,不过还是发出来供大家 ...
【电路】基于单片机智能睡眠枕系统设计-基于单片机音乐喷泉制作设计-基于单片机智能温控风扇调速系统设计-基于单片机智能自动循迹小车控制系统设计-基于数字电路的4人投票系统设计（仿真，报告）毕设课设资料
1620基于单片机智能睡眠枕系统设计-文档+PPT+PCB图+原理图+源码智能睡眠枕主要由lcd屏幕.蓝牙.压力传感器.蜂鸣器.单片机等等组成,用户可通过四个独立按键进行操控(四个按键从左至右为1. ...
基于机智云自助开发平台的智能水产养殖之鱼塘控制系统设计
本设计针对传统鱼塘的养殖和管理现状,面向中小型鱼塘养殖户设计开发了一套鱼塘智能控制系统,满足鱼塘养殖环境的数据采集.无线传输.实时显示.远近程手动控制和自动控制等功能上的需求,可及时检测和控制影响鱼类 ...
智能家居 (6) ——语音识别线程控制
目录语音识别线程控制代码 inputCommand.h mainPro.c voiceControl.c 代码测试往期文章语音识别线程控制代码 inputCommand.h #include & ...

智能多模式，视线追踪控制界面的应用（翻译）

介绍

新的视线追踪技术

应用

总结

结论

参考

智能多模式，视线追踪控制界面的应用（翻译）相关推荐

最新文章

热门文章