基于移动设备与CNN的眼动追踪技术简介

眼动追踪是一项科学应用技术，用户无需与交互设备物理接触即可发送信息与接收反馈。从原理上看，眼动追踪主要是研究眼球运动信息的获取、建模和模拟，用途颇广。而获取眼球运动信息的设备除了红外设备之外，还可以是图像采集设备，甚至一般电脑或手机上的摄像头，其在软件的支持下也可以实现眼球跟踪。

下面说的这篇论文是MIT2016年在CVPR上发的一篇论文。论文主要是基于移动设备的眼动追踪技术，使用了卷积神经网络来预测视点。

使用移动设备进行眼动追踪技术能提供许多好处:

(1)广泛使用更多的超过三分之一的世界人口估计智能手机在2019年,远远超过台式机或笔记本用户的数量;
(2)技术升级的采用率高——很大一部分人拥有最新的硬件，可以实时使用计算成本高昂的方法，如卷积神经网络(CNNs);
(3)移动设备上相机的大量使用导致相机技术的快速发展和部署;
(4)相机相对于屏幕的固定位置减少了未知参数的数量。

作者开发了在移动设备上收集严冬追踪数据的iOS软件，可以记录并上传数据，名字叫GazeCapture，有三个特性：

（1）可扩展
（2）可靠的
（3）产生大的可变性。
其中，可变性：为了学习强大的眼动追踪模型中，数据的显着变化很重要。这种可变性对于实现高精度无校准眼动追踪至关重要。鉴于我们使用众包（crowdsourcing platform），期望拥有姿势，外观和光照的变化很大。其次，要求参与人员不断移动头部和头与手机之间的距离。最后，要求参与人员每次都要改变移动设备的方向60点。可以使用内置传感器检测此更改在设备上。这改变了相对位置相机和屏幕提供进一步的可变性。

为了关联每个手机设备里的AMT任务（手机此次数据的活动），每个工作人员随后键入了AMT中的唯一代码进入他们的移动应用。点位置都是随机来自13个固定location（loc），并通过固定loc学习calibration的影响。

为了证明数据的可变性，作者使用了X. Zhang, Y. Sugano, M. Fritz, and A. Bulling. Appearance-based gaze estimation in the wild的方法对每一帧来估计头部姿势h和凝视方向g，在GazeCapture MPIIGaze和TabletGaze上绘制h和g的分布作。虽然我们的数据集包含一个类似的总体分布h与现有数据集相比，异常值的比例明显更大。

论文目标是设计一个通过一张图片就能预测视点的鲁棒模型，采用CNN。

输入包括左眼,右眼,脸的原始帧图像检测。输出是距离相机的距离，单位是厘米。

为了估测模型的泛化能力（通过calibration-free），得出一下结论：无约束的眼睛追踪，以及消融研究。

error：平均欧几里得距离误差；
dots error：帧平均预测误差；

论文：Krafka K, Khosla A, Kellnhofer P, et al. Eye Tracking for Everyone[C]// Computer Vision & Pattern Recognition. 2016.

基于移动设备与CNN的眼动追踪技术简介相关推荐

如何让女性乳房更具吸引力？整形医生可以用眼动追踪技术大显神通吗？
全文共2806字,预计学习时长9分钟图源:Unsplash 自古以来,乳房就被看做女性身体的象征,古希腊艺术家雕刻的裸体女性和文艺复兴时期欧洲画家创作的美丽女神中,都会突出完美的乳房.乳房不但用来哺 ...
交互技术前沿学习分享——利用眼动追踪改良广告界面
通过之前的学习,我们接触了许许多多的交互方式,并通过p5/processing等初步接触了一些简单的用户交互方式.那么,当下最先进,或者未来有可能实现的交互模式是怎样的呢?今天我就来介绍一篇关于眼动追 ...
距离成为科技“爆款”，“眼动追踪”还有多远？
有点常识的人都知道,戒毒这件事儿,生理依赖容易摆脱,心瘾却很难除. 一般的戒毒机构,往往只以戒毒者避免接触毒品的期限为参照,三个月或六个月,或者一两年,在此期间戒毒者如果表现正常,便被视为戒毒成功.由 ...
眼动追踪:用户体验设计利器_眼动追踪：如何观察点击之间的差距（以及原因）
眼动追踪:用户体验设计利器 Photo: kellinahandbasket 照片: kellinahandbasket Information overload is becoming an epi ...
中国眼动追踪市场趋势报告、技术动态创新及市场预测
[出版商]贝哲斯咨询 [免费目录下载]眼动追踪技术通过记录用户的眼睛位置和动作来跟踪用户的视线.眼动追踪数据可提供有关人类行为和状况的独特见解,将人们与机器和设备交互的方式数字化,从而为企业提供开发创 ...
交互技术前沿学习心得——利用眼动追踪改良广告界面
在上一篇文章中,我分享了一篇来自<The Wiley Handbook of Human Computer Interaction>的文章<Improving Ad Interfac ...
Nature Neuroscience：利用深度神经网络进行基于磁共振的眼动追踪
文章来源于微信公众号(茗创科技),欢迎有兴趣的朋友搜索关注. 观察行为为了解认知和健康等多个核心方面提供了一扇窗,它也是许多功能磁共振成像(fMRI)研究中感兴趣或容易混淆的重要变量.为了让眼动追踪在 ...
基于磁场定位的眼动追踪
搬来一个朋友的哈可以使用线圈追踪技术来确定一个小磁粒在线圈内的位置.这种技术称为磁感应定位或磁场定位. 磁感应定位原理是在待测物体(如小磁粒)中放置一个强度稳定的磁场源,然后通过检测目标物体中诱导出 ...
matlab 与eyelink,EyeLink眼动追踪系统
精准的视频眼动追踪仪器 EyeLink 1000 Plus是高精密.高精确率的视频眼动仪,其采样率高达2000 Hz(双眼).该眼动仪有多种安装支架和镜头可供选择,能灵活运用于各种研究场景,适用于从婴 ...

基于移动设备与CNN的眼动追踪技术简介

基于移动设备与CNN的眼动追踪技术简介相关推荐

最新文章

热门文章