英伟达最新公布的眼球追踪技术

[转] https://www.leiphone.com/news/201607/HaIUFO0MiSbjVE67.html

人眼能看到的范围是有限的，如果你看着黑板上方的挂钟，那么你的目光聚集的地方就是焦点，而钟以外的物体将会自动变模糊。我们处于360度环绕的世界，但任何时人类只能看到120度视度范围内的事物，而且人的双眼只会聚焦在视野中不超过6度的小区域，周围则是模糊的，这就是我们看世界的方式。

英伟达正在开发上述模拟人眼视觉效果的眼球追踪技术应用在虚拟现实中，并在昨日公布了这项技术的最新进展，这将使得虚拟世界更具真实感。

VR硬件厂商的痛点

目前VR硬件厂商面对的问题便是玩家自己的计算机硬件满足不了显示设备高清渲染的需求，Oculus Rift仅仅渲染1k的分辨率就需配备1000美金以上的计算机才能正常运行，要让渲染的分辨率匹配现实世界的分辨率，单眼渲染必须达到8K，仅硬件配置这一项，就够厂商头疼的了。

为了解决这一问题，目前最被认可的方式便是结合眼球追踪的局部渲染技术。眼球追踪技术将渲染重心放在用户眼睛真正关注的画面上，因此对GPU的要求大大降低。

过去9个月，英伟达的大卫·卢克（David Luebke）和研究员试图在虚拟现实环境中模拟这种现象：对用户视线焦点的区域，设备将会进行全面渲染，但要降低焦外区域的分辨率。当玩家专注于画面的某个小区域时，眼球追踪系统就会不断调整渲染焦点。为了以90FPS（最低可接受的帧率）充分渲染某一画面，400万像素的画面必须每秒渲染近100次。只专注于渲染用户的视线聚焦处将大大减轻计算任务。

现有眼球追踪技术的应用

眼球追踪技术在虚拟现实研究中并不新鲜，眼球跟踪常见的实现原理：

　　1、根据眼球和眼球周边的特征变化进行跟踪

　　2、根据虹膜角度变化进行跟踪

　　3、主动投射红外线等光束到虹膜来提取特征

目前在虚拟现实领域中，日本FOVE公司开发出第一台使用眼球追踪技术的虚拟现实头显，FOVE在头盔的眼睛位置嵌入了两个红外线摄像头，摄像头放置在眼镜镜片下，既不会对视线范围产生影响，又能跟踪玩家的瞳孔活动。

对眼球追踪混合技术进行再深一步研究的公司还有Tobii，该公司与Starbreeze公司合作将眼球追踪技术融入了拥有5K画质和210度视场角的StarVR头显。

德国眼球跟踪技术公司SensoMotoric Instruments（以下简称SMI）在去年的开发者大会上展示了与索尼Magic Lab合作的远程眼球跟踪系统。并与三星合作期间推出在虚拟环境中可定性实时观察和录制视觉行为的应用安装包SMI Mobile Eye Tracking HMD Observation，和可提供注视行为的简单分析和分析软件包的SMI Mobile Eye Tracking HMD Analysis Pro。

HTC Vive，PlayStation VR目前尚未使用眼球追踪技术，Oculus创始人帕尔默·拉奇在接受采访时称眼球追踪技是未来VR技术的“最关键构成部分”，但接着说到目前上述眼球跟踪技术解决方案都还处于较低端的水平。

如何解决画面延时

正如Oculus创始人帕尔默·拉奇所说，虽然很多公司已经拥有这项技术，但眼球追踪技术的速度往往跟不上人眼运动的速度，渲染速度也并不完美，这导致画面显示总是存在时延，令用户感到不适。

去年5月英伟达专门针对虚拟现实设备中普遍存在的图像延迟状况，推出了MRS（multi-resolution shading）以便加快渲染速度，该技术使得VR的渲染不再是将整个画面以相同的分辨率进行渲染，而是分成了几个不同的区域。焦点区域会以完整的高分辨率进行渲染；而画面的边缘则以更低质量进行渲染，再加上边缘的像素经过变形后的损失，可节省25%-50%的像素，理论上可提升一倍的渲染速度。

近日，英伟达与SMI合作后推出最新眼球追踪虚拟现实显示屏已可以250Hz的帧率实现准确、低时延的眼球追踪。卢克称这是他们的眼球追踪设备第一次能跟上眼睛的运动速度。

焦外分辨率协调

虽然延时问题得到一定的解决，但画面效果还存在欠缺。英伟达团队仍需要花很多时间去准确计算，将焦外画面的分辨率降低至什么样的水平才算最佳，才避免被观众注意到。在降低分辨率的过程中，任何闪烁都将带来干扰，焦外视觉很容易察觉到闪烁。如果焦外画面过于模糊，将会产生隧道视觉效应，感觉像是通过望远镜看画面。

为了解决这一问题，英伟达的研究员在近期发现通过增加焦外画面的对比度，同时降低分辨率，人眼就可以被“骗过”。

未来，英伟达希望这个发现能推动主流虚拟现实设备厂商将眼球追踪技术加入到产品当中。