作者丨张倩

来源丨机器之心

我们什么时候能摆脱笨重的 VR 头显呢？

自从去年马克 · 扎克伯格宣布将全力开发「元宇宙」之后，VR、AR 等技术就在世界范围内掀起了新一轮的热潮。

这些技术为计算机图形应用等领域提供了前所未有的用户体验。然而，时至今日，VR 头显的笨重依然是一个绕不开的问题，同时也阻碍了 VR 走进大众的日常生活。

这一问题源于 VR 显示光学的放大原理，即通过透镜将小型微显示器的图像放大。这种设计要求微显示器和镜片之间有一段相对较大的距离，因此当前的 VR 头显普遍比较笨重，佩戴起来很不舒服。

为了缩短微显示器和镜片之间的距离，研究者们想了很多种方法，包括借助「Pancake」透镜或波导来折叠光路等。比如在基于 Pancake 技术方案的 VR 眼镜中，图像源发射光线进入半反半透的镜片之后，光线在镜片、相位延迟片以及反射式偏振片之间多次折返，最终从反射式偏振片射出，因此能有效地缩小产品体积。

传统菲涅尔透镜与新式 Pancake 透镜的对比。

最近两年，我们已经可以看到一些基于 Pancake 透镜的 VR 眼镜原型。但是，这些眼镜通常还需要在微显示器和镜片之间留出一些距离，而且要么只能为每只眼睛呈现 2D 图像（可能导致视觉不适），要么分辨率非常有限。

在最近的一篇 SIGGRAPH 2022 论文中，来自英伟达和斯坦福大学的研究者展示了一种新的基于 Pancake 透镜的 VR 眼镜——Holographic Glasses（全息眼镜）。它的厚度只有 2.5 毫米，重 60 克，可以向佩戴者的每只眼睛展示 2D 或 3D 图像。

研究者表示，他们的 Holographic Glasses 基于最近的一类想法——使用人工智能技术来提高图像质量，并加速计算机生成的全息图（computer-generated holograms，CGH）的计算速度。

技术细节

这个眼镜主要由三部分组成：一个虚拟全息显示部件、一个几何相位透镜（GP lens）和一个基于瞳孔复制的波导系统。

首先来看虚拟全息显示部件。在多数情况下，phase-only SLM（空间光调制器）会在设备前创建一个全息图。但其实，它也可以在设备后创建，这样一来，所有的部件都靠得更近了，系统体积大大缩小。

接下来是基于瞳孔复制的波导系统。研究者使用该系统代替分束器来进一步减小系统形状因子。相干光源耦合到波导中，并为 SLM 提供相干照明。他们使用市场上可以买到的用于流入光源的波导，这些光源会导致某些波长的光照不均匀，但这可以通过不同的分级设计最小化。

最后，研究者用几何相位透镜（GP lens）代替接目镜。几何相位透镜非常轻，但它仅在特定的输入光束偏振下作为正透镜工作，由于大多数 SLM 也在线性偏振输入光下工作，他们在 SLM 和几何相位透镜之间安装了一个波板。

通过将这些部件组装在一起，研究者做出了 Holographic Glasses。

Holographic Glasses 的显示特性在很大程度上取决于 SLM 和接目镜。SLM 尺寸越大，视场（FOV，定义了在水平、垂直和对角线方向上的可视范围）越大；SLM 像素间距越小，eye box（近眼显示光学模组与眼球之间的一块锥形区域，也是显示内容最清晰的区域）越大。

Holographic Glasses 还有两个不同于传统 VR 眼镜的特性。

第一个特性是高衍射级（HDOs）。优秀像素的周期性结构产生了重复的高衍射级，并且由于接目镜的作用，它们沿着瞳孔平面收敛。如果高衍射级的间隔小于瞳孔直径，那么用 HOGD 算法进行相位计算时就必须考虑高衍射级。

瞳孔掩蔽项 M_p 将 HOGD 算法扩展为「瞳孔 HOGD（Pupil-HOGD）」算法。它使相位模式得到优化，同时考虑瞳孔滤波。

仿真结果表明，与双相位幅度编码（DPAC）随机梯度下降和传统的 HOGD 算法相比，瞳孔 HOGD 算法在所有瞳孔大小下的图像质量最好。

第二个特性是动态 eye box。

由于波导被设计用来再现具有一定范围的瞬时光角的光场，所以整个 SLM 照明的方向可以由输入光束的方向控制。有了额外的栅极跟踪器，系统可以跟随注视，并通过简单地改变输入光束的方向来围绕视点移动。

研究者实现了两种形态的原型机：台式和可穿戴式。二者之间的唯一区别是可穿戴式使用了波导。

下图显示了台式原型机捕捉到的结果。放大后的细节显示，HOGD 算法呈现出了更高的图像质量和更高的对比度。

‍

下面还有一个例子，红色箭头显示的是由于 GP 透镜缺失导致的 SLM 杂散光造成的伪影。

下图是用台式原型机捕获的多平面 3D 结果。结果显示，在不同的平面上对焦图像是正确的，可以诱发使用者的适应反射。

下图是可穿戴式原型机生成的结果：图像质量、对比度均较差，这主要是由于波导与实现的相干光源之间不匹配，可以通过不同的分级设计来改善。

局限性

从当前的技术介绍来看，这款 VR 眼镜还有一些局限。

第一个局限是 FOV。虽然这款眼镜的 FOV 有望超过当前这一代的 VR 头显，但现在我们能看到的这版只有 22.8°。

「这款 Holographic Glasses 的 FOV 比当前市场上可以买到的 VR/AR 头显都要小。但是，FOV 主要受 SLM 尺寸和 GP 透镜焦距的限制，二者都可以通过不同的部件加以改善。」研究者表示。

另一个局限是，这款眼镜可能需要非常精确地测量用户的瞳孔。如果没有经过精巧的设计，这是很难实现的。不过，研究人员指出，使用红外凝视跟踪器可以做到这一点，但你需要能够不断跟踪佩戴者的瞳孔大小，因为在使用眼镜时，它们会经常调整以适应不同的光线条件。

即便如此，这款 VR 眼镜还是有很多令人印象深刻的地方，不知道哪家公司会率先将其商业化。

更多细节请参见论文原文。

论文链接：https://d1qx31qr3h6wln.cloudfront.net/publications/Holographic_Glasses.pdf

参考链接：

https://d1qx31qr3h6wln.cloudfront.net/publications/Holographic_Glasses.pdf

https://minmin-tv-cp.com/researchers-find-way-to-shrink-a-vr-headset-down-to-normal-glasses-size/

本文仅做学术分享，如有侵权，请联系删文。

干货下载与学习

后台回复：巴塞罗那自治大学课件，即可下载国外大学沉淀数年3D Vison精品课件

后台回复：计算机视觉书籍，即可下载3D视觉领域经典书籍pdf

后台回复：3D视觉课程，即可学习3D视觉领域精品课程

3D视觉工坊精品课程官网：3dcver.com

1.面向自动驾驶领域的多传感器数据融合技术

2.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)
3.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进
4.国内首个面向工业级实战的点云处理课程
5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解
6.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦
7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化
8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)

9.从零搭建一套结构光3D重建系统[理论+源码+实践]

10.单目深度估计方法：算法梳理与代码实现

11.自动驾驶中的深度学习模型部署实战

12.相机模型与标定(单目+双目+鱼眼）

13.重磅！四旋翼飞行器：算法与实战

14.ROS2从入门到精通：理论与实战

15.国内首个3D缺陷检测教程：理论、源码与实战

16.基于Open3D的点云处理入门与实战教程

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿，加微信：dddvision

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近4000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

圈里有高质量教程资料、答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~