深度解读 | VR中的See-Through技术

近年来，虚拟现实（VR）行业迎来了爆发式增长，其消费级别的量产产品，目前已做到近千万级别的年销量。与此同时，VR行业不论是上游基础硬件还是下游软件生态都在迅速发展。

增强现实（AR）行业因其应用场景更加广阔，人们对其需求也更加强烈。苹果、谷歌、Meta以及微软等科技巨头纷纷看好AR行业是下一个大蓝海，拥有非常大的发展红利。

然而基于目前的技术，想要实现真正轻便的消费级AR产品，或许时日尚早。

于是，行业领先的AR/VR公司，纷纷在热销的VR产品上增加了See-Through功能，在扩充VR产品功能边界的同时，实现了VR设备在AR功能上的探索。

VR中See-Through的功能

VR给用户提供了一个交互式虚拟三维空间，通过感知单元提供视觉、听觉、触觉等感官的模拟，让人进入完全沉浸的虚拟世界。

因此，VR需要用户使用一个特定的头显，以形成一个完全密闭的虚拟空间。

而See-Through则是打破了这种限制，让用户可以走出VR世界。

其通过相机采集周围环境的实时视图并通过屏幕进行显示，给人一种人眼能够直接透过头显看到周围真实世界的感觉，因此也被叫做透视功能。

在VR中，See-Through功能的最初目的是解决安全问题。当用户接近虚拟空间的边界时，See-Through功能将自动开始显示来自相机采集的实时图像，以增加用户对周围环境的感知。

通过这样的方式，让用户得以了解边界区域的真实环境，提高用户的安全系数。

同时，See-Through功能可以让用户在不摘除头显的情况下，实现与外部现实世界的行为交互，例如触摸和打开控制器，甚至签收快递、收发短信等等，增强了VR头显体验的可持续性。

另一方面，随着越来越多的实验性增强现实（AR）功能被集成到See-Through中，可使用户在VR设备上体验到更多AR功能，同时还允许用户对AR功能进行二次开发，极大地丰富了VR设备的实用性。

See-Through功能的实现原理

常见的See-Through实现方式主要有两种：光学透视（Optical See-Through, OST）和视频透视（Video See-Through, VST）。

1. 光学透视(OST)

真实世界是通过放置在用户眼前的半透明光学合成器看到的。光学合成器也被用来将计算机生成的图像反射到用户的眼睛里，从而将真实世界和虚拟世界结合起来。

光学透视的优点在于不易产生晕屏（cybersickness）的风险，同时还有着与真实世界接近的极高分辨率。

2. 视频透视(VST)

真实世界是通过相机捕捉到实时视图，然后与计算机图像技术结合在一起，呈现在不透明的显示器上。

使用视频透视，算法可以完全控制视觉集成，允许虚拟和真实物体之间的完全遮挡，甚至可以对真实物体进行更高级别的修改。

VST技术的优势

相比于光学透视(OST) ，视频透视(VST) 的主要优势有以下五点。

1 虚拟与真实物体的遮挡更容易控制

OST的一个基本问题是，由于光学合成器同时允许来自虚拟和真实世界的光源，虚拟物体通常不会对真实物体进行完全遮挡，这使得虚拟物体看起来像幽灵一样呈半透明状态。

相比之下，VST在融合真实图像和虚拟图像方面会更容易控制。由于都是以数字图像的形式提供信息，VST合成器可以逐像素地采用真实、虚拟或两者混合来模拟透明程度的方式，从而产生比OST更令人信服的遮挡效果。

2 视场（FOV）更大

光学系统中的畸变是光轴径向距离的函数，离视场中心越远畸变越大。对于OST，由于系统没有真实世界的数字图像，任何扭曲都必须通过光学方式进行纠正，从而增加了光学元件的设计复杂程度和成本，同时也增加了头显的重量。

VST可以通过数字图像处理的方法来消除图像的畸变，以较小的代价获取更大的视场。

3 虚拟和真实世界的延迟更容易匹配

OST提供了几乎实时的真实世界视图，但虚拟世界的视图或多或少总存在一定延迟，这种时间的不匹配可能会导致配准等问题，影响用户体验。

对于VST，可以通过延迟真实世界的视图，来匹配虚拟视图的延迟。换句话说，VST提供了一种减少或避免真实和虚拟图像时间不匹配问题的方法。

4 配准信息更加丰富

对于OST，系统关于用户头部位置信息的唯一来源是头部跟踪器。

而VST则提供了另一种信息来源：真实场景的数字图像。这种数字信息意味着VST可以通过检测图像中的特征，并使用这些特征来增加配准的准确性。

5 亮度匹配控制更加方便

OST由于允许用户直接看到真实世界，受到真实环境亮度的影响较大。如果真实环境太亮，现实世界会冲掉虚拟图像；如果真实环境太暗，则虚拟图像将会冲淡现实世界。

但对于VST而言，因为相机本身的动态响应有限，亮度控制就会相对更加容易。VST真实和虚拟图像都是由监视器生成，并且都经过了一定的动态范围压缩，因此能够更加方便地进行亮度匹配控制。

VST技术难点及解决思路

由于真实世界的视图是通过相机捕获的视频图像提供的，VST技术目前主要存在的难点问题有画面延迟、视觉差异以及配准问题等。

如何解决上述难点问题，详情请点击CSDN头像，关注首发公众号~

深度解读 | VR中的See-Through技术相关推荐

request中的内容存储_宜信开源｜调用链系列（3）：解读UAVStack中的调用链技术...
拓展阅读:宜信开源|调用链系列(1):解读UAVStack中的贪吃蛇调用链系列(二):解读UAVStack中的贪吃蛇-调用链在Java中,HTTP协议的请求/响应模型是由Servlet规范+Ser ...
深度解读Webpack中的loader原理
一.前言 webpack 是一个现代 JavaScript 应用的静态模块打包器.那么 webpack 是怎样实现不同种类资源模块加载的呢? 没错就是通过 loader.loader 用于对模块的源代 ...
八千字长文深度解读，迁移学习在强化学习中的应用及最新进展
点击我爱计算机视觉标星,更快获取CVML新技术本文经机器之心(微信公众号:almosthuman2014)授权转载,禁止二次转载. 机器之心原创作者:Luo Sainan 编辑:H4O 迁移学习通 ...
管理节点连接不上sql节点_华为云IEF智能边缘平台十万边缘节点管理技术深度解读学习笔记...
华为云智能边缘平台IEF首席架构师张琦在3月27-28日举办的华为开发者大会2020(Cloud)上,深度解读了十万边缘节点的管理技术,以及如何通过云原生技术和边缘计算结合,构建边缘计算实战场景中所需 ...
ChatGPT 爆火的背后：深度解读“智能对话”与“人机交互”技术
图灵人工智能作者 | 鲁冬雪智能对话技术在近几年来取得了惊人的进步,最近爆火的 ChatGPT 更是将智能对话推到了至高潮.像 ChatGPT 这样的聊天机器人有着广泛的用途,然而想要让其达到真正 ...
NBA赛事直播超清画质背后：阿里云视频云「窄带高清2.0」技术深度解读
在半月前结束的NBA总决赛中,百视TV作为全网唯一采用"主播陪你看NBA"模式的直播平台,以"陪看型"赛事解说来面对内容差异化竞争.与此同时,百视TV还运用了& ...
深度学习中的知识蒸馏技术(下)
本文概览: 写在前面: 这是一篇介绍知识蒸馏在推荐系统中应用的文章,关于知识蒸馏理论基础的详细介绍,请看我的这篇文章: 深度学习中的知识蒸馏技术(上) 1. 背景介绍 1.1 简述推荐系统架构如果从 ...
从云原生到智能化，深度解读行业首个「视频直播技术最佳实践图谱」
在2022阿里云直播峰会上,多位直播产业领域技术专家与行业先行者,共同探讨超视频化时代视频直播技术的演进趋势与未来发展.会上,阿里云重磅发布了行业首个「视频直播技术最佳实践图谱」,将直播技术归纳总结为 ...
YOUChain 首席架构师何畅彬：YOUChain技术白皮书首次亮相，首席架构师深度解读
今天"链客Talk"邀请YOUChain首席架构师何畅彬来到链客直播间,和大家一起探讨YOUChain技术白皮书首次亮相,首席架构师深度解读这一话题. 何畅彬 :YOUChain ...

深度解读 | VR中的See-Through技术

深度解读 | VR中的See-Through技术相关推荐

最新文章

热门文章