在虚拟世界中直接利用密集的彩色点云有很多原因。使用 3D 映射方法生成点云本身是有效的。新 VR 技术提供的沉浸式可视化非常适合几何复杂的数据集，例如室内点云。随着与点云兼容的计算机硬件解决方案和游戏引擎的发展，VR 中的点云可视化变得越来越容易实现——因此也与地理信息相关。

得益于 3D 制图技术的不断进步，获取 3D 点云的效率从未如此之高。可以使用测量级系统（例如车载移动激光扫描）和消费类技术（例如移动设备中的激光雷达传感器）获取彩色点云。同步定位和地图绘制 (SLAM) 系统使 3D 地图绘制在室内和室外都可使用。

当代的室内 SLAM 系统可以在几何复杂的环境中以高效率运行。除了激光扫描系统，摄影测量软件的不断发展不仅为市场带来了更先进的专业工具，而且还引入了更多友好的开源摄影测量3D重建软件。这在使用无人驾驶飞行器（UAV 或“无人机”）进行 3D 绘图时尤为重要；毕竟，相机仍然是他们最重要的传感器。如今，即使是消费级迷你无人机也配备陀螺稳定的高分辨率相机。

密集的彩色点云以高细节描绘真实世界的环境，并且可以在合适的可视化环境中产生近乎真实的场景。

在消费类技术中，深度相机以及激光雷达传感器已集成到手持设备中，从而实现实时 3D 重建。它们还用于 3D 扫描仪和自主机器人设备。由于这些发展的结合，日常生活中遇到的大多数环境现在都可以在三维上进行数字化。

从地图到沉浸式体验

因此，使用 3D 传感技术的挑战正在从数据获取转向数据利用。点云仍然是 3D 传感中比较基础的，因此它们是最具吸引力的数据类型，可以利用点云的解决方案与各种传感技术兼容。最简单的应用形式是点云的可视化。在台式计算机和传统显示器上，这可以通过多种商用和开源软件解决方案来执行。同样，基于浏览器的点云可视化由许多公开可用的 Javascript 库和在线服务实现。

在过去十年中，使用头戴式显示设备 (HMD) 的虚拟现实 (VR) 可视化已成熟为消费技术。设备可从多个制造商处获得，但发布应用程序的商业生态系统正在围绕几个主要参与者进行融合。出现了可以支持多种 VR 头显的开发工具和开放标准，例如 OpenXR，简化了应用程序的开发。

为了构建超越单纯数据可视化的交互式 VR 应用程序和体验，商业游戏引擎是事实上的标准环境。在这里，VR 社区受益于庞大的开发人员库，这些开发人员可以将他们的游戏开发经验和热情转移到商业游戏引擎中。对于游戏开发者来说，

虚拟现实和点云

由于大多数用于 HMD 的 VR 应用程序都是使用游戏引擎构建的，因此这些游戏引擎能够支持点云非常重要。点云已通过内置功能或可用插件直接作为许多游戏引擎中的数据类型可用。

然而，VR 中的点云可视化由于对渲染的严格性能要求而变得更加复杂，尤其是对高帧率的要求。在通过普通显示器研究的交互式可视化中，低帧率至多令人讨厌。在 VR 中，降低的渲染速度会导致渲染图像与人类感官系统之间的不匹配。这会导致用户感到不适，并且在极端情况下会导致身体眩晕恶心。

VR 为探索点云提供了完整的六个自由度。

点云的 VR 可视化需要高效的系统来进行空间索引、细节级别处理以及从渲染（剔除）中剔除不可见点。这些系统允许引擎确定虚拟摄像机实际看到的点云部分，并仅渲染具有足够细节水平的部分。此外，渲染必须进行操作，以便在从云的更远部分渲染时最终确定的点更少，处理最少。通过将空间索引与剔除和多级细节（由距离决定）相结合，并通过调整光栅化点的大小，可以将要渲染的点总数保持在限制范围内。

由于 VR 可视化本身也提供第一人称视角，因此密度变化通常会产生潜在的透视效果和问题，尤其是非结构化的室内点云。因此，必须实现动态点大小调整。在游戏引擎中，这与用于实际绘制点的方法有关。最常见的是，点可以直接绘制为像素集，也可以通过几何对象（例如正方形或圆形）绘制，几何对象用于代替点并通过引擎的传统三角形渲染管道进行渲染。

动态资产支持丰富的交互

虚拟环境和用户之间丰富的交互通常是对游戏引擎可视化感兴趣的关键驱动因素。传统的游戏引擎场景是由一组网格模型、摄像机、灯光、演员等构建的。通过动态脚本交互，这些将场景从静态渲染转变为交互式环境。为了尽量减少计算资源的使用，通常会组合虚拟场景，以便只有用户可以与之交互的对象才会对模拟碰撞、重力和更复杂的照明模型做出响应。简化的几何图形（例如原始形状和凸包）用于模拟碰撞和检测重叠。

如果点云的使用不仅仅是简单的可视化，还必须使点云与游戏引擎应用程序中常用的功能兼容，例如实时照明、模拟碰撞和交互对象。在这里，照明主要是渲染问题，与可视化系统相关。然而，实现单独的对象也对点云本身提出了要求。

因此，将密集的点云转变为有用的游戏引擎场景需要将点云分离为可交互的对象，并结合其简化版本以允许动态模拟。同时，所使用的索引和渲染解决方案必须与在场景中移动的对象兼容。

一个密集的点云被分割成八叉树结构，根据虚拟相机的视锥体隐藏和显示单元格。

结论

在研究文献和软件开发中，已经提出了许多解决方案，用于将源自 3D 映射的密集点云转变为有用的游戏引擎场景。许多类似游戏的属性，例如可交互对象和动态照明，已经通过点云实现。

然而，一些专题研究问题仍然存在。对于要在游戏引擎中应用的点云，将点分类为简单的对象类型（例如建筑物或植被）是不够的。生成交互式游戏引擎场景需要更精细的、面向对象的分割和语义理解。关于点云中对象的分类和分割，仍然需要更多的研究和更复杂的解决方案。

在现有的研究中，对使用不同 3D 映射技术获得的点云质量的大部分评估主要集中在其几何精度上。然而，作为 3D 传感的一部分，VR 应用还需要足够好的点着色才能实现。这强调点云的辐射质量，因为这在它们的可视化中起着重要作用。

点云可以分割成单独的对象以进行游戏引擎交互或在 VR 中进行沉浸式编辑。

从计算的角度来看，纹理网格模型是目前在游戏引擎可视化中表示几何的最有效方式。然而，点云的使用具有许多潜在的好处，例如简化了来自不同地图系统的数据集成以及提高了数字化现实生活环境的效率。

此外，VR 提供了一种自然的方式来探索具有完整六个自由度的几何复杂数据集，沉浸式导航它们甚至可能与点进行交互。因此，点云的 VR 可视化实验仍然是地理信息学社区的热门话题。

原文来自gim-international，编辑：LiDAR前沿。

本文仅做学术分享，如有侵权，请联系删文。

下载1

在「3D视觉工坊」公众号后台回复：3D视觉，即可下载 3D视觉相关资料干货，涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。

下载2

在「3D视觉工坊」公众号后台回复：3D视觉github资源汇总，即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。

下载3

在「3D视觉工坊」公众号后台回复：相机标定，即可下载独家相机标定学习课件与视频网址；后台回复：立体匹配，即可下载独家立体匹配学习课件与视频网址。

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、orb-slam3等视频课程）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近2000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

圈里有高质量教程资料、答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~