作者：张博佳

去年4月，刚刚获得第26届格莱美奖的Travis Scott举行了一场名为“Astronomical”的演唱会。不过，和传统演唱会不同，这场演出选择了一个虚拟地点开展——《堡垒之夜》游戏世界。

在这场演唱会中，Travis Scott化身“巨人”，直接将整个游戏世界变成了演唱会舞台。据《堡垒之夜》统计，在这场Travis Scott举行的虚拟演唱会中，共有1230万名《堡垒之夜》玩家观看了本场演出，刷新了游戏史上最多玩家同时在线的音乐Live成绩。

‍

得益于影视技术的日新月异，以及疫情的催生，线上演出正成为大趋势。线上演唱会拥有演出效果炫、沉浸感强及参与门槛低等独特的优势，国内外的艺人如Billie Eilish、Blackpink、TFboys等，都先后选择了线上演唱会。

除了明星艺人，各家互联网厂商也对其技术及市场前景报以厚望，纷纷加紧了布局的步伐，爱奇艺就是其中的一员。2021年3月8日，爱奇艺正式发布了“沉浸式虚拟”线上演出内容产品 ——“云演出”。而偶像团体THE9首次演出“虚实之城”沉浸式虚拟演唱会作为“云演出”的首个内容于同日发布。

该演唱会全程使用XR技术呈现表演，以实现沉浸式的虚拟舞台演出。XR是目前最先进的电影制作技术之一，结合实体LED屏幕与引擎实时渲染的虚拟画面，XR技术使画面最终呈现出现实与虚拟融合的效果，给观众带来视觉冲击与沉浸感。

同时，爱奇艺以AR特效打造虚拟前景，结合多个XR虚拟机位和高标准的影视级设备，进一步提高了场景的制作水准，将真实与虚拟的场景融合。

此外，“云演出”借助多种技术如云票、虚拟观众席、实时互动等，为用户带来有趣的、强互动的身临其境般沉浸体验。其中，“云演出”主要的XR场景技术、LED写实化虚拟制作、场景数字化以及直播网络解决高并发，也是值得关注的技术亮点。

图注：LED屏幕呈现效果图

01

所见即所得，LED屏幕写实化虚拟制作

此次虚拟演唱会首次将影视级LED写实化虚拟制作技术应用于演唱会直播，使得这场演唱会能够得到多样化风格的呈现，与此同时也充满着技术挑战。

LED写实化虚拟制作技术呈现的高精度场景，可让演员更加自然地进行表演，从而最大程度弥补传统绿幕存在的诸多局限，如溢色问题、以及传统绿幕的虚拟制作技术在拍摄中需要演员与制作人员“脑补”拍摄环境等不足。

全新的LED虚拟屏幕拍摄，让画面中的照明得到了更好的呈现，用LED形式做了虚拟制作后，屏幕中光的真实感会让观众仿佛置身真实场景里，并且还能让用户在观演时体验穿越数字时空不同场景的震撼感受。而在虚拟制作上，将预处理好的美术特效环境投放到LED屏幕，并通过引擎实时渲染出拍摄背景，即“所见即所得”，呈现的高精度场景可让演员更加自然地进行表演，他们不仅能瞬间穿越时空，还能在宇宙中傲游、徜徉热带雨林、探险狮身人面像……制作效率得到提高的同时，也带来了更自然、更逼真的画面效果，甚至让观众真假难辨。

在硬件需求上，LED虚拟制作所需的屏幕比普通屏的精度更高，像素和像素之间的距离则更小。LED像素间距指的是LED屏幕中每个像素点之间的间距，一般也称为“点间距”，即每个像素点中心到相邻像素点中心的距离。

比如，大家熟悉的《星球大战》系列中的第一部真人影视剧——《曼达洛人》，就是首个选择LED虚拟屏幕、而非绿幕拍摄的影视作品，其拍摄时使用的LED幕墙像素间距是2.84mm。

而此次爱奇艺云演出使用的点间距是2.6mm，这意味着即使你站得近些，也无法看到屏幕上每一个点的亮光。除了屏幕大、亮度高，它的刷新速度也很快，能让屏幕接口之间的缝隙几乎无法被注意到。

此外，爱奇艺在2020年已开始搭建虚拟制作基地，并同步做硬件准入测试，对屏幕厂商、钢架结构、以及地屏等硬件设备的可靠性进行评估和选用。

在软件层面上，爱奇艺将影视级的LED写实化虚拟制作应用于演唱会中，此外还将工业光魔StageCraft系统应用到了演唱会直播上，与《曼达洛人》相比，它是完全直播类的场景，无法在拍摄后再经过后期制作，因此在这一层面上面临着更大的挑战。

从另一方面来说，传统的LED屏作为节目背景，大多使用抽象的氛围素材，例如多彩的色彩、几何图案等，表现风格化的效果，呈现难度较小。而此次“云演出”虚拟拍摄的LED屏显示的内容则是真实的三维场景，这样写实化的三维场景在屏幕上的渲染是符合透视原理的，即由摄像机看到的画面与人眼看到的真实世界的画面一样。

市面上虚拟拍摄的LED屏显示的内容，是一个真实的三维场景，且它的三维场景在屏幕上的渲染是符合透视原理的。但真实世界里有更多的深度信息，且它们都需要在屏幕上用平面的方式展现出来，这就意味着摄像机在发生轻微位移的时候，屏幕里面的所有像素都要立刻计算出它的最新位置，并通过所有的屏幕显示出来。据了解，这些由基于虚拟拍摄的复杂软件系统和一套算法完成。

02

场景数字化——精度和算法的高追求

此次“云演出”的景素材实现了厘米级的高清数字化，当演员进入到虚拟拍摄平台，也可直接感受到平台所营造的场景和气氛，并更加顺利与投入地完成演出。舞台数字化的创作过程类似于游戏制作，但游戏的精度相对于虚拟拍摄层面是不够的，虚拟制作需要更高的精度，才能达到与现实世界中人眼看到的世界类似。

在眼睛角度发生任何细微的偏移的情况下，看到的景也会发生细微的偏移，这意味着透视关系是可以和人脑进行同步的。而要将真实的景素材做成一个数字世界，虚拟拍摄需要首先将实景进行扫描，并通过多个摄像头采集对深度信息进行捕捉，再进行算法合成，最终达到一定的精度。

目前爱奇艺能达到厘米级，毫米则需要更大的计算力，如果能达到那个精度的数字资产，那么进到虚拟拍摄平台就跟去横店拍戏一样，拍摄效果会更具现实感。

图注：云演出设备调试

03

云演出——直播网络解决高并发等技术

通过延时播出，人工监播和AI检测等方式可以保障播出内容的安全，而通过智能调度系统和全区域全运营商覆盖的CDN分发网络，可以支持高并发的用户请求。

值得一提的是，THE9云演唱会上线了现场百人大屏互动以及直播连线的功能。在演唱会两天的直播中，各有一场承载300人同时直播的实时连线。

本次演唱会的最大挑战在于实时性、和与用户之间的互动能否做到流畅自然。它和传统的制作很不一样，和用户之间的互动越实时，节目的不确定性越高，而不论是内容制作团队还是现场的导演，都考验着他们的充分准备程度和临时应变能力。所以这类的内容制作可能将来在团队组成、团队结构，以及创意方式等都会有很大的变化。也就是说，需要不断地更新系统和工具链，制作新的内容。

虚拟制作未来的方向之一在于打造内容形态的新模式，可以将不同题材类型的内容用虚拟世界的体系连接起来，并产生优质的内容IP。

也许你还想看

“云演唱会”也有仪式感！能检票、可转赠，爱奇艺“云票”如何重构线上购票逻辑

深响｜对话THE9演唱会主创：技术打开想象力，未来的娱乐还能这么玩

 关注我们，更多精彩内容陪伴你！

本文转载自DeepTech深科技