《这就是街舞》自由视角沉浸式体验黑科技
《这!就是街舞》第四季大家看了吗?不知道有没有小伙伴跟笔者一样,“DNA”都要跟着舞动了起来。除了炸裂的舞台,堪比跨次元的真实观影体验,让用户在自由视角视频体验效果下身临其境:
是不是觉得很炫酷,so 还不赶快上优酷体验一把!
自由视角视频作为优酷内一种新颖的观看模式,给用户带来了全新的观影体验,在对外的众多合作中作为优酷的亮点内容也引起了较高的关注度。然而随着产品声量的不断扩大,当前自由视角在整体的播放体验及投放链路上还有很多诸如,播放不流畅、内容不清晰、设备覆盖较低等问题需要优化解决。
基于此,优酷技术团队在上半年对自由视角进行了一次全面的优化升级。接下来的内容,我们将从全面优化升级的整体目标,围绕播放体验及用户规模展开,详解优酷播放器团队的整体优化策略及方案。
一、自由视角是什么
图1
上图1是自由视角视频每帧画面的样式,以下统一叫深度图
自由视角原理:自由视角视频是在原有播放链路的基础上,新增自由视角算法SDK对每帧深度图进行处理,生成指定角度的画面最终展示给用户。
二、客户端架构设计
这部分主要会介绍自由视角实现的核心逻辑。中间由两个虚线框隔开的两个模块左边是自由视角在播放器SDK中实现的逻辑,右边是针对自由视角播放体验优化的策略,优化策略在后面会做详细的介绍。
播放业务层:
用户核心交互包括角度旋转齿轮(主要生成角度信息供算方侧使用)、自由视角视频用户提示、转场动画;
通过开关控制做到线上功能可随时打开或关闭。
**播放器中间层:**主要包括两部分,一是中间层链路改造支持自由视角,二是下载自由视角视频所需要的算法文件,下载完毕以后将文件路径传给算法层使用;
**播放器内核层:**处理内核与算法层之间的数据交互,然后将算法SDK处理好的纹理数据合成以后直接上屏展示;
**下载器:**负责优酷点播和直播视频文件的下载,不用针对自由视角做特别的改造,主要是使用到了下载器的多分片下载功能提升下载效率;
**算法:**这层主要的职责是基于算法将深度图重建生成指定角度的画面。
三、自由视角性能优化方案
1. 方案调研
**优化方向:**首先我们得搞清楚为什么卡顿才能知道如何去优化。经调研,卡顿原因是由于播放器当前数据不足所导致的,播放器需要等待足够的数据以后才能继续播放,所以我们得出结论,提前下载数据、多通道下载、降低视频的码率从这三个方面入手就可以降低卡顿率;
**方案尝试:**前期我们尝试了预缓存、视频流智能档、内核动态Buffer、多通道下载、自由视角动态降角度、播放器双实例切换降码率、连播预加载、过狂飙模式、视频AV1编码降码率共9种方案。在通过实际可行性调研后,最终确定预缓存、视频流智能档、内核动态Buffer、多通道下载这4种方案;
四、优化实践
技术侧优化
卡顿率优化:
1. 视频流智能档
上图是智能效果示意图,智能档是根据智能档算法动态去决定下一个TS分片的码率,从而达到动态降低码率的效果;
智能档算法架构图
需要着重介绍的有这么几个点:
智能档控制器与数据源及其他模块的交互和控制:收集视频元数据和播放状态信息(比如缓冲区时长buffer)、网络信息,分片级别的码率/清晰度选择,清晰度切换控制,还有其它数据源链路上的事件响应和超时控制等;
策略引擎框架:支持多种策略实现运行的一个接口/环境/容器,每种算法策略实现根据从播放器内核和网络环境信息等输入,给定一个清晰度选择的输出;
数据链路闭环:客户端决策信息埋点上报,云端数据分析处理,优化后的配置更新或模型下发。其中,策略框架及各种清晰度选择的算法策略实现是整个智能档的核心灵魂,策略框架提供了一个平台,目前,优酷的智能档使用 ABTest 的方式支持了从基于各项离散规则到基于强化学习神经网络模型的多种算法策略的实现,这些算法可以根据配置或模型下发动态调整算法参数,互相对比优化,互相补充。
2. 内核动态Buffer
通过策略配置平台统一下发指定策略动态设置内核buffer大小,以达到最大限度利用下载资源的目的。
3. 多通道下载
如上图所示,多通道下载技术通过将每个独立的文件拆分成N个小块进行下载,每个小块对应右图一个下载通道,这样就可以通过多个通道并行下载,提高下载效率以达到降低卡顿的目标。
- 预缓存
实现可缓存播控信息和视频流文件;(如下图1所示)
支持策略动态下发视频预缓存大小;(如下图1所示)
自由视角能力大一统:将自由视角能力的配置统一收到播控后台,去掉客户端自由视角能力配置项,这样避免以后播控后台和客户端配置不一致导致产生不可预测的问题。(如下图2所示)
图1
图2
场景覆盖度:
由于自由视角算法SDK支持两种渲染模式,基于DIBR的普通模式,以及关闭DIBR的切相机降级模式。在这个条件的基础上,对于性能不足可以良好支持DIBR的设备,通过降级模式进入自由视角,这在技术和产品角度都是可行的。
改造前
改造后
五、数据对比 & 效果
播放体感优化效果:
优化前
优化后
业务&技术优化效果:
街舞4自由视角视频(一个月)相较于去年同期街舞3点播总播放量提升近2倍。流畅度提升近70%。
场景覆盖收益:
并不是所有的低端机型都可以支持自由视角的降级模式,因为场景特殊,算法要求的视频输入源的清晰度需要不低于4K,因此处于【4k解码, 支持DIBR】区间的设备才属于本次优化预期提升的范围;
通过这次新增的降级渲染技术改造,新增覆盖近3成低端机型,最终总覆盖度从原来5成(仅支持中高端机型)提升至近8成;
六、总结
为用户提供更优质、更丰富的观影体验一直是我们优酷秉持的目标,也是我们持续不断探索和尝试的动力。如何让用户感受到技术的温度,而不是仅仅看到的是冰冷的字面和数字上的提升,让更优质的体验是用户切身能感受到的,这是我们未来的努力的一个方向。同时我们也在打造直播自由视角,竭尽所能的去探索更多更新的观影方式。
《这就是街舞》自由视角沉浸式体验黑科技相关推荐
- 解码北京冬奥沉浸式报道黑科技: 阿里云视频云「互动虚拟演播技术」
这个冬奥季,即便你在冰雪之外,也能透过播报感受同在.这就是互动虚拟演播技术带来的. "虚拟演播厅"在东京奥运会就曾进入奥运村,而在2022冬奥期,其技术方案全面升级,达到广电级导播 ...
- 一个大型虚拟项目包含位于不同地点的许多干系人_线下娱乐“换血”,沉浸式体验会成为下一个10年的主题吗?...
还在玩狼人杀和密室逃脱?不担心被人说"太out"? 2020年将至,下一个10年即将来临,沉浸式体验正在向我们走来. 没有AR/VR这些把现实世界搬到虚拟空间的酷炫技术,沉浸式娱 ...
- 番禺好去处,ZBOX沉浸式体验馆
目前,沉浸式文旅项目种类繁多,如沉浸式博物馆.沉浸式表演艺术.沉浸式展览.沉浸式农业园区.景区等,充分体现了文化+科技的魅力.沉浸式主题公园.沉浸式体验厅.沉浸式灯光秀等,完美放大了旅游+技术的娱乐效 ...
- android 沉浸式_【沉浸式体验】投影秀科技与视觉:体验亦真亦幻的超常感受
沉浸式投影作为一种新型的交互方式 受大众关注 全面覆盖观众视角 展现给参与者带来了亦真亦幻的超常感受 为参与者带来身临其境的体验感 投影秀科技与视觉+美学的结合 让你的活动与众不同 一起体验投影秀的魅 ...
- 科技新品 | 第一视角沉浸式飞行无人机;全球首款可折叠165英寸电视;新一代增强现实智能眼镜...
"科技新产品动态"栏目把新鲜的具有代表性的科学产品带到您眼前,涉及消费电子,半导体.服务器.智能家电等众多品类,提供图片和简单的文字介绍. DJI大疆创新推出沉浸式飞行无人机DJI ...
- 元宇宙应用层出不穷,沉浸式体验能否被实现?
说起元宇宙,大家第一时间能想到什么?是头号玩家里的时空穿越还是Facebook改名"Meta"时宣传片里的虚拟办公?都说站在风口猪都可以飞起来,而元宇宙无疑就是最近最大的风口.引得 ...
- 3D沉浸式体验开发技巧【Three.js】
在本文中,我们将看看如何使用 Three.js 创建一个充满后期效果和微交互的迷你城市. 推荐:将 NSDT场景编辑器 加入你的3D开发工具链. 1.背景介绍 我是一个游戏爱好者. 我一直梦想创建一个 ...
- Precision 工作站+solidworks+Vr 全新沉浸式体验
你还记得第一次用电脑打开SOLIDWORKS时候那种"惊喜"的感觉么?可能现在的95.00后新人工程师对三维做图早已经见怪不怪,但是作为一个"有点资历"的工程师 ...
- 帷幕的帷是什么意思_hummel HIVE 李斯丹妮凭什么又在这就是街舞翻红了!
<这就是街舞>第二季首播当天在豆瓣的评分惊到我了,居然高达9.5分. <这!就是街舞>作为一个街舞类的综艺节目,在开播后就迎来了超高的收视率,估计这是很多人没有想到的.humm ...
最新文章
- 个人作业1:小学四则运算——基于控制台
- MyBatis复习笔记6:MyBatis缓存机制
- WP8.1学习系列(第五章)——中心控件Hub或透视控件Pivot交互UX
- C语言取出一个数的每一位
- 手把手教你将pyqt程序打包成exe(1)
- configParser模块详谈
- php mysql unsigned,PHP MySQL 核心
- SAP License:SE16如何删除或合修改数据库表
- 重温JS基础--创建对象
- 机器视觉硬件之工业相机(一)
- 小程序 背景图 repeat_小魔女诺贝3D射击/中文 | 电脑游戏
- [XMAN2018排位赛]AutoKey
- 儿童摄影HTML实现
- 数据库期末大作业:机票预定信息系统数据库设计与实现
- 大数据小项目之电视收视率企业项目10
- 【论文笔记】An End-to-End Model for QA over KBs with Cross-Attention Combining Global Knowledge
- 区块链技术具体要用到什么开发语言?
- 体重预测[线性回归]
- 2022-2-14至2022-2-19周报
- Magnifier.js - 支持鼠标滚轮缩放的图片放大镜效果
热门文章
- openGL之API学习(一八七)gl_Vertex
- gta5存档位置可以改吗
- Silverlight-“BPIO”项目
- 【算法基础学习 6】龙格库塔法 求微分方程
- 计算机组装与维护二——认识计算机组装工具、拆卸主机、安装CPU及风扇、安装内存条、安装主板、安装光驱、安装扩展卡、安装线缆设备、开机测试
- 个人笔记——C语言入门的零散笔记
- Android.Hook框架Cydia篇(脱壳机制作)
- PHP距离春节还剩多少天,「春节倒计时」2019年春节倒计时 现在距离2019年春节还有多少天 - 56算命网...
- Springboot 整合 SSM 入门
- linux 音频处理工具,Linux 上的最佳音频编辑工具推荐 | Linux 中国