3DoF+ Video简介

近期MPEG-I在制定关于Immersive Video相关的标准，其中包括了：点云（Point Cloud）、3DoF+ Video和6DoF Video等等，下面主要介绍3DoF+ Video的相关定义。

一、 3DoF+定义

在MPEG-I中，对如下几个词语的定义如下：

3DoF+：3DoF with additional limited translational movements (typically, head movements)

6DoF : 3DoF with full translational movements along X, Y and Z axes. A typical use case is a user freely walking through 3D 360 VR content

Window 6DoF : 6DoF with constrained rotational movements around X and Y axes (respectively pitch and yaw) and constrained translational movements along Z axis

3DoF（Degree of freedom）视频，即全景视频，这得是为用户提供三个旋转维度上全角度视觉体验。

3DoF+视频除此之外，还支持用户在三个空间维度上有限范围的变化，一个典型的例子就是坐在椅子上观看场景，允许头部在一定范围内运动。而这被列为MPEG-I在Immersive Video标准制定中的第1.5个阶段（Phase 1b），而增加运动自由度后，更符合人感知场景的真实体验，同时带来双目立体视差和运动视差。

Window 6DoF视频，可以理解为透过一个窗户看世界，但是你的运动范围受限，即观看区域受限。

图1 左: 3DoF+, 右: Windowed 6DoF

Bounding box：由于3DoF+视频支持用户运动范围受限，所以用户允许运动范围构成了一个封闭区域，往往用立方体或球体来描述。

二、3DoF+序列

为实现3DoF+视频应用，要尽可能采集场景所有方向的区域，一个平面视频是不够的，所以往往需要采集多个视点的平面视频甚至多个视点的全景/半全景视频。

2.1 全景视频格式：

ERP（Equirectangular projection）：横坐标是经度，纵坐标是纬度。

CMP（Cubemap projection）：六面体可以包围一个球面，所以可以用6个平面来描述全景视频。

图2 左：经纬度定义，右，ERP格式

图3 CMP格式

2.2 3DoF+序列

2.2.1 多视点全景视频：采集多个视点位置的全景视频，视点构成的区域就是可观看区域。

图4 ERP格式，多个视点构成有限区域

2.2.2 多视点半全景视频，采集多个视点位置的半全景视频。

图4 多张半全景视频，构成了整个朝向区域

三、核心技术

1. 视点合成

无论采集数据格式如何变化，终究只能在连续的3D真实空间中离散地采集数个视点的信息，而3DoF+视频需要渲染出可运行运动范围内各个位置各个朝向的所有图像，这就涉及到了对目标虚拟视点图像合成技术了，这是计算机视觉方向的应用，需要知道采集图像场景深度。

图5 360视频的视点合成

2. 深度估计

由于是对自然场景采集，可能无法获得深度信息，所以产生一个新的概念，深度估计，即用纹理图来估计场景深度

图6 自然场景的深度估计

3. 像素率限制

3DoF+核心要点是：在有限的像素率，固定码率下，能够恢复尽可能好的源图像。

有限像素率：4,278,190,080 luma samples/s ≈ 4*8K luma samples / frame * 30fps.

而目前五个序列像素率为：

A_ClassroomVideo: 4096*2048*15*2 = 7.5*8K luma samples / frame * 30fps

B_TechnicolorMuseum: 2048*2048*24*2 = 6*8K luma samples / frame * 30fps

C_TechnicolorHijack: 4096*4096*10*2 = 10*8K luma samples / frame * 30fps

D_TechnicolorPainter: 1920*1080*16*2 ≈ 2*8K luma samples / frame * 30fps

E_Intelkermit: 1920*1080*15*2 ≈ 2*8K luma samples / frame * 30fps

以上大部分序列需要进行像素舍弃

3DoF+ Video简介相关推荐

imx6平台video简介（一）
说在前面:本节内容,我们在基本上对v4l2设备的概念以及上层的调用进行详尽说明,中间有抠图行为,请见谅.只是为了说明问题. 一．V4L2概念 Videofor Linux two(Video4Linu ...
Vue插入视频播放器之video
一.video简介 video.js是一款web视频播放器,支持html5和flash两种播放方式. 官网地址 or 详细的讲解二.使用 1. 下载包 npm install video.js 2. ...
6DoF视频：通往下一代高自由度视频体验
5G,8K时代的加速到来,将极大缓解视频传输带宽和终端解码能力的约束. 而6DoF视频则在360度VR视频基础上更进一步,可以将传统平面视频在分辨率维度的清晰度提升转化为高自由度的空间信息量提升,并且 ...
VV overall
Volumetric Video 简介立体视频和360视频的区别: 360度视频:三个自由度旋转(yaw, pitch, roll),人不动,头360度旋转. volumetric视频(立体视频): ...
python视频解析库_python某音短视频无水印解析
[Python] 纯文本查看复制代码import requests import re import tkinter as tk #用户名: (.*?) #简介: (.*?) #封面:cover: ...
视频色彩校正简介 Introduction to Video Color Correction
视频色彩校正简介 Introduction to Video Color Correction 视频色彩校正简介 Introduction to Video Color Correction MP4 ...
视频转换专家 Xilisoft Video Converter使用简介
视频转换专家 Xilisoft Video Converter使用简介 Xilisoft Video Converter - 视频转换专家是一款功能强大的音视频文件转换软件.该软件可以转换的文件格式几 ...
YouTube-8M: A Large-Scale Video Classiﬁcation Benchmark简介
YouTube-8M: A Large-Scale Video Classiﬁcation Benchmark Abstract 作者以1帧每秒的速度解码视频,同时利用预训练在imagenet上的De ...
video format格式MJPEG,MPEG,H.264简介
1.JPEG/M-JPEG JPEG是一种静止图像的压缩标准,它是一种标准的帧内压缩编码方式.当硬件处理速度足够快时,JPEG能用于实时动图像的视频压缩.在画面变动较小的情况下能提供相当不错的图像质 ...

3DoF+ Video简介

3DoF+ Video简介相关推荐

最新文章

热门文章