谷歌《The Relightables: Volumetric Performance Capture of Humans with Realistic Relighting》阅读笔记
Paper link：https://research.google/pubs/pub48573/
背景
The relightables 是谷歌在SIGGRAPH Asia 2019推出的一款人体容积视频捕捉的方法，专注于3D几何重建和高分辨率的贴图。 最终得到如照片真实的和高质量的可照明的全身演出采集。
创新点
- 设计了一款全新的1200万像素的主动深度传感器。
- 设计了一个混合基于机器学习的几何重建管线（pipeline），来处理高分辨率的多视角图片输入，最终输出一段体积视频。
- 融合了传统的Image-based Relighting方法，设计了一个类似Light stage的捕捉装置，区别于传统的3D捕捉过程中的光线条件恒定的特点，Relightable通过装置中的331个LED发光器在3D捕捉过程中创造交替转换的两种环境光照，以60Hz运行，采集拥有两张交替颜色梯度的光照图片，最终计算得出时间一致的反射比图(Reflectance Map)，可用于任意后期渲染引擎，得到如照片一样真实的渲染效果。
硬件系统
上图是整个系统的硬件架构图，主要可以分为四大类：
- Cameras：整个系统一共包含了90个摄像头，32个IR和58个RGB，感光器全部使用Ximea MX124科学相机，基于索尼IMX253开发，拥有Global shutter，4112x3008（12.4MP）分辨率，帧率高达60fps，支持PCIe Gen 2x2接口数据传输等特性，FOV ~48°，IR镜头接受860nm的红外光。
- LED PCBs：包含了331个LED照明灯光，分布在球型light stage各个方向上，LED板子上自带FPGA，运行时，以180Hz交替发光。
- PCIe switch：连接镜头和捕捉主机，给镜头提供供电和同步信号。
- Capture PC：系统包含16个捕捉主机，每台主机包含了高读写速度的NVMe SSD用来满足实时录制原始相机信息。
主动双目结构光模组
模组包含了两个12.4MP IR镜头，单个RGB镜头，和一个结构光打光器。
结构光的pattern采用了编码结构光的pattern，比主流的散斑结构光更密集，最终提供更优质的深度图。传统结构光镜头，多镜头同时采集一个物体时，pattern重叠，会互相影响，导致不能正常解码出深度，但是谷歌的双目结构光，比较巧妙的解决了这个问题，pattern的使用是不过是为了在物体表面增加更多的匹配特征，最终解码还是依靠计算视差图，所以多镜头使用时，不需要担心互相干扰。
方法
首先，输入的多视角RGB图片和IR图片，双目解码得到深度图，深度网络分割网络的引入主要是为了分割背景和前景，并且给人体划分出面部和身体等区域。离群点去除后的点云被合并，做了一些提优的工作，最后使用Poisson做出Mesh。
Mesh重建的结果节点太多，所以需要对Mesh进行减面处理。此时Mesh在播放时会有很严重的表面抖动，因为帧与帧之间的Mesh是单独制作，顶点和UV的变化会比较大，所以这里引入了Mesh tracking的技术，也就是使用关键帧Mesh代替附件的临近帧，使用可变性的非刚体方法控制关键帧去替代临近帧，UV也统一使用了关键帧的UV。
通过Light stage的打光，我们得到两张UV图，一个是颜色渐变图，另一张是逆颜色渐变图，通过这两张图可以算出三种贴图，Albedo map，Gloss map和Normals map，这些都是最终放入渲染引擎提升最终渲染效果的重要信息。
结果
基础Mesh的面片数量越多，可以看到几何信息越多，模型越精细，但是如果都贴上Normal map并渲染，即使是最粗糙的mesh也可以获得更多的细节，和基本Mesh 100k面片没有太大区别。
在捕捉高速移动物体时，需要加入Texture alignment解决贴图不一致的问题。
最终与Microsoft 2015年多视角捕捉系统的对比。
局限性
- 需要极大的算力，10s录制内容（600 frame），需要计算集群处理8小时，在一台32核的单机上处理将需要1年以上的时间
- 关键帧Mesh转换会有不自然过度的情况
- 高频细节仍然没有完美捕捉和重建，如：头发
- 依然对透明，高反射和镜面物体无法重建，如：眼镜，手表，等
- 完美估计Normal map的前提是高质量精准的Optical flow计算，但是快速的直角拐弯动作会导致估计不准，另外，低信噪比区域（如：头发，深色表面）也会增加精准估计的难度
- 录制产生的数据是海量的，需要数据中心级的存储能力
- 实验室产品，不计成本，价格昂贵
Reference
[1] Collect Microsoft 2015 High-quality streamable Free-viewport video: http://hhoppe.com/fvv.pdf
[2] Motion2Fusion link: https://www.researchgate.net/publication/321236208_Motion2fusion_real-time_volumetric_performance_capture
[3] Microsoft UVAtlas tool link: https://github.com/microsoft/UVAtlas
[4] Cosine lobe based relighting from gradient illumination photographs: https://ict.usc.edu/pubs/Cosine%20Lobe%20Based%20Relighting%20from%20Gradient%20Illumination%20Photographs.pdf
[5] Alvaro Collet, Ming Chuang, Pat Sweeney, Don Gillett, Dennis Evseev, David Calabrese, Hugues Hoppe, Adam Kirk, and Steve Sullivan. 2015. High-quality Streamable Free-viewpoint Video. ACM TOG (2015).
[6] Mingsong Dou, Philip Davidson, Sean Ryan Fanello, Sameh Khamis, Adarsh Kowdle, Christoph Rhemann, Vladimir Tankovich, and Shahram Izadi. 2017. Motion2Fusion: Real-time Volumetric Performance Capture. SIGGRAPH Asia (2017).
[7] Mingsong Dou, Sameh Khamis, Yury Degtyarev, Philip Davidson, Sean Ryan Fanello, Adarsh Kowdle, Sergio Orts Escolano, Christoph Rhemann, David Kim, Jonathan Taylor, Pushmeet Kohli, Vladimir Tankovich, and Shahram Izadi. 2016. Fusion4D: Real-time Performance Capture of Challenging Scenes. SIGGRAPH (2016).
[8] Philipp Krähenbühl and Vladlen Koltun. 2011. Ecient Inference in Fully Connected CRFs with Gaussian Edge Potentials. In NIPS.
[9] Johannes Lutz Schönberger, Enliang Zheng, Marc Pollefeys, and Jan-Michael Frahm. 2016. Pixelwise View Selection for Unstructured Multi-View Stereo. In European Conference on Computer Vision (ECCV).
[10] Robert W Sumner, Johannes Schmid, and Mark Pauly. 2007. Embedded deformation for shape manipulation. ACM Transactions on Graphics (TOG) 26, 3 (2007), 80.
[11] Michael Zollhöfer, Matthias Nießner, Shahram Izadi, Christoph Rehmann, Christopher Zach, Matthew Fisher, Chenglei Wu, Andrew Fitzgibbon, Charles Loop, Christian Theobalt, and Marc Stamminger. 2014. Real-time Non-rigid Reconstruction using an RGB-D Camera. ACM TOG (2014).
[12] Jure Žbontar and Yann LeCun. 2016. Stereo Matching by Training a Convolutional Neural Network to Compare Image Patches. Journal of Machine Learning Research 17, 65 (2016), 1–32. http://jmlr.org/papers/v17/15-535.html
谷歌《The Relightables: Volumetric Performance Capture of Humans with Realistic Relighting》阅读笔记相关推荐
- T5: Text-to-Text Transfer Transformer 阅读笔记
作者:徐啸 知乎专栏:自然语言处理学习之旅 https://zhuanlan.zhihu.com/p/89719631 写在前面 谷歌用一篇诚意满满(财大气粗)的基于实验的综述,试图帮助研究者们「拨开 ...
- 2019 sample-free（样本不平衡）目标检测论文阅读笔记
点击我爱计算机视觉标星,更快获取CVML新技术 本文转载自知乎,已获作者同意转载,请勿二次转载 (原文地址:https://zhuanlan.zhihu.com/p/100052168) 背景 < ...
- 【阅读笔记】精益开发实践用看板管理大型项目
[阅读笔记]精益开发实践用看板管理大型项目 参考 精益开发实践用看板管理大型项目 文章目录 [阅读笔记]精益开发实践用看板管理大型项目 一.我们如何工作(案例研究) 1.项目背景 2.组织团队 3.每 ...
- 【CCM-SLAM论文阅读笔记】
CCM-SLAM论文阅读笔记 整体框架结构 如图所示:单智能体只负责采集图像数据,运行实时视觉里程计VO以估计当前位姿和环境地图,由于单智能体计算资源有限,负责生成的局部地图只包含当前N个最近的关键帧 ...
- 论文阅读笔记(五)——狐猴识别系统:一种便于狐猴个体识别的面部识别系统
论文阅读笔记(五)--狐猴识别系统:一种便于狐猴个体识别的面部识别系统 论文简介 论文中文翻译:狐猴识别系统:一种便于狐猴个体识别的面部识别系统 论文名称:<LemurFaceID: a fac ...
- A Survey of Deep Learning-based Object Detection论文翻译 + 阅读笔记
A Survey of Deep Learning-based Object Detection论文翻译 + 阅读笔记 //2022.1.7 日下午16:00开始阅读 双阶段检测器示意图 单阶段检测器 ...
- 文献阅读笔记-CSC-数据集-A Hybrid Approach to Automatic Corpus Generation for Chinese Spelling Check
A Hybrid Approach to Automatic Corpus Generation for Chinese Spelling Check 文献阅读笔记 论文相关信息: EMNLP-201 ...
- 《Consistent Video Depth Estimation》阅读笔记
<Consistent Video Depth Estimation>阅读笔记 文章目录 <Consistent Video Depth Estimation>阅读笔记 前言: ...
- [论文阅读笔记53]2021深度神经方法的关系三元组抽取综述
1. 题目 Deep Neural Approaches to Relation Triplets Extraction: A Comprehensive Survey Tapas Nayak†, N ...
- YOLOv5代码阅读笔记
本来想先总结yolov5的各种知识点,但是看了一位大佬发的博客,瞬间就跪了,链接放上: 深入浅出Yolo系列之Yolov5核心基础知识完整讲解代码看完一遍后,感觉理解还不够深刻,决定近期再把代码过一遍 ...
最新文章
- NAR：测序数据鉴别和去除rRNA序列利器RiboDetector
- python 判断变量是否是 None 的三种写法
- PAT (Advanced Level) 1010 Radix(二分+模拟)
- [HTTP] 重定向的302，301
- HAN - Heterogeneous Graph Attention Network 异构图注意力网络 WWW2019
- MicroSDCard是什么
- R+NLP︱text2vec包——四类文本挖掘相似性指标 RWMD、cosine、Jaccard 、Euclidean （三,相似距离）
- Python判断字符类型
- 洛谷OJ P1003 铺地摊
- 《遥感原理与应用》孙家抦版知识点总结（含简答题、论述题）——第八章
- FX110网：鳄鱼线（Alligator）指标的操作应用
- java ip 获取了两个_用Java获取本地的多个IP地址
- 电力系统的遥测、遥信、遥控、遥调的含义
- js中根据特定字符截取字符串
- 寺库TRYTRY CMO欧泽超：技术向善，科学变美
- pytorch中的激励函数（详细版）
- MSF后门生成及免杀思想
- 计算机系统密码忘记了如何解决,电脑开机密码忘记了怎么办,小编教你如何解决忘记电脑开机密码...
- 可能你也怀疑，5G时代下，学web前端培训会有什么影响？
- ABAP中 delete 语句的使用