79、ClimateNeRF: Physically-based Neural Rendering for Extreme Climate Synthesis
简介
主页
物理模拟可以很好地预测天气影响。神经辐射场产生SOTA场景模型。
ClimateNeRF 允许我们渲染真实的天气效果,包括雾霾、雪和洪水 ,结果可以通过有物理意义的变量来控制,比如水位 ,这允许人们可视化气候变化的结果将对他们产生什么影响
实现流程
首先,使用instant-NGP重建3D场景。重建的亮度场能够高效地合成高质量的新颖的场景视图图像。其次,有选择地微调学习的instant-ngp模型,以便它捕获所提供的样式图像的样式。这种3D一致的风格化对于难以通过物理模拟捕获的天气效应建模特别有用。第三,通过将相关的物理实体(雪、水、雾霾)集成到场景中并渲染物理上合理的图像来模拟气候事件。
3D Scene Reconstruction
在Instant-ngp这种显式的特征编码和空间划分特别适合于ClimateNeRF,因为可以相对容易地编辑局部特征。
物理模拟需要访问任意点的表面法线来计算与雪和水的交互,并且需要访问点的语义(在语义分割的意义上)来转换样式 。因此扩展NGP,允许它输出语义逻辑 s 和表面法线n,训练数据中没有语义或表面法线ground truth,这里使用现成的预训练单目语义分割网络为每张图像生成语义map,使用密度梯度来引导具有加权MSE损失的预测表面法线 n
为了模拟暴风雪,必须在场景中添加雪,并将树木变暗,但不应该改变房屋的形状,为了在程式化阶段保持空间特征的完整性,对instant-NGP的潜在特征进行了解纠缠,对于NGP模型中的每个体素,将潜在特征分为几何特征 和外观特征。
几何特征被训练来渲染密度。外观特征用于渲染颜色、语义和法线。
将在程式化阶段冻结几何特征向量,只改变外观特征向量
在给定查询点和光线方向的情况下,给出密度σ、颜色c、语义对数后验s和表面法线n
Stylization
使用FastPhotoStyle从预训练的模型转移样式到渲染图像,只转移到“地形”、“植被”或“天空”区域,以模拟自然天气变化现象,只是这样的话,产生的图像看起来很逼真,但不一定与视图一致。
对学生网络 instant-NGP模型进行微调,以确保风格转换后场景的视图一致性,尽量减少学生网络渲染结果和风格转移图像之间的色差,保持几何形状完整,只改变外观来实现这一目标,所以在样式转换阶段,只有外观特征代码。被优化
Representing and Rendering Climate Effects
生成具有新的物理实体的场景,雪,水,雾霾,必须确定它们的位置(物理模拟的工作)以及生成的图像是什么样子的(渲染的工作)
渲染总是涉及到对光线查询的计算响应,因此计算u在v方向上的辐射度。必须用密度表示模拟结果,并且必须能够计算法线和表面反射率属性
物理模拟得出的密度
预测法线
预测BRD
每个都取决于现有的场景。选择可以模拟各种效果,包括雾霾的大气效应,水面的折射和反射,以及积雪的散射。
{}在不同的物理模拟中有很大差异
一旦物理实体被函数 定义,就可以通过模拟物理实体与场景之间的光传输来真实地将它们渲染到图像中
给定查询点位置x,仿真框架通过基于物理的渲染来估计x位置物理实体的密度和颜色
上式基于物理的绘制方程
通过跟踪与学习的NeRF中入射方向相反的射线 来近似入射照明
根据物理实体的表面BRDF,对积分使用分析或基于采样的解决方案。注意,可以通过采样来模拟多次反弹
遵循在两个通道中定义的体积渲染过程。对于沿着摄像机射线的每个点,查询公式4中定义的物理实体的不透明度和颜色。同时,系统还通过公式2得到原始密度和颜色
Climate Effect Details
Smog Simulation
假设烟雾是由均匀分布在真空中的微小吸收粒子形成的, 空白空间中,NeRF密度,可以通过简单地在密度上添加一个非负常数来模拟自由空间中的烟雾密度,在NeRF的高密度区域内,加上常数不会显著改变积分
是决定雾霾密度的可控参数 ,雾霾颗粒有恒定的颜色 ,颗粒颜色和密度都是可控参数
Flood Simulation
洪水场景的水面近似为一个水平面:,其中重力方向法线 通过相机姿态和消失点检测估计,平面原点决定了水的高度
基于快速傅里叶变换(FFT)的波纹和波,FFT波以随机谱系数为输入,输出一个基于风速、方向和时空频率的时空面法线,与静水相比,基于fft的水面模拟显著提高了水面的真实感,模拟不透明度和微面波纹,使水看起来有光泽,近似公式 4中的积分,采用sigma-point方法,从x处采样5条射线,包括反射方向和附近的4条射线
Snow Simulation
雪更有可能堆积在朝上的表面上,由于重力作用,雪的深处密度更大,使用以表面为中心的metaballs并以密度为中心来模拟物体表面上的密度分布,metaballs内的密度分布可以用核函数 表示,随着距离球中心距离的增加,密度平滑地减小
对于空间中的任意点x,使用parzen窗口密度估计器在N个局部最近邻上计算x的雪的密度
是一个可控的曲面截断阈值,a是一个超参数 ,这个方程表明,如果一个点接近或大于阈值,它更有可能是表面边界,使用空间变化的漫射颜色(接近于纯白色乘以场景的平均照度)来近似BRDF,并应用地下散射效果来照亮雪的阴影部分,表面法线值仍然以基于梯度的方式计算
limitations
ClimateNeRF依赖于NeRF重建的质量。不准确的几何形状导致洪水和积雪模拟不理想。
在雪模拟中不正确的地面表面导致伪影的情况。
这也显示了未来通过物理模拟自动发现几何理解错误的机会。
Conclusion
提出了一种新的NeRF编辑框架,将物理模拟应用于场景的NeRF模型。利用这个框架,建立了ClimateNeRF,使能够渲染现实的气候变化影响,包括雾霾、洪水和雪。合成的视频是真实的,一致的,物理上合理的,高度可控的。展示了ClimateNeRF在帮助提高社区对气候变化的认识和增强对不利天气条件的自驱动健壮性方面的潜力。
79、ClimateNeRF: Physically-based Neural Rendering for Extreme Climate Synthesis相关推荐
- 《Real-Time Rendering》第四版学习笔记——Chapter 9 Physically Based Shading(一)
一.光的物理特性 光与物体的交互形成了基于物理着色的基础. 在物理层面上,光的模型为电磁横波.每个波都有一个单一的波长λ\lambdaλ.具有单一波长的光叫单色光(monochromatic ligh ...
- 《Real-Time Rendering》第四版学习笔记——Chapter 9 Physically Based Shading(二)
上接文章:<Real-Time Rendering>第四版学习笔记--Chapter 9 Physically Based Shading(一) 六.微观几何 每个可见的表面点都包含了很多 ...
- PBR (Physically Based Rendering)概念篇
一.PBR是什么? Physically Based Rendering:基于物理的渲染 PBR:是一套框架,通过PBR保证整体的色调以及画面的统一 什么是基于物理渲染? 对现实世界中的一种近似,而不 ...
- 《Real-Time Rendering》第四版学习笔记——Chapter 9 Physically Based Shading(三)
前文: <Real-Time Rendering>第四版学习笔记--Chapter 9 Physically Based Shading(一) <Real-Time Renderin ...
- AMD Cubemapgen for physically based rendering
JUNE 10, 2012 57 COMMENTS Version : 1.67 – Living blog – First version was 4 September 2011 AMD Cube ...
- Physically Based Rendering,PBRT(光线跟踪:基于物理的渲染) 笔记
提起PBRT(Physically Based Rendering: From Theory to Implementation)这本书, 在图形学业界可是鼎鼎大名, 该书获得2005年软件界J ...
- Learn OpenGL 笔记7.1 PBR Theory(physically based rendering基于物理的渲染 理论)
PBR,或更通常称为基于物理的渲染,是一组渲染技术,它们或多或少基于与物理世界更接近的相同基础理论.由于基于物理的渲染旨在以物理上合理的方式模拟光线,因此与我们的原始光照算法(如 Phong 和 Bl ...
- opengl-PBR基于物理的渲染(Physically Based Rendering):理论基础
PBR文档链接 PBR-learnOpengl官方文档 理论基础 PBR概念 PBR基于物理的渲染(Physically Based Rendering),它指的是一些在不同程度上都基于与现实世界的物 ...
- Physically Based Rendering——史上最容易理解的BRDF中D函数NDF的中文资料
粗糙度决定了D函数的分布,一般粗糙度是D函数的方差 本文假定读者已经对PBR即Physcially Based Rendering 基于物理的渲染有了初步的了解,对于PBR的入门有很多文章都介绍的不错 ...
最新文章
- 关于阅读java编程思想和effective java的一些看法
- hdu 1671 Phone List 字典树模板
- 矩阵方程求解最快c语言算法,求助! C语言用矩阵求解方程组
- 数据--第47课 - 查找的概念
- 段落分页与换行、让段落不在二页上
- matlab符号运算与数值运算的转化
- AWVS11安装、操作
- 设计模式 -- 访问者模式(Visitor)
- 奇迹控制器证实配置登录器详解
- AI可能真的要代替插画师了……
- IOS ANE的坑爹之路二
- 基于android平台多媒体播放器的设计与实现,基于Android的多媒体音乐播放器设计论文...
- 产品经理招聘分析及常见面试问题
- Java实现 LeetCode 456 132模式
- 纽卡斯尔计算机学院地址,2020年纽卡斯尔大学科学与信息技术学院具体地址及在哪个校区?...
- 伺服电机移动距离的计算
- Linux命令之 --- tail命令
- 互联网日报 | 华为发布首款商用台式机;京东健康正式登陆港交所;苹果推出首款头戴式耳机...
- 基于php+mysql的村干部绩效考核系统
- AD如何圆形布局led