一.渲染

围绕着真实感，速度两个词。

二.知识储备

1.学习计算机图形学基础知识
2.实现一个光线追踪，光栅化器
3.最好有pbrt/ue4的经验

三. 一些重要概念

1.实时渲染管线：对于实时渲染的过程已经很成熟了，而现在大热的机器学习应用在渲染过程中效果反而不会比传统算法好，更多的是对数据输入前进行处理（预处理，几何方向），或者对输出进行处理（后处理，图像方向）例如DLSS。
2.离线渲染管线：有Whitted风格光线追踪还有路径追踪管线。
3.纹理映射：定义着点属性。
4.BRDF:双向反射函数
5.采样理论：PDFs。
6.概率密度，期望。
7.蒙特卡洛积分。
8.直接光照，间接光照和全局光照。
9.材质。

四.基础的研究

外观材质的建模：不同材质和光线的作用
模拟：怎么样高效地找到光源连接相机的光路
性质的描述：比如使用球面谐波函数更好地描述环境光
近似：比如BSSDF对次表面材质的近似

五.代表性的研究

1.离线渲染部分
光线传播：VCM（结合双向路劲追踪和光子映射）等 —— 《Light Transport Simulation with Vertex Connection and Merging》
材质建模：研究光线和材质如何作用，例如头发如何与光线作用 —— 《An Efficient andPractical Near and Far Field Fur Reflectance Model》（sig）
采样理论：例如蓝噪声函数生成的随机数序列来采样
降噪方法：
使用很少的数据生成一张有噪声的图，再利用深度学习对渲染结果进行降噪处理——《Path Guiding in Production》 (sig 2019)
输出一个像素上应该怎么样去滤波的噪声的图 —— 《Kernel-Predicting Convolutional Networks for Denoising Monte Carlo Renderings》（sig 2017）
2.实时渲染部分
PRT (预计算光线传输): 比如说预先把光照条件改变后场景上的光线会发生变化，有一种将PRT和可微分光线渲染结合起来，最后可以得到了一个对于光源位置的微分，那么就可以快速得到光源改变后的结果了—— 《Analytic Spherical Harmonic Gradients for Real-Time Rendering with Many Polygonal Area Lights》(sig 2020)
RTX（实时光线追踪）:一个像素可以有三根光线作用但是支持一条光路，最后会产生很多噪声。那么就有几个方向可以做，如何在光线传输怎么降低这个不良影响，例如通过计算多个直接光源得到直接光照的结果 —— 《Spatiotemporal reservoir resampling for real-time ray tracing with dynamic direct lighting》(sig 2020)
还有就是怎么快速地恢复一个噪声的结果 —— 非深度学习方法《Spatiotemporal Variance-Guided Filtering:Real-Time Reconstruction for Path-Traced Global Illumination》和深度学习方法《Interactive Reconstruction of Monte Carlo Image Sequences using a Recurrent Denoising Autoencoder》
3.跨领域的方向
可微分渲染：通过某些方法，将渲染出来的结果，比如一个像素的值，可以对任何场景中的参数求微分（怎么解决不连续的情况）—— 《Differentiable Monte Carlo Ray Tracing through Edge Sampling》
测量和重构：例如对于一个场景我们可以拍五张不同光照下的图片，然后我们可以在任意光照下都可以渲染它—— 《Deep Image-Based Relighting from Optimal Sparse Samples》(sig 2018)
神经渲染：其实是一张图得到一张图，更像是属于图像处理领域。

六.工具

1.渲染器。如 Mitsuba 0.5.0/0.6.0 ,PBRT。
2.光线传输。在CPU上Embree，在GPU上OptiX,DirectX。其实如果不是实时，在CPU上就好。
3.实时渲染器。Falcor自带一个RT的降噪工具（SVGF算法）。
5.实时光栅化。OpenGL/DirectX/Vulkan。
6.有时间的话，UE4了解一下。
7.场景：开源的好的场景很稀缺，所以我们可以自己做一个场景 Blender/3DS MAX /Maya 或者买一个场景模型 Turbosquid 网站上面。
8.开源算法：不允许分享代码。。。或者别人的代码只是在自己的渲染器中的一个文件，分享出来也没有用。只有很经典的算法可以在不同的渲染器中找到。。最新的算法只有找作者要。。。
9.渲染结果的图一般会存储为.exr格式，我们可以用Tev这个软件来看这个图片。
10.如果要在渲染过程中加入神经网络那一套，推荐使用 TensorRT库（GPU）。
11.渲染paper网站： Ke-Sen Huang’s Home Page http://kesen.realtimerendering.com/
12.渲染会议：SIGGRAPH,SIGGRAPH Asia,Eurographics(EG),Eurographics Symposium on Rendering(EGSR)
Pacific Graphics(PG)
High Performance Graphics(HPG),Symposium on Interactive 3D Graphics and Games(I3D)
13.渲染期刊：ACM Transaction on Graphics(ToG) ,Computer Graphics Forum(CGF),IEEE Transaction on Visualization and Computer Graphics(TVCG,only in China)

七.训练

1.离线渲染方向
首先，用Intel的Embree写一个path trace。
然后，把MIS加进去，使其可以采样光源，又可以采样BRDF。
再加入一些材质。
最后尝试写一个正确的BDPT。

2.实时渲染方向
1.用OpenGL写一个C++ wrapper。
2.实现arcball并增加软阴影。
3.结合OptiX和OpenGL。
4.用OpenGL实现一个PTRT。
5.实现一个SVGFpaper进行降噪。

八.挑战

1.客观困难：周期长，审核难，甚至工业界领先于学术界。
2.主观困难：DL不是很好被用上，因为实时要求太高，学习困难，突破困难。

九.一些有意思的思路

1.“缝合怪”：结合多种方法A+B,比如VCM算法 —— 《Image Space Control Variates》
2.“大自然的搬运工”：把其他领域的知识用到这个上面，比如作者在概率论或者统计学上的一些理论搬过来用 —— 《SURE-based Optimization for Adaptive Sampling and Reconstruction》,球面谐波函数等。
3.“挖坟”：一些之前的研究由于一些客观原因断掉了，后来由于硬件，算法的进步现在又可以了 —— RIS算法《Spatiotemporal reservoir resampling for real-time ray tracing with dynamic direct lighting》(sig 2020)
4.“深度学习” ：例如Neural Importance Sampling
5.“加前缀”：在前人的基础上改进或创新

十.什么是最好的

新的话题

十一.渲染的未来

1.实时和离线有融合的趋势。
2.基于外观和材质的渲染研究才刚刚起步。
3.对于各种材质描述：例如有向距离场来描述物体而不是三角形。
4.近似：例如运用神经网络来得到一个云中光线弹射的模拟。
5.简化：对头发和复杂场景的渲染
6.程序化：程序化生成一个物体比如树以及它的生长。

渲染科研入门到入土（Chinagraph2020闫令琪老师分享）相关推荐

GAMES101-现代计算机图形学入门-闫令琪——Lecture 05 Rasterization 1 (Triangles)
GAMES101-现代计算机图形学入门-闫令琪--Lecture 05 Rasterization 1 (Triangles) 目录 GAMES101-现代计算机图形学入门-闫令琪--Lecture ...
对谈 | “计算机学神”闫令琪：我不希望别人说Rendering已经没东西可解了
我还要继续学习图形学吗? 是继续在学术界钻研,还是进入工业界? 元宇宙的到来,就是图形学的春天了吗? 以上,是我们常在后台收到的问题.于是,2022年8月,GAMES104课程组邀请了王希.闫令琪.胡 ...
GAMES101-现代计算机图形学入门-闫令琪 - lecture15 光线追踪3 - 辐射度量学、渲染方程(Ray Tracing 3) - 课后笔记
光线追踪3 - 辐射度量学.渲染方程和全局光照内容: 辐射度量学光线传输(Light transport) 反射方程(The reflection equation) 渲染方程(The rende ...
闫令琪：Games101 现代计算机图形学-光线追踪(三)：渲染方程和路径追踪path ray tracing 作业Assignment07解析
文章目录 0 whitted光线追踪的局限 1 辐射度量学 1.1 光线的表示 Radiance 1.2 物体表面上一个点的亮度 Irradiance 1.3 BRDF(Bidirectional R ...
GAMES101-现代计算机图形学入门-闫令琪 - lecture13 光线追踪1(Ray Tracing 1 - Whitted-Style Ray Tracing) - 课后笔记
光线追踪1 (Ray Tracing 1 - Whitted-Style Ray Tracing) 课程一共分为四个大的板块,目前已经学习了光栅化和几何,可以实现图1和2的效果,下面要来学习第三个大的 ...
闫令琪图形学入门笔记（矩阵变换篇）
整个坐标变化过程贯穿管线渲染,它与光栅化.着色一同构成GPU完整的渲染过程.所以理解三维世界的坐标与矩阵变换是首要的学习内容 1.1 向量的点乘与叉乘点乘向量的点乘可以求得一个数,利用点乘可以进一 ...
现代计算机图形学入门-闫令琪 17课基本材质
日出效果:尘埃分解光线画面.水柱之间有透明渐变和表面起伏反射.洞穴中间的聚光线发生的反射.飘起的头发发生的反射.布料材质反射的光线不同.蝴蝶的鳞片起伏反射.光晕的效果是中间灰两边亮.鱼片的表面的次反射 ...
GAMES101-现代计算机图形学入门-闫令琪 - lecture9 着色3(Shading 3) - 课后笔记
着色3(Shading 3) 重心坐标纹理查询纹理应用插值 - 重心坐标 (Barycentric Coordinates) 为什么要插值? 能够获得三角形三个固定顶点的属性,但是不知道三角形内 ...
GAMES101-现代计算机图形学入门-闫令琪 - lecture14 光线追踪2 - 加速结构(Ray Tracing 2 - Acceleration) - 课后笔记
光线追踪2 - 加速结构(Ray Tracing 2 - Acceleration) 对AABB结构优化来加速光线追踪的速度均匀网格(Uniform grids) 空间划分(Spatial part ...
GAMES101-现代计算机图形学入门-闫令琪——Lecture 19 Cameras and Lenses 学习笔记
Lecture 19 Cameras and Lenses 一.Camera 1.Pinhole Image Formation 最早的相机是从小孔成像开始的. 2.Important Parts ( ...

渲染科研入门到入土（Chinagraph2020闫令琪老师分享）