剖析Unreal Engine超真实人类的渲染技术Part 2 - 眼球渲染
目录
- 三、眼球渲染
- 3.1 眼球的构造及理论
- 3.1.1 眼球的构造
- 3.1.2 眼球的渲染理论
- 3.2 眼球的渲染技术
- 3.2.1 角膜的半透和光泽反射
- 3.2.2 瞳孔的次表面散射
- 3.2.3 瞳孔的缩放
- 3.2.4 虹膜的颜色
- 3.2.5 其它眼球细节
- 3.3 眼球的底层实现
- 3.4 眼球的材质
- 3.4.1 眼球主材质
- 3.4.2 眼球附属物材质
- 3.5 眼球渲染总结
- 3.1 眼球的构造及理论
- 特别说明
- 参考文献
三、眼球渲染
都说眼睛是人类心灵的窗户,若是眼睛渲染得逼真,将给虚拟角色点睛之笔,给予其栩栩如生的灵魂。
Mike那深邃的眼眸,唏嘘的胡渣子,神乎其神的眼神。。。应该征服了不少迷妹
再来一张超近距离的特写:
超近距离的眼睛特写,细节刻画得无与伦比,足以以假乱真。
然而,要渲染出如此逼真有神的眼睛,可不是那么简单,需要经过多道工序,运用许多渲染技法,刻画很多细节。
3.1 眼球的构造及理论
3.1.1 眼球的构造
生物学的眼球解剖图非常复杂,涉及的部位数十种。(下图)
人类眼球的生物学剖面图,涉及部位多达数十种。
在图形渲染领域,当然不可能关注这么多细节,可以将眼球构造做简化,只关注其中的几个部位:
上图所示的序号代表的部位:
- 1 - 巩膜(sclera):也称为“眼白”,通常非常湿润,包含少量的触感纹理、血丝等细节。
- 2 - 角膜缘(limbus):角膜缘存在于虹膜和巩膜之间的深色环形。有些眼睛中的角膜缘更为明显,从侧面看时往往会消退。
- 3 - 虹膜(iris):虹膜是围绕在眼睛中心周围的一圈色环。如果某个人有“绿”眼睛,就是因为虹膜主要是绿色的。在真实的眼睛中,虹膜是类似肌肉的纤维结构,有扩张和收缩功能,以让更多光线进入瞳孔或者不让光线进入瞳孔。还需要注意的是,在真实世界中,虹膜实际上更像是圆盘或锥形,不会向眼部其余部分突出。
- 4 - 瞳孔(pupil):瞳孔是眼睛中心的黑点。这是一个孔,光线穿过这个孔后才会被视网膜的视杆和视锥捕捉到。
- 5 - 角膜(cornea):角膜是位于虹膜表面上的一层透明的、充满液体的圆顶结构。
3.1.2 眼球的渲染理论
由于眼球充满了液体,因此会折射照射进来的任何光线。在真实世界中从多个角度观察眼球时就会看到这种效果。虹膜和瞳孔会因为折射而变形,因为它们是透过角膜观看的。
游戏和电影中用来解决这个问题的传统方法是创建两层独立的眼睛表面,一层提供巩膜、虹膜和瞳孔,另一层位于顶部,提供角膜和眼睛的总体湿润度。这样底层表面透过湿润层观看时就会产生折射。
《A Boy and His Kite》中的男孩眼睛中采用的就是两层表面的渲染模型
根据上面的分析,以及简化后的眼球解剖结构,就可以得出结论,要渲染好眼睛,需要着重实现的效果包括:
- 角膜的半透和光泽反射效果。
- 瞳孔的次表面散射。
- 瞳孔的缩放。最好根据整个场景的光照强度动态调整缩放大小。
- 虹膜的颜色变化。
- 其它眼球细节。
下节将详细探讨。
3.2 眼球的渲染技术
本节主要参考来源:
- 角色渲染技术——毛发及其他。
- Next-Generation-Character-Rendering。
3.2.1 角膜的半透和光泽反射
角膜的半透射和反射效果最能体现眼球渲染的效果。
简单的做法就是直接把角膜看做一个半透明光泽球体的反射,正常的做法是用PBR流程计算其镜面反射和IBL反射,然后给眼球一张虹膜和眼白的贴图,这张贴图作为角膜下面的折射效果,最后给角膜设定一个混合系数,把光泽球体反射效果和虹膜及眼白贴图上的颜色进行混合。
角膜的镜面反射和环境反射丰富了眼球的细节,增加了真实可信度
3.2.2 瞳孔的次表面散射
瞳孔本身实际上也是一个高低不平有纵深感的结构,它与角膜存在一定距离。这使得瞳孔会发生折射,并且,当光线到达瞳孔表面的时候,还会进一步在瞳孔结构内部发生次表面散射。
把眼球看成了一个双层结构,外面一层是角膜,里面一层是瞳孔的表面,而角膜和瞳孔之间我们可以认为是充斥了某种透明液体。
光线在进入瞳孔组织的内部前,首先会在角膜的表面发生一次折射,然后进入瞳孔组织的内部,产生散射,最后从瞳孔表面的另一个点散射出来。这里就涉及到了两个问题:
(1)一束射到角膜表面的光线在经过折射后,如何计算最终入射到瞳孔表面的位置;
(2)光线进入角膜内部后,如何计算其散射效果。
为了解决以上两个问题,可使用次表面纹理映射(Subsurface texture mapping),这个方法旨在解决多层厚度不均匀的材质的次表面散射效果的计算。
如上图,每一层材质都有一个单独的深度图,保存在一个通道里,然后每一层单独的材质被认为是均匀的,拥有相同的散射、吸收系数以及相应的相位函数(散射相关的参数)。然后,以视线和第一层材质的交点为起点,沿着视线方向对多层材质进行ray-marching,每行进一步就根据位置和深度图计算当前点位于材质的哪一层,对应什么散射参数,再根据上一步的位置以及光照方向计算散射和吸收,直到ray-marching结束。具体到眼球的散射计算,实际上只有一层散射材质,即瞳孔材质。因此我们只需要提供瞳孔表面的深度图,并设定好瞳孔材质的相关散射参数,再结合次表面纹理映射的方法计算即可。
这部分主要涉及的渲染技术:
视差贴图(parallax mapping,也叫relief mapping)。可以通过ray marching的方法结合一张深度图在相对平坦的几何表面上实现视觉正确的高低起伏效果,法线效果虽然也能在平面上产生凹凸起伏,但在比较斜的视角下平面还是平面,视差贴图则不会这样。
左:normal mapping效果;右:parallax mapping效果。可见在倾斜视角下,后者效果要好很多。
基于物理的折射(Physically based Refraction)。与视差贴图的欺骗式计算不同,基于物理的折射是根据真实的折射模型进行模拟,效果更真实。
float cosAlpha = dot(frontNormalW, -refractedW); float dist = height / cosAlpha; float3 offsetW = dist * refractedW; float2 offsetL = mul(offsetW, (float3x2) worldInverse); texcoord += float2(mask, -mask) * offsetL;
左:视差贴图效果;右:基于物理的折射效果。
当光线从侧面射进眼球时,经过折射和透射后,会在另一侧发生较强烈的透射光环:
这种跟光线角度相关的折射,可以通过预计算的方式解决:
参合多介质渲染(participating media rendering)。它在近年来广泛地被应用在体积光、云彩和天空相关的渲染技术中。更多内容请参看:Rendering participating media。
利用participating media rendering技术渲染的体积雾。
3.2.3 瞳孔的缩放
瞳孔的放大和缩小实现非常简单,通过控制采样瞳孔贴图的UV即可。
UE4的眼球模型的UV布局
Mike的眼球材质提供了缩放参数,以便调节瞳孔大小。
3.2.4 虹膜的颜色
虹膜的颜色可以首先给定一个虹膜纹理的灰度图,然后用给定虹膜颜色乘以灰度颜色,即可得到最终虹膜的颜色,这样可以通过一套资源来实现不同颜色的眼球的渲染。
Mike的眼球材质提供了更改瞳孔、虹膜等颜色的参数。
3.2.5 其它眼球细节
眼球的细节刻画可以增加其真实度,使画面更上一个台阶。
不平坦反射。真实的眼白不是完全镜面平坦的,有一定程度的凹凸不平,可以通过类Sine函数扰动其法线贴图达到模拟效果。
湿润度。大多数人的眼睛都带有不同程度的泪水,具有不同的湿润度。可通过建立一层透明网格来模拟此效果。
不同湿润度的网格模型
模拟出来的效果如下:
眼球的湿润度从左到右:低、中、高。
此外,可以模糊湿润网格,以便更好地将眼睛边缘做融合:
眼睛自反射。由于眼球具体较强的反射,而已睫毛、眼皮会反射在上面,如果这部分被忽略,将会有点怪。
左:没有自反射;右:有睫毛、眼皮等的自反射。
然而要实时地计算自反射会消耗较多的性能,可预先烘焙环境遮蔽图,渲染时直接采样:
瞳孔、虹膜、巩膜等部位之间的过渡。由于它们分属不同的材质,有着各自的属性,如果它们的交界处不进行插值过渡,将会出现恐怖的效果(下图右)。
左:采用了过渡;右:未采用过渡。
过渡曲线可采用类似Sine函数的变种:
血色和血丝。血丝可在眼白的纹理添加血管纹理细节,而血色可在计算时乘以由一张遮罩纹理控制的红色来模拟。
带血丝细节的眼球纹理。
接触阴影(Contact Shadow)。半透明材质可以启用接触阴影。此功能使用类似于光源接触阴影的功能,但不会链接到光源接触阴影参数。这是屏幕空间效果,可以作为几何体的补充,也可以取代几何体,让眼睛看起来牢牢地长在眼眶中,提高可信度。
左:未开启接触阴影;右:开启接触阴影,开启后,反射光变弱了。
3.3 眼球的底层实现
本节将深入源码层剖析UE的眼睛渲染细节。需要注意的是,要将眼睛材质的Shading Model
选择为Eye
(下图),并且眼睛着色模式启用了次表面散射,即眼睛着色模式是一种特殊化的次表面剖面(Subsurface Profile)着色模式。
在shader层,Eye的渲染模型跟普通的PBR流程和逻辑区别甚微,跟它相关的代码文件:
- G:\UnrealEngine\Engine\Shaders\Private\DeferredLightingCommon.ush。
- G:\UnrealEngine\Engine\Shaders\Private\BasePassPixelShader.usf。
- G:\UnrealEngine\Engine\Shaders\Private\ShadowProjectionPixelShader.usf。
- G:\UnrealEngine\Engine\Shaders\Private\ShadingModelsMaterial.ush。
首先分析ShadingModelsMaterial.ush
在眼睛着色模式下GBuffer数据初始化相关的代码:
void SetGBufferForShadingModel(in out FGBufferData GBuffer, in const FMaterialPixelParameters MaterialParameters,const float Opacity,const half3 BaseColor,const half Metallic,const half Specular,const float Roughness,const float3 SubsurfaceColor,const float SubsurfaceProfile,const float dither)
{// ... (省略部分代码)#elif MATERIAL_SHADINGMODEL_EYEGBuffer.ShadingModelID = SHADINGMODELID_EYE;GBuffer.CustomData.x = EncodeSubsurfaceProfile(SubsurfaceProfile).x;GBuffer.CustomData.w = 1.0f - saturate(GetMaterialCustomData0(MaterialParameters)); // Opacity = 1.0 - Iris MaskGBuffer.Metallic = saturate(GetMaterialCustomData1(MaterialParameters)); // Iris Distance// 如果定义了虹膜法线,进入了一段较复杂的数据处理。可见开启虹膜法线需要消耗较多性能。
#if IRIS_NORMALfloat IrisMask = saturate( GetMaterialCustomData0(MaterialParameters) );float IrisDistance = saturate( GetMaterialCustomData1(MaterialParameters) );GBuffer.CustomData.x = EncodeSubsurfaceProfile(SubsurfaceProfile).x;GBuffer.CustomData.w = 1.0 - IrisMask; // Opacityfloat2 WorldNormalOct = UnitVectorToOctahedron( GBuffer.WorldNormal );// CausticNormal stored as octahedron#if NUM_MATERIAL_OUTPUTS_GETTANGENTOUTPUT > 0// 通过法线的变换,创建一些凹陷度。// Blend in the negative intersection normal to create some concavity// Not great as it ties the concavity to the convexity of the cornea surface// No good justification for that. On the other hand, if we're just looking to// introduce some concavity, this does the job.float3 PlaneNormal = normalize( GetTangentOutput0(MaterialParameters) );float3 CausticNormal = normalize( lerp( PlaneNormal, -GBuffer.WorldNormal, IrisMask*IrisDistance ) );float2 CausticNormalOct = UnitVectorToOctahedron( CausticNormal );float2 CausticNormalDelta = ( CausticNormalOct - WorldNormalOct ) * 0.5 + (128.0/255.0);GBuffer.Metallic = CausticNormalDelta.x;GBuffer.Specular = CausticNormalDelta.y;#elsefloat3 PlaneNormal = GBuffer.WorldNormal;GBuffer.Metallic = 128.0/255.0;GBuffer.Specular = 128.0/255.0;#endif// IrisNormal CustomData.yz#if NUM_MATERIAL_OUTPUTS_CLEARCOATBOTTOMNORMAL > 0float3 IrisNormal = normalize( ClearCoatBottomNormal0(MaterialParameters) );#if MATERIAL_TANGENTSPACENORMALIrisNormal = normalize( TransformTangentVectorToWorld( MaterialParameters.TangentToWorld, IrisNormal ) );#endif#elsefloat3 IrisNormal = PlaneNormal;#endiffloat2 IrisNormalOct = UnitVectorToOctahedron( IrisNormal );float2 IrisNormalDelta = ( IrisNormalOct - WorldNormalOct ) * 0.5 + (128.0/255.0);GBuffer.CustomData.yz = IrisNormalDelta;
#elseGBuffer.Metallic = saturate(GetMaterialCustomData1(MaterialParameters)); // Iris Distance#if NUM_MATERIAL_OUTPUTS_GETTANGENTOUTPUT > 0float3 Tangent = GetTangentOutput0(MaterialParameters);GBuffer.CustomData.yz = UnitVectorToOctahedron( normalize(Tangent) ) * 0.5 + 0.5;#endif
#endif// ... (省略部分代码)}
接着分析接触阴影相关的代码,在DeferredLightingCommon.ush
内:
void GetShadowTerms(FGBufferData GBuffer, FDeferredLightData LightData, float3 WorldPosition, float3 L, float4 LightAttenuation, float Dither, inout FShadowTerms Shadow)
{// 默认接触阴影强度是0。float ContactShadowLength = 0.0f;// 接触阴影长度屏幕空间缩放const float ContactShadowLengthScreenScale = View.ClipToView[1][1] * GBuffer.Depth;BRANCHif (LightData.ShadowedBits){// ... (省略部分代码)// 根据缩放因子计算接触阴影长度。FLATTENif (LightData.ShadowedBits > 1 && LightData.ContactShadowLength > 0){ContactShadowLength = LightData.ContactShadowLength * (LightData.ContactShadowLengthInWS ? 1.0f : ContactShadowLengthScreenScale);}}#if SUPPORT_CONTACT_SHADOWS// 如果是头发或者眼睛着色模式,接触阴影长度强制缩放到0.2倍(这个值应该是测量过的值)。if ((LightData.ShadowedBits < 2 && (GBuffer.ShadingModelID == SHADINGMODELID_HAIR))|| GBuffer.ShadingModelID == SHADINGMODELID_EYE){ContactShadowLength = 0.2 * ContactShadowLengthScreenScale;}#if MATERIAL_CONTACT_SHADOWSContactShadowLength = 0.2 * ContactShadowLengthScreenScale;#endifBRANCHif (ContactShadowLength > 0.0){float StepOffset = Dither - 0.5;// 计算接触阴影float ContactShadow = ShadowRayCast( WorldPosition + View.PreViewTranslation, L, ContactShadowLength, 8, StepOffset );Shadow.SurfaceShadow *= ContactShadow;// 计算透射阴影FLATTENif( GBuffer.ShadingModelID == SHADINGMODELID_HAIR )Shadow.TransmissionShadow *= ContactShadow;// 如果是眼睛渲染模式,则不加深阴影强度,否正加深。else if( GBuffer.ShadingModelID != SHADINGMODELID_EYE )Shadow.TransmissionShadow *= ContactShadow * 0.5 + 0.5;}
#endif
}
还有小部分逻辑在ShadowProjectionPixelShader.ush
,关于阴影计算的:
void Main(in float4 SVPos : SV_POSITION,out float4 OutColor : SV_Target0)
{// ... (省略部分代码)if (IsSubsurfaceModel(GBufferData.ShadingModelID)){float Opacity = GBufferData.CustomData.a;// Derive density from a heuristic using opacity, tweaked for useful falloff ranges and to give a linear depth falloff with opacityfloat Density = -.05f * log(1 - min(Opacity, .999f));// 如果是头发或眼睛渲染模式,不透明度和密度强制设为1。if( GBufferData.ShadingModelID == SHADINGMODELID_HAIR || GBufferData.ShadingModelID == SHADINGMODELID_EYE ){Opacity = 1;Density = 1;}// ... (省略部分代码)
}
从上面分析可知,眼睛着色模式与次表面剖面着色模式基本一致,只是在GBuffer数据初始化、阴影计算上有所差别。
3.4 眼球的材质
本节将分析Mike的眼球主材质和附属物材质。
3.4.1 眼球主材质
眼球主材质是M_EyeRefractive
,下图是眼球主材质的总览图,节点排布有点乱(UE材质编辑器并没有提供自动排布功能)。下面将分小节重点分析眼球材质的重要或主要算法过程,其它的小细节将被忽略。
3.4.1.1 眼球的折射
如上图所示,眼球的折射主要通过材质函数ML_EyeRefraction
实现,下面将对它的输入参数和输出参数进行分析。
材质函数ML_EyeRefraction
的输入参数:
InternalIoR
:眼球内部折射,用于模拟光线进入虹膜后的折射率,数值通常在\([1.0,1.4]\)之间,越大折射效果越明显。直接由变量IoR
提供。ScaleByCenter
:眼球(包含眼白、瞳孔、虹膜等)的缩放大小。直接由变量ScaleByCenter
提供。LimbusUVWidth
:角膜缘的UV宽度,由LimbusUVWidthColor
和LimbusUVWidthShading
组成的2D向量提供。DepthScale
:虹膜的深度缩放。数值越大,折射效果越明显。由变量DepthScale
提供。DepthPlaneOffset
:深度平面偏移。决定瞳孔的大小和深度。由变量Iris UV Radius
和ScaleByCenter
共同算出UV,然后采样贴图T_EyeMidPlaneDisplacement
的R通道提供数据。MidPlaneDisplacement
:中平面偏移,决定角膜平面到瞳孔平面的深度偏移,瞳孔周边的偏移会较小。直接采样贴图T_EyeMidPlaneDisplacement
获得。T_EyeMidPlaneDisplacement
如下:EyeDirectionWorld
:眼球模型的世界空间的法线。由UseEyeBuldge
控制的两张法线贴图T_Eye_N
和T_Eye_Sphere_N
采样后,由切线空间变换到世界空间获得。其中T_Eye_N
是中间有凸出的眼球结构(下图左),而T_Eye_Sphere_N
则没有(下图右):IrisUVRadius
:虹膜UV半径,直接由变量Iris UV Radius
提供。
材质函数ML_EyeRefraction
的输出参数:
RefractedUV
:折射后的UV,经过材质函数内部计算后,输出的UV结果,后面可以用于采样漫反射、其它遮罩贴图。Transparency
:虹膜颜色透明度。IrisMask
:标识虹膜UV区域的遮罩。后续用于虹膜区域的相关着色处理。
上面只是分析了ML_EyeRefraction
的输入、输出参数,下面将进入其内部计算过程:
首先分析折射向量(Refraction Direction)的计算:
float airIoR = 1.00029;// 空气对眼球内部的折射率比。
float n = airIoR / internalIoR;
// 法线和摄像机向量的夹角相关的缩放因子
float facing = dot(normalW, cameraW);
// 视角缩放后的折射率比。
float w = n * facing;
// 根据n和w计算中间因子。
float k = sqrt(1+(w-n)*(w+n));// 根据n、w和k算出最终的折射向量。
float3 t;
t = (w - k)*normalW - n*cameraW;
t = normalize(t);
return -t;
再分析折射纹理偏移(Refracted UV Offset)的计算:
由上图可见,要算出右边红色方框标识的折射纹理偏移,需要用到众多输入参数,以及经过多次坐标运算和角度计算。虽然过程比较复杂,但原理跟3.2.2 瞳孔的次表面散射的基于物理的折射一致。
有了折射向量和折射纹理偏移,就可以通过数次基本运算调整,算出最终的输出参数RefractedUV
。
对于输出参数IrisMask
的计算,由以下shader代码完成:
// 计算Iris遮罩(R通道)和角膜缘过渡区域(G通道)
UV = UV - float2(0.5f, 0.5f);float2 m, r;
r = (length(UV) - (IrisUVRadius - LimbusUVWidth)) / LimbusUVWidth;
m = saturate(1 - r);
// 通过类sine函数变种,输出柔和的混合因子,使得角膜缘过渡自然、柔和。
m = smoothstep(0, 1, m);
return m;
3.4.1.2 瞳孔的缩放
由上图可以看出,如果开启了折射(Refraction On/Off
为true),则会使用上一小节计算的折射后的UV坐标,经过坐标换算和中心缩放,成为Custom
shader节点的输入参数,它的输入还有PupilScale
,用于决定瞳孔的大小。Custom
shader节点的代码如下:
// 主要是将UV坐标绕着纹理中心进行PupilScale缩放// float2 UV, float PupilScalefloat2 UVcentered = UV - float2(0.5f, 0.5f);
float UVlength = length(UVcentered);
// UV on circle at distance 0.5 from the center, in direction of original UV
float2 UVmax = normalize(UVcentered)*0.5f;float2 UVscaled = lerp(UVmax, float2(0.f, 0.f), saturate((1.f - UVlength*2.f)*PupilScale));
return UVscaled + float2(0.5f, 0.5f);
3.4.1.3 眼球颜色的混合
眼球的颜色主要有两种颜色提供:
- 眼白颜色(Sclera Color):由
T_EyeScleraBaseColor
采样获得,并且经过变量ScleraBrightness
缩放。其中采样的UV没有折射,只经过中心点缩放。 - 虹膜颜色(Iris Color):颜色采样
T_EyeIrisBaseColor
获得,并且纹理UV经过3.4.1.1 眼球的折射的折射计算,以及3.4.1.2 瞳孔的缩放的中心点缩放。采样得到的颜色经过IrisBRightness
和角膜缘(Limbus)相关的参数缩放。
以上两种颜色经过ML_EyeRefraction
输出的IrisMask
进行插值,添加虹膜颜色(CloudyIris
)后,最终输出到Base Color引脚。
3.4.1.4 眼球的法线
眼球法线的UV经过中心点缩放,接着去采用法线贴图T_Eye_Wet_N
,得出的法线经过材质函数FlattenNormal
和缩放因子调整法线强度,最终输出到法线引脚。
其中FlattenNormal
的强度由ML_EyeRefraction
输出的IrisMask
指示的虹膜区域在\([FlattenNormal, 1.0]\)进行插值。如果是虹膜区域,则不受法线影响,即完全光滑的。
3.4.1.5 虹膜的遮罩和深度
虹膜的遮罩直接由ML_EyeRefraction
输出的IrisMask
获得。
虹膜的深度由折射后的纹理UV计算出距离圆心(0.5,0.5)的长度,获得与Iris UV Radius
的比值,再经过Iris Concavity Scale
缩放和Power
调整后,得到最终结果。(下图)
3.4.1.6 清漆底部法线(ClearCoatBottomNormal)
如上图,Custom节点与3.4.1.2 瞳孔的缩放中的一样,计算了UV沿着中心点缩放,接着去采样瞳孔法线纹理iris08_leftEye_nml
,获得的结果经过IrisDispStrength
控制的因子缩放,最后通过节点BlendAngleCorrectedNormals
与眼球表面法线混合,输出结果到Output节点ClearCoatBottomNormal
。
3.4.1.7 眼球的其它部分
眼球的其它属性,如镜面度、粗糙度、切线等,都比较简单,直接看材质即可明白其计算过程,故这里不做分析。
3.4.2 眼球附属物材质
上小节分析了眼球的主材质,然而,眼睛的渲染还包含了很多附加物体,它们各自有着独立的材质属性(下图)。
3.4.2.1 泪腺液体
泪腺几何体是一个包围着眼皮周围的网格体(上图),提供了眼皮处的高光反射(下图),用于模拟光线照射到泪腺后的镜面反射。
左:无泪腺几何体;右:有泪腺几何体
它的材质如下图,采用了透明混合模式:
它的颜色、金属度默认都是1,可见用高反射率和高金属度来获得极强的镜面反射效果。
它的粗糙度计算较复杂,如下图:
纹理坐标经过变量DetailScale_1
缩放后,去采样细节纹理skin_h
,获得的结果再依次经过DetailAmount
缩放、固定常量0.1和Roughness
调整后,进入自定义shader节点CurveToRoughness
计算,最终得到结果。其中CurveToRoughness
的shader代码如下:
// Specular antialiasing using derivatives and normal variancefloat3 N = WorldNormal;
float3 dN = fwidth( N );
float Curvature = sqrt( 1 - dot( normalize( N + dN ), N ) );// TODO find an approximation that more directly uses Roughness
float Power = 2 / pow( Roughness, 4 ) - 2;
float Angle = 4.11893 / sqrt( Power ) + Curvature;
Power = 16.9656 / ( Angle * Angle );
Roughness = sqrt( sqrt( 2 / (Power + 2) ) );return Roughness;
上面涉及的粗糙度算法在Rock-Solid Shading: Image Stability Without Sacrificing Detail有详细描述。
它的法线计算比较简单,采样法线贴图skin_n
后经过变量DetailAmount
调整,就得到最终结果。
此外,它还增加了世界坐标偏移,由变量'DepthOffset'控制偏移量,经过材质函数CameraOffset
得到相机空间的偏移。
3.4.2.2 遮蔽模糊体
遮蔽模糊体跟泪腺液体类似,环绕于眼角周边,用于遮挡部分光照并模糊,使得周边混合更真实(下图)。
左:无遮蔽模糊体;右:有遮蔽模糊体
它的材质采用透明混合模式,并且光照模型是Unlit
。它的总览图如下:
可分下面几个部分进行分析:
不透明度(Opacity):
这部分主要是生成需要遮蔽和模糊的区域掩码。过程大致是通过采样初始掩码图,加上纹理线性过渡、反向、加上Power运算调整,以及若干变量控制的因子进行基本运算,获得眼部周边掩码(下图)。
模糊(Blur):
在当前UV周边采样16个
Scene Color
求得平均值。此处的Scene Color
一定是已经渲染眼球后的颜色,因为眼球是非透明物体,可保证在透明的遮蔽模糊体之前先绘制。颜色(Color):
原始颜色的输出很简单,利用上面计算的遮罩,在白色和
Blur Color
之间插值,然后与上面模糊后的场景颜色相乘。阴影(Shadow):
如上图,通过UV的上下左右线性渐变及调整后获得4个不同的值,进行相乘,获得周边黑色,最后通过变量在1.0之间插值,获得顶部为深色的阴影图。
综合计算:
在此阶段,利用上面的几个计算结果,颜色和阴影相乘,并预乘了Alpha,获得最终颜色和不透明度。
此外,还有位置偏移的计算,这里将忽略。
3.4.2.3 眼角混合体
眼角混合体为眼角增加血色及血丝细节,并调整亮度,使得眼白过渡更自然(下图)。
左:无眼角混合体;右:有眼角混合体
它的材质启用了次表面散射,并且混合模式是裁剪(Masked),材质总览图如下:
下面将其拆分成若干部分进行分析:
渐变掩码:
利用UV的横坐标获得线性过渡,用
Power
调整强度,然后用SmoothStep
获得平滑过渡的掩码图。颜色:
通过几个变量将UV坐标进行拉伸,去采样眼睛贴图
eye_sclera_right_clr
,获得拉伸后的颜色,经过眼白亮度调整和由上节计算出的掩码决定的眼白到血色的调整,获得最终颜色。其中眼角偏红,呈现出更多血色,而靠近瞳孔的区域受影响程度较低。法线:
法线的获得,主要由上面计算出的掩码,在向量[0, 0, 1]和[-1, 0, 0]插值获得。
3.4.2.4 睫毛和眉毛
由于睫毛和眉毛的材质属于Hair
着色模式,虽然是眼睛的组成部分,但其实是毛发渲染的范畴,后续章节将会详细阐述。
3.5 眼球渲染总结
由上面可知,虽然眼睛的渲染技术不如皮肤渲染来得更高深、更系统,但由于其涉及的部位和细节多,环环相扣,各个材质之间相辅相成,形成了一套完整而逼真的眼睛渲染体系。
本章结尾,引用官方文档的建议:
在开发数字人类角色时,我们在模型中使用了一些不同方法和材质提升了角色眼部的逼真度。如上所述,许多眼部设置与材质设置和采集的参考资料之间存在着相互依赖的关系。我们强烈建议使用我们的眼部设置作为您的起点。
可见,要完全从零开始制作一个成像逼真的眼睛的资源(模型、贴图、材质等),还是有相当的难度。幸好慷慨的虚幻引擎官方已经给出了足够多的示例及资源,以供个人及团队研究和研发,大大缩短了学习、开发的周期。
特别说明
- 感谢参考文献的所有作者们!
- 后续还有毛发渲染等部分,敬请期待!
参考文献
- Next-Generation-Character-Rendering (ACM Transactions on Graphics, Vol. 29(5), SIGGRAPH Asia 2010)
- Separable Subsurface Scattering
- Real-Time Realistic Skin Translucency
- 《由浅入深学习PBR的原理和实现》
- 数字人类
- 照片级角色
- 角色渲染技术——毛发及其他
- Cry Engine Doc: Eye Shader
- A Survey on Participating Media Rendering Techniques
- Rendering participating media
- Modeling and real-time rendering of participating media using the GPU
- Deferred_POM-DirectX Renderer
- Subsurface Texture Mapping
- Rock-Solid Shading: Image Stability Without Sacrificing Detail
The Process of Creating Volumetric-based Materials in Uncharted 4
眼睛建模逐步剖析教学-超详细
转载于:https://www.cnblogs.com/timlly/p/11144950.html
剖析Unreal Engine超真实人类的渲染技术Part 2 - 眼球渲染相关推荐
- 剖析Unreal Engine超真实人类的渲染技术Part 3 - 毛发渲染及其它
目录 四.毛发渲染 4.1 毛发的构造及渲染技术 4.1.1 毛发的构造 4.1.2 Marschner毛发渲染模型 4.1.3 毛发的间接光照 4.2 毛发的底层实现 4.3 毛发的材质解析 4.3 ...
- 空山新雨后 [Unreal Engine 超写实渲染]
最近看到国内Unreal Engine大佬FisherDai创作的虚幻引擎<空山新雨后> 僻静的小路,细雨洗过台阶,当微风吹动树叶,阳光拨开了薄雾--空山新雨后,是故事的表线,它定义了时间 ...
- 游戏渲染技术:前向渲染 vs 延迟渲染 vs Forward+渲染(二)
GTA5 2 前向渲染 前向渲染是三个光照技术中最简单的,也是游戏图形渲染中最常见的技术.出于这个原因,也是光照计算最昂贵的技术,它不允许在场景中出现大量的动态光源. 大部分使用前向渲染的图形引擎会采 ...
- 渲染TA实战:眼球的渲染
哈喽,大家好,我是搜狐畅游引擎部的TA老胡,很高兴有机会和大家分享一下前一段时间工作和学习的成果. 前一阵,我做技术支持的项目提出,想要一个效果好一点的,眼睛的解决方案. Unity自带的渲染部分,包 ...
- Revit和Unreal Engine真实的建筑可视化视频教程
Revit和Unreal Engine真实的建筑可视化视频教程 Lynda – Revit and Unreal Engine: Real-Life Architectural Visualizati ...
- ue4 离线渲染_[译]Real Shading in Unreal Engine 4(UE4中的真实渲染)(2)
利用假期接着把剩下的部分搞完吧,其实,纯粹的翻译应该还是比较简单的,但是,为了更好地理解,我一般都会多找一些资料来进行互相印证.在上面一部分Shader Model的改变过程中,我主要是参考了一些PB ...
- Unreal Engine 4 渲染目标(Render Target)教程 之 实现雪地足迹(上)
原文|<Unreal Engine 4 Tutorial: Creating Snow Trails in Unreal Engine 4> 作者|Tommy Tran Jun 3 201 ...
- Unreal Engine(虚幻引擎)渲染 – 正确使用方法
我们已经讨论过 Unreal Engine(虚幻引擎)中可用的很多神奇工具,包括最近抢先体验的 Unreal Engine 5.多亏了 Epic,世界各地的开发人员和团队都可以轻松进行游戏开发.Epi ...
- matlab您的安装可能需要执行其他配置步骤_手把手超详细介绍MATLAB+RoadRunner+Unreal Engine自动驾驶联合仿真...
RoadRuner是MathWorks新收购的自动驾驶场景构建工具,Unreal Engine是商业游戏引擎.RoadRunner创建驾驶场景,导入到Unreal Engine,与Simulink联合 ...
最新文章
- 土地利用转移矩阵图怎么做_土地利用转移矩阵生成的几种方法
- 内存和显存_详谈服务器内存和显存知识
- java 获取文件权限_Java中的文件权限,检查权限和更改权限 - Break易站
- IOS的pch文件,NSTimer定时器,运行消息循环,随机色使用
- 老师,我们想看到您的笑容!
- MySQL8.0.17 - 初探 Clone Plugin
- 九度OJ 1207 质因数的个数
- 数据分析处理——透析表和交叉表
- SQL不重复查找数据及把一列多行内容拼成一行
- 死磕单点登录的实现原理....
- 基于LabVIEW的个性化打地鼠游戏设计
- 史上最全微信运营工具
- Spring boot 项目中dcm文件转jpg文件
- 贵州等保测评机构工程师(DJCP)目录-贵州等级保护测评机构工程师名单
- Spark列级血缘(字段级别血缘)开发与实现
- 海贼王热血航线正在连接服务器,海贼王热血航线为什么连接不了服务器?老是说人已满进不去?...
- Java面试题笔试题汇总
- [附源码]java毕业设计高校奖学金评定管理系统
- 请打开正确的提问方式
- [Python] 相关性分析
热门文章
- 百度手机输入法for android16,百度输入法下载
- 信息系统开发与管理【六】之 系统设计
- pandas常用功能整理
- 单片机I/O开漏输出详解 “与逻辑” ,改变上拉电源的电压,提供TTL/CMOS电平输出,标准的开漏脚一般只有输出的能力添加其它的判断电路,才能具备双向输入、输出的能力
- 美团NLP以及知识图谱文章提炼
- 简谈FPGA设计中不同设计方法资源消耗对比
- 高中数学基础01:集合与函数
- 9,共模抑制比一-不受输入信号中共模波动的影响。【如何分析共模CM抑制比。】
- android仿喜马拉雅APP状态栏,源码分享:高仿喜马拉雅FM
- 微信小程序那点事儿(必看踩坑实用解决BUG)------持续更新(2)