AMD FSR技术在UE4移动端可用的研究（一）—

1. 介绍

AMD FidelityFX Super Resolution （FSR）采用先进的优化升级技术，能够在无需用户升级显卡的情况下帮助提高部分游戏的帧率，带来高质量、高分辨率的游戏体验。

FSR适用于包括集成显卡在内的各种新旧产品，并针对基于 AMD RDNA™ 和 AMD RDNA 2™ 架构的 Radeon™ RX 6000 和 RX 5000 系列显卡进行了优化。部分 NVIDIA® 显卡也支持 FSR。

FSR提出了四种不同的质量模式：Ultra Quality，Quality，Balanced，Performance。

原理概述

FidelityFX Super Resolution 是一种空间放大器：它的工作原理是获取当前抗锯齿帧，并将其放大到显示分辨率，而不依赖于其他数据，例如帧历史或运动矢量。

FSR的核心是一种尖端算法，可从源图像中检测和重建高分辨率边缘。这些高分辨率边缘是将当前帧转换为**“超分辨率”图像**所需的关键元素。

无论帧是否在运动，FSR都能提供一致的升频质量，与其他类型的升频器相比，这可以提供质量优势。

FSR由两个主要pass组成：

一种称为EASU（边缘自适应空间上采样）的放大通道，它也执行边缘重建。在这个过程中，输入帧被分析，算法的主要部分从一组输入像素中检测梯度反转——本质上是查看相邻梯度的不同。梯度反转的强度定义了以显示分辨率应用于重建像素的权重。
一种称为RCAS（稳健对比度自适应锐化）的锐化通道，可提取放大图像中的像素细节。

集成位置

FidelityFX Super Resolution Pass在感知色彩空间中效果最佳，因此应在色调映射后进行整合。将噪声或其他高频视觉组件引入场景的通道应在放大后渲染，以避免这些噪声组件被放大。

技术应用前提

图片应该进行过良好的抗锯齿，例如：TAA、MSAA。
输入图像应该归一化到 [ 0 − 1 ] [0-1] [0−1]，然后应该在感知空间，例如：sRGB。
图像应该是noisy free（无噪声的？）
使用负的MIP bias，来增加图像细节，来生成图像

UE4使用

可以通过命令启用或禁用： r.FidelityFX.FSR.PrimaryUpscale.（现在好像是Enable了）

UpScaling的强度可以用这条命令来调整： r.ScreenPercentage。有如下选项：

Ultra Quality : r.ScreenPercentage 77

产生的超级分辨率图像与原始渲染几乎没有区别，当图像的保真度非常重要时，应选择该选项。
Quality : r.ScreenPercentage 67

产生一个超级分辨率的图像，具有最小的伪影和可观的性能提升。
Balanced : r.ScreenPercentage 59

产生的超分辨率图像接近原生渲染，偶尔会有伪影，但性能提升非常大。
Performance : r.ScreenPercentage 50

在某些条件下可能会有明显的伪影，应该在对性能要求很高的情况下选择。

FidelityFX Super Resolution 1.0包含一个内置的锐化通道，叫做RCAS，可以通过命令行r.FidelityFX.FSR.RCAS进行配置，并且默认是启用。如果你的项目已经集成了FidelityFX-CAS，请确保在FidelityFX Super Resolution 1.0启用时完全禁用FidelityFX CAS —— 包括任何游戏中的菜单选项。这将防止你的最终渲染过度锐化，并改善整合结果。

FidelityFX Super Resolution 1.0有许多额外的命令行，可以帮助满足您的项目需求。

CVar	Default Value	Valid Values	Details
`r.FidelityFX.FSR.SecondaryUpscale`	0	0, 1	启用`FSR1`作为二级`upscaler`，允许与时域的一级`upscaler`进行混合。
`r.FidelityFX.FSR.UseFP16`	1	0, 1	启用半精度浮点运算，在不出现可见伪影的情况下，提高性能。
`r.FidelityFX.FSR.EnableFP16OnNvDX11`	0	0, 1	我们的测试显示，某些型号的NVIDIA GPU在运行DirectX 11和FSR着色器的FP16变体时可能无法产生正确的结果。如果这个问题在未来得到解决，那么你可以使用`r.FidelityFX.FSR.EnableFP16OnNvDX11`来重新启用这些GPU上的16位版本FSR的使用。
`r.FidelityFX.FSR.MipBias.Method`	1	0, 1, 2	对材质纹理施加负的MipBias，改善效果： 0: Disabled 1: Automatic : -log2(screen%) 2: Manual : Use `r.FidelityFX.FSR.MipBias.Offset`
`r.FidelityFX.FSR.MipBias.Offset`	0.0	[-2.0, 0.0]	在以下情况下应用的MipBias值： `r.FidelityFX.FSR.MipBias.Method` = 2
`r.FidelityFX.FSR.RCAS.Enabled`	1	0, 1	强劲的对比度自适应锐化滤波器。在`upscaling`完成后对图像进行锐化。
`r.FidelityFX.FSR.RCAS.Sharpness`	0.2	[0.0, inf)	RCAS锐度调整. Check out CAS for examples! 0.0: sharpest 1.0: 1/2 as sharp 2.0: 1/4 as sharp 3.0: 1/8 as sharp etc…
`r.FidelityFX.FSR.RCAS.Denoise`	0	0, 1	RCAS去噪。
`r.FidelityFX.FSR.HDR.PQDitherAmount`	1.0	[0.0, 1.0]	HDR-Only 用于PQ->Gamma2转换的抖动量，当输出设备为ST2084/PQ时，减少色带。
`r.FidelityFX.FSR.Post.FilmGrain`	1	0, 1	在后期处理链中应用UE4 FilmGrain效果，以避免与FidelityFX Super Resolution 1.0冲突。
`r.FidelityFX.FSR.Post.ExperimentalChromaticAberration`	0	0, 1	Be careful! This feature is Experimental, and may produce undesirable results in some situations! 在后期处理链中应用ChromaticAberration效果，以避免与FidelityFX Super Resolution 1.0冲突。
`r.FidelityFX.FSR.Debug.ForcePS`	0	0, 1	如果启用，在VS-PS管道中运行FSR、RCAS和Post-FFX ChromaticAberration通道，而不是CS。

2. 安装

目前，AMD官方是提供了两个方式来在UE4引擎中适配FSR，第一个方式是打补丁的方式——git apply XXX.patch——仅支持4.26版本。第二个方式是插件，支持4.27及以上版本（可以在插件中搜到FSR了）。

4.26版本

首先，进入这个官网地址：https://gpuopen.com/unreal-engine/。然后下载补丁包：

下载完成后，进行解压，我们将.patch文件放在你下载的UE4 4.26 release源码的根目录中（或者你项目引擎源代码的根目录中）

源码版下载，直接参考：https://zhuanlan.zhihu.com/p/107516361

官网下载的源码，或者你项目源码，应该都是用git进行管理，我这里就默认这一点了。然后在根目录中输入如下git命令来适配补丁包：

git apply --whitespace=warn FSR1-UE4.26.1-Patch-RC2.patch

然后重新编译引擎。

4.27版本

首先进入官方网站：https://gpuopen.com/learn/ue4-fsr//。下载压缩包：

将该压缩包移动到引擎源码的Engine\Plugins\Runtime目录，解压文件到当前目录。打开你编译好的引擎，然后进入Edit > Plugins，启用FSR插件：

关闭引擎，重新编译引擎。打开引擎，用命令行启用FSR，成功。

和4.26不同，启用命令是r.FidelityFX.FSR.Enabled

笔记(2)将介绍如何在4.27中让移动端可以使用FSR，笔记(3)则是介绍4.26的适配。敬请期待。