学习目标

体验基于PaddleGAN的图像上色、补针、超分等功能，涉及模型包括DAIN、DeOldify、RealSR、DeepRemaster、EDVR、PPMSVSR等。

一、算法原理

1.补帧模型DAIN

DAIN 模型通过探索深度的信息来显式检测遮挡。并且开发了一个深度感知的流投影层来合成中间流。在视频补帧方面有较好的效果。

2.上色模型DeOldify

3.上色模型DeepRemaster

DeepRemaster 模型基于时空卷积神经网络和自注意力机制。并且能够根据输入的任意数量的参考帧对图片进行上色。

4.超分辨率模型RealSRP

RealSR模型通过估计各种模糊内核以及实际噪声分布，为现实世界的图像设计一种新颖的真实图片降采样框架。基于该降采样框架，可以获取与真实世界图像共享同一域的低分辨率图像。并且提出了一个旨在提高感知度的真实世界超分辨率模型。对合成噪声数据和真实世界图像进行的大量实验表明，该模型能够有效降低了噪声并提高了视觉质量。

5.超分辨率模型EDVR

EDVR模型提出了一个新颖的视频具有增强可变形卷积的还原框架：第一，为了处理大动作而设计的一个金字塔，级联和可变形（PCD）对齐模块，使用可变形卷积以从粗到精的方式在特征级别完成对齐；第二，提出时空注意力机制（TSA）融合模块，在时间和空间上都融合了注意机制，用以增强复原的功能。

6.视频超分辨率模型PPMSVSR

百度自研的PP-MSVSR是一种多阶段视频超分深度架构，具有局部融合模块、辅助损失和细化对齐模块，以逐步细化增强结果。具体来说，在第一阶段设计了局部融合模块，在特征传播之前进行局部特征融合, 以加强特征传播中跨帧特征的融合。在第二阶段中引入了一个辅助损失，使传播模块获得的特征保留了更多与HR空间相关的信息。在第三阶段中引入了一个细化的对齐模块，以充分利用前一阶段传播模块的特征信息。大量实验证实，PP-MSVSR在Vid4数据集性能优异，仅使用 1.45M 参数PSNR指标即可达到28.13dB。

PP-MSVSR提供两种体积模型，开发者可根据实际场景灵活选择：PP-MSVSR（参数量1.45M）与PP-MSVSR-L（参数量7.42）

ppgan.apps.PPMSVSRPredictor(output=‘output’, weight_path=None, num_frames)
ppgan.apps.PPMSVSRLargePredictor(output=‘output’, weight_path=None, num_frames)
参数
output_path (str，可选的): 输出的文件夹路径，默认值：output.
weight_path (None，可选的): 载入的权重路径，如果没有设置，则从云端下载默认的权重到本地。默认值：None.
num_frames (int，可选的): 模型输入帧数，默认值：10.输入帧数越大，模型超分效果越好。

7.视频超分辨率模型BasicVSR系列

BasicVSR在VSR的指导下重新考虑了四个基本模块（即传播、对齐、聚合和上采样）的一些最重要的组件。通过添加一些小设计，重用一些现有组件，得到了简洁的 BasicVSR。与许多最先进的算法相比，BasicVSR在速度和恢复质量方面实现了有吸引力的改进。

同时，通过添加信息重新填充机制和耦合传播方案以促进信息聚合，BasicVSR 可以扩展为IconVSR，IconVSR可以作为未来 VSR 方法的强大基线 .

BasicVSR++通过提出二阶网格传播和导流可变形对齐来重新设计BasicVSR。通过增强传播和对齐来增强循环框架，BasicVSR++可以更有效地利用未对齐视频帧的时空信息。在类似的计算约束下，新组件可提高性能。特别是，BasicVSR++ 以相似的参数数量在 PSNR 方面比 BasicVSR 高0.82dB。BasicVSR++ 在NTIRE2021的视频超分辨率和压缩视频增强挑战赛中获得三名冠军和一名亚军。

ppgan.apps.BasicVSRPredictor(output=‘output’, weight_path=None, num_frames)
ppgan.apps.IconVSRPredictor(output=‘output’, weight_path=None, num_frames)
ppgan.apps.BasiVSRPlusPlusPredictor(output=‘output’, weight_path=None, num_frames)
参数
output_path (str，可选的): 输出的文件夹路径，默认值：output.
weight_path (None，可选的): 载入的权重路径，如果没有设置，则从云端下载默认的权重到本地。默认值：None.
num_frames (int，可选的): 模型输入帧数，默认值：10.输入帧数越大，模型超分效果越好。

二、体验效果

1.环境准备：

请参考另一篇文章，基于PaddleGAN项目人脸表情动作迁移学习（一）环境配置，下载PaddleGAN,并配置环境，另外，需要安装相关模块，进入PaddleGAN目录下：

cd PaddleGAN
pip install -r requirements.txt
pip install -v -e .
pip install dlib
pip install ppgan

如果dlib有安装失败请参考另一篇文章记录安装dlib库失败解决过程，认识conda-forge,希望有所帮助。
安装完成根据网速不同，大概需要几分钟左右。

2.准备老照片：

下载小兵张嘎视频数据，截图如下

3.体验效果：

3.1 DeOldify上色

python tools/video-enhance.py --input /home/work/z2.png    --process_order  DeOldify --output /home/work/output

效果

3.2 RealSR超分辨率

python tools/video-enhance.py --input /home/work/z2.png    --process_order RealSR  --output /home/work/output

效果

肉眼好像看不出来效果。

3.3 其他模型

通过命令行方式用法都差不多，可以同时使用，例如

使用插帧(DAIN), 上色(DeOldify), 超分(MSVSR)这三个模型对该视频进行修复
input参数表示输入的视频路径
output表示处理后的视频的存放文件夹
proccess_order 表示使用的模型和顺序（目前支持）

python tools/video-enhance.py --input /home/work/xiaobing.mp4    --process_order  DAIN DeOldify PPMSVSR  --output /home/work/output

视频上传不方便，效果就不展示了。

总结

体验了使用PaddleGAN完成视频上色、超分、插帧的技术运用，PaddleGAN的应用也不会止步于此，仅仅是调包、一行代码搞定是远远不够的，想进一步搞得更好，则需要认真阅读所使用的模型的相应论文，自己尝试复现一下或者认真读懂PaddleGAN中提供的源码。

参考：https://aistudio.baidu.com/aistudio/projectdetail/1161285

基于PaddleGAN项目人脸表情动作迁移学习（五）图像补帧上色与超分修复相关推荐

基于PaddleGAN项目人脸表情动作迁移学习（四）人脸动漫化
学习目标: 体验基于PaddleGAN的真实人脸实现动漫化,相关模型:AnimeGANv2. AnimeGANv2原理: 人脸动漫化(Photo to Cartoon)是指将真实人脸转化成动漫风格,在 ...
基于PaddleGAN项目人脸表情动作迁移学习（三）人脸融合
学习目标: 体验基于PaddleGAN的图像生成模型实现的人脸融合,模型名称:StyleGAN V2 StyleGAN V2 原理: StyleGAN V2 的任务是image generation, ...
人脸识别迁移学习的应用
https://github.com/jindongwang/transferlearning 关于迁移学习的一些资料这个仓库包含关于迁移学习一些资料,包括:介绍,综述文章,代表工作及其代码,常用数 ...
用两个使用Caffe的小项目案例演示迁移学习的实用性
近年来随着深度学习的急剧升温,不管是学术界还是工业界都把大量资源投入了深度学习.作为一个普通的工程师或者程序员,也想对机器学习,尤其是深度学习有所了解,应当如何入手?最好的回答当然是"get ...
基于模型与不基于模型的深度增强学习_CVPR2018: 基于时空模型无监督迁移学习的行人重识别...
Unsupervised Cross-dataset Person Re-identification by Transfer Learning of Spatial-Temporal Pattern ...
《基于卷积神经网络的深度迁移学习，用于燃气轮机燃烧室的故障检测》论文阅读
目录突出抽象引言 1.1动机 1.2文献综述获得的结论 1.3贡献 1.4组织 2方法 2.1燃汽轮机组故障知识共享 2.2迁移学习 2.3 基于卷积神经网络的深度迁移学习 2.4用于燃气轮机燃 ...
大作业论文之基于迁移学习的图像预测研究
基于迁移学习的图像预测研究摘要:深度学习技术发展迅速,在图像处理领域取得了显著成果.[2]但是由于部分图像样本少,标注困难,使得深度学习的效果远未达到预期.迁移学习是机器学习中一种新的学习范式, ...
基于Keras Application和Densenet迁移学习（transfer learning）的乳腺癌图像分类模型（良性、恶性）
基于Keras Application和Densenet迁移学习(transfer learning)的乳腺癌图像分类模型(良性.恶性) 概论: 美国癌症学会官方期刊发表<2018年全球癌症统计 ...
TensorFlow练手项目三：使用VGG19迁移学习实现图像风格迁移
使用VGG19迁移学习实现图像风格迁移 2020.3.15 更新: 使用Python 3.7 + TensorFlow 2.0的实现: 有趣的深度学习--使用TensorFlow 2.0实现图片神经风 ...

基于PaddleGAN项目人脸表情动作迁移学习（五）图像补帧上色与超分修复