画质增强概述-3.1-AI增强实践之超分训练

三画质增强的AI增强实践

画质增强处理从方法上可以分为传统方法和深度学习(AI)方法，他们是互相补充的关系，传统方法相对而言性能会好些，AI方法吃GPU、吃算力，很多课题AI方法效果远非传统方法科比，典型的如超分、超帧(频率上采样)、补全、降噪等等，这篇重点介绍AI方法的超分实践，主要分三部分：训练、推理和应用

3.1 训练

3.1.1 超分主干网络

对超分历年比较经典的主干网络做了一次梳理和调研，如下图

这个梳理和调研还是有非常大价值的，然后把他们预训练模型用自己真实场景的素材跑一遍看下效果，另外主干网络的代码一般都不会很复杂，对照论文和代码自己过一遍，一般就有数了，我最终超分选择的主干网络是 RCAN，选择的训练开源框架是 KAIR，github 链接如下： https://github.com/cszn/KAIR

当然 KAIR 生成网络不支持RCAN，可以自己加上去，也不复杂。

这里值得提一下的项目是阿里的 GPEN (图片人脸增强，效果着实惊艳，可惜不太适合做视频人脸增强)

3.1.2 数据集

常见数据集如下：

人脸以 FFHQ 为主

通用场景是 DIV2K、Flickr2K、商汤的OST

屏幕内容是我自制数据集，主要是屏幕截图所得

3.1.3 数据预处理

数据预处理是在超分同时，实现降噪、去模糊、去马赛克等处理的关键

不同场景的模型，训练所需的数据集是不同的，且对应的数据预处理方式也不同，场景定制模型的化，采用特定数据集加特定预处理方法，一般而言收益可以比较显著：模型效果更好、模型参数可以更少，典型的是我训练的屏幕内容超分模型，数据集用的是自己电脑截图的PNG图片，模型也不大，pth 大约几百k，提升效果却非常显著，如下图

3.1.4 训练过程及损失函数

KAIR中，一般是先只训练生成器，损失函数主要是 PSNR，然后在此基础上再加入判别器继续二阶段训练，该阶段一般会新增两个损失函数，分别是感知损失和判别器损失

3.1.5 训练中的常见问题

从我自己的经验，训练主要障碍是超分生成的图片容易失真，不自然

现在主流的做法，基本都会采用 GAN 的方式来训练超分网络，那么判别器损失是需要重点关注的指标，该损失过小，意味着生成的图片失真比较严重

画质增强概述-3.1-AI增强实践之超分训练相关推荐

哔哩哔哩视频云画质与窄带高清AI落地实践
视频赛道卷到下半场,一定会面临体验与成本的对抗,尤其是在行业大环境"过冬"的背景下,想要在有限带宽下获得最佳的画质观感变得异常具备挑战性.从视频云业务场景的视角来看,如何有效解决c ...
HarmonyOS之AI能力·文字图像超分
一.简介文字图像超分辨率可以对包含文字内容的图像进行 9 倍放大(高宽各放大 3 倍),同时增强图像内文字的清晰度,称为"文字图像超分辨率",简称"文字图像超分&quo ...
画质增强概述-4-传统方法增强实践
传统方法和AI方法是一个互相补充的关系,要看具体的场景和视频类型,一般而言,传统方法性能上相对比AI方法更好些,对算力要求相对低一些,成本上自然也更低传统方法的保边滤波(如导向滤波等).锐化.对比度 ...
画质增强概述-2-应用场景
二画质增强应用场景画质增强应用场景是非常广泛的,本质上,"谁会嫌画质太好了呢",随着传输.显示等基础设施和硬件的进步,画质增强的应用一定会越来越广泛,我这里只是简单介绍一下几个 ...
画质增强概述-3.3-AI增强实践之服务形态
low-level 视觉任务输入输出一般都是RGB数据,那么在生产环境,除非在移动端增强后直接显示,否则基本是需要对数据进行压缩,然后存储或者传输.服务端的增强服务,多数是把增强服务封装为ffmpeg ...
画质提升了! LR增强细节_Lightroom 开启 AI 照片细节强化：画面清晰度提升 30%
使用超分辨率,画质提升了,白给图也能救了,能拍一亿像素了,吗? Adobe在最新版本的Lightroom CC,以及Lightroom Classic CC中更新了超分辨率影像的功能,旨在通过AI ...
画质增强概述-1-定义
一什么是画质增强 1.1 定义所谓画质增强,就是综合运用传统数字图像处理和新兴的深度学习等算法工具,修复图片或视频中存在的各种画质问题,让用户有更好的视觉观看体验 1.2 常见的画质问题及修复工具 ...
AI视频增强 -- Topaz 视频超分 | Topaz Video Enhance AI | 【软件试用】
视频增强 – Topaz 视频超分 | 软件试用视频超分重建 -->低分辨率 - 转换高清分辨率 1920 x 1080.4k.8k 文章目录 ❤️ 视频增强 -- 软件试用
视频编解码优化以及与AI的实践结合
RealNetworks是流媒体类别的发明者,改变了音频和视频内容在各种设备和全世界消费的方式.在编解码市场的大环境下,RealNetworks推出了新一代的视频压缩算法RMHD,专为下一代的高清流媒 ...

画质增强概述-3.1-AI增强实践之超分训练

画质增强概述-3.1-AI增强实践之超分训练相关推荐

最新文章

热门文章