GAN（生成对抗网络）和IQA（图像质量评价能擦出什么样的火花呢？）简单聊一些近来published的论文

在图像质量评价领域奋斗了三年，感觉实在不容易。现在的目标是做一些相当开创性的工作，而不是刻意是follow别人的工作，当然，这很难，至今还没有实现，希望我能圆梦。

之前自己的博客有写过关于手工特征和深度学习做无参考图像质量评价的工作，包括Tone-mapped image，3D图像，自然图像，对比度失真图像。（加一句：屏幕图像和3D图像质量评价是我的老本行[1][2][3]，已经换成了其他的目标了）。重新回忆一些图像质量评价吧。

图像质量评价，顾名思义，评价图像的视觉质量。是较好呢？好呢？一半呢？还是较差呢？/// 好的话究竟有多好呢？差的话究竟是多差呢？前面的判断属于绝对评价，后面的判断属于相对评价。众所周知，我们处在一个“相对的”世界里，自然而然绝对评价就不靠谱了，评价结果包含的噪声太大。在“相对的”图像质量评价中，就催生了第一类图像质量评价算法，全参考图像质量评价算法（Full reference image quality assessment）: 把无失真的图像（reference image）当成是参考系，然后计算失真图像（distorted image）与参考系之间的距离（一般是用相似性）。半参考不想聊，好无聊。无参考图像质量评价算法类似，构建一个模型（或者学习一个模型），本身来讲，也可以把它看成是参考系，因为模型是通过大量的样本学习得到的，数学表达式无非就是model=f(samples)。

无参考图像质量算法中，之前用的最多的就是手工特征+机器学习算法，近几年用的比较多的就是深度学习了。深度学习给我的感觉就是把手工特征+机器学习算法彻底打压了，性能好，关注点也多。很久之前，我也在关注这一块，希望蹦出个idea来。用深度学习设计的图像质量评价算法大部分都是end-to-end了。而GAN又为IQA注入了新的思想。(有时间再写详细一点，论文也都很容易懂)

本博客简单介绍4篇论文，包括：2018CVPR: Hallucinated-IQA：No-reference imagequality assessment via adversarial learning；2018AAAI: RAN4IQA：Restorative adversarial nets for no-referenceimage quality assessment. 北京大学；2018CVPR: Blind predicting similar quality mapfor image quality assessment. 中国传媒大学；2018ICASSP:VR IQA NET: deep virtual realityimage quality using adversarial learning.

论文1：2018CVPR: Hallucinated-IQA

框架图，直接从论文里复制的。

核心思想：

生成网络：输入为失真图像，通过卷积和反卷积，生成一张复原图（Hallucinated image，假性参考图）。

判别网络：判断生成的复原图和参考图像是否属于参考图像。

图像质量预测网络：输入是失真图，以及失真图与复原图的残差图。

论文2：2018AAAI: RAN4IQA

本文的idea和上一篇论文2018CVPR框架类似，也是先对失真图像进行恢复，并将复原图像和失真图像作为输入，输出失真图像的质量分数。（这是patch based）

框架图，直接从论文里复制的

论文3：2018CVPR:

Idea: 通过U-net生成一张quality map.

论文4：2018ICASSP:VR IQA NET:

框架图（有点小错误）

感觉这个工作有点玄学：adversarial learning用于判断输入的分数是机器预测的分数还是主观分数。

[1] Y. Fang, J. Yan, et. al. No reference quality assessment for screen content images with both local and global feature representation, IEEE Transactions on Image Processing, vol. 27, no. 4, pp. 1600-1610, 2018

[2] Y. Fang, J. Yan, et. al. Objective quality assessment of screen content images by uncertainty weighting, IEEE Transactions on Image Processing, vol. 26, no. 4, pp. 2016-2027, 2017

[3] Y. Fang, J. Yan, et. al. No reference quality assessment for stereoscopic images by statistic features, QoMEX, 2017

GAN（生成对抗网络）和IQA（图像质量评价能擦出什么样的火花呢？）简单聊一些近来published的论文相关推荐

54_pytorch GAN(生成对抗网络)、Gan代码示例、WGAN代码示例
1.54.GAN(生成对抗网络) 1.54.1.什么是GAN 2014 年,Ian Goodfellow 和他在蒙特利尔大学的同事发表了一篇震撼学界的论文.没错,我说的就是<Generative ...
深度学习(九) GAN 生成对抗网络理论部分
GAN 生成对抗网络理论部分前言一.Pixel RNN 1.图片的生成模型 2.Pixel RNN 3.Pixel CNN 二.VAE(Variational Autoencoder) 1.VA ...
深度学习 GAN生成对抗网络-1010格式数据生成简单案例
一.前言本文不花费大量的篇幅来推导数学公式,而是使用一个非常简单的案例来帮助我们了解GAN生成对抗网络. 二.GAN概念生成对抗网络(Generative Adversarial Networks ...
使用PyTorch构建GAN生成对抗网络源码（详细步骤讲解+注释版）02 人脸识别下
文章目录 1 测试鉴别器 2 建立生成器 3 测试生成器 4 训练生成器 5 使用生成器 6 内存查看上一节,我们已经建立好了模型所必需的鉴别器类与Dataset类. 使用PyTorch构建GAN生 ...
使用PyTorch构建GAN生成对抗网络源码（详细步骤讲解+注释版）02 人脸识别上
文章目录 1 数据集描述 2 GPU设置 3 设置Dataset类 4 设置辨别器类 5 辅助函数与辅助类 1 数据集描述此项目使用的是著名的celebA(CelebFaces Attribute) ...
GAN (生成对抗网络) 手写数字图片生成
GAN (生成对抗网络) 手写数字图片生成文章目录 GAN (生成对抗网络) 手写数字图片生成 Discriminator Network Generator Network 简单版本的生成对抗网络 ...
GAN -- 生成对抗网络
GAN -- 生成对抗网络生成对抗网络(英语:Generative Adversarial Network,简称GAN)是非监督式学习的一种方法,通过让两个神经网络相互博弈的方式进行学习.该方法由伊 ...
【轩说AI】生成模型（2）—— GAN生成对抗网络 + WGAN + Conditional GAN + Cycle GAN
文章目录 GAN生成对抗网络(Generative Adversarial Network) 神经网络的本质就是一个函数,一个用于拟合的函数生成模型面临的前所未有的问题 GAN解决这一问题的思想 O ...
DLbest系列1——GAN生成对抗网络2
GAN 6 COGAN(耦合生成对抗网络,1个模型2个用途) 7 LSGAN(最小二乘GAN,均方差替换交叉熵) 7.1 训练思路 8 CycleGAN(风格转换) 8.1 训练思路 9 SRGAN( ...

GAN（生成对抗网络）和IQA（图像质量评价能擦出什么样的火花呢？）简单聊一些近来published的论文

GAN（生成对抗网络）和IQA（图像质量评价能擦出什么样的火花呢？）简单聊一些近来published的论文相关推荐

最新文章

热门文章