A Survey for Image Quality Assessment（综述）

图像质量评价相关内容总结，旨在回顾近二十年来的发展历程，供参考。

一、主观图像质量评价

(1) 主观图像质量评价实验：absolute category rating、pair comparison

[Ref] M. Perez, A. Mikhailiuk, E. Zerman, V. Hulusic, G. Valenzise, and R. K. Mantiuk, “From pairwise comparisons and rating to a unified quality scale,” IEEE Trans. Image Process., vol. 29, no. 0, pp. 1139-1151, Aug. 2020.

(2) 图像质量评价数据库：LIVE、CSIQ、TID、Waterloo、LIVEC、KonIQ-10k、KADID-10k等

数据库	原始图像数量	失真图像数量	失真类型数量	主观分数	提出年份
LIVE	29	779	5	DMOS	2006
CSIQ	30	866	6	DMOS	2010
TID	25	3000	24	MOS	2013
Waterloo	4744	94880	4	—	2017
KADID-10k	81	10125	25	DMOS	2019

[Ref] S. Winkler, “Analysis of public image and video databases for quality assessment,” IEEE J. Sel. Topics Signal Process., vol. 6, no. 6, pp. 616–625, Oct. 2012.

LIVE (laboratory for image & video engineering)

[Ref] H. R. Sheikh, M. F. Sabir, and A. C. Bovik, “A statistical evaluation of recent full reference image quality assessment algorithms,” IEEE Trans. Image Process, vol. 15, no. 11, pp. 3441–3452, Nov. 2006.

CSIQ (categorical subjective image quality)

[Ref] E. C. Larson and D. M. Chandler, “Most apparent distortion: Full-reference image quality assessment and the role of strategy,” J. Electron. Imag., vol. 19, no. 1, pp. 011006-1–011006-21, 2010.

TID (tampere image database)

[Ref] N. Ponomarenko et al., “Color image database TID2013: Peculiarities and preliminary results,” in Proc. Eur. Workshop Vis. Inf. Process., 2013, pp. 106–111.

Waterloo (waterloo exploration database)

[Ref] K. Ma, Z. Duanmu, Q. Wu, Z. Wang, H. Li, and L. Zhang, “Waterloo exploration database: new challenges for image quality assessment models,” IEEE Trans. Image Process, vol. 26, no. 2, pp. 1004–1016, Feb. 2017.

KADID-10k (Konstanz artificially distorted image quality database)

[Ref] H. Lin, V. Hosu, and D. Saupe, “KADID-10k: a large-scale artificially distorted IQA Database,” in Eleventh International Conference on Quality of Multimedia Experience (QoMEX). IEEE, 2019.

二、客观图像质量评价

(1) 传统方法（FR、RR、NR）

1. 全参考（FR）：SSIM系列（SSIM、MSSSIM、FSIM、IWSSIM、GSIM、RFSIM、SRSIM、SPSIM、GMSD、MDSI...）、Fidelity系列（VIF、IFC、MAD、VSNR、VSI...）

两步骤全参图像质量评价模型流程图：

基于人类视觉注意力错误敏感度建模的全参图像质量评价模型通用原型：

SSIM：Wang等人于2004年提出了基于结构信息退化的结构相似性图像质量评价指标（structural similarity index metric, SSIM），该方法假设人类视觉感知适合从场景中提取相应的结构信息，相应实验证明该方法具有较好的性能。

[Ref] Z. Wang, A. C. Bovik, H. R. Sheikh, and E. P. Simoncelli, “Image quality assessment: From error measurement to structural similarity,” IEEE Trans. Image Process, vol. 13, no. 4, pp. 600–612, Apr. 2004.

MSSSIM：作为对单尺度的结构相似性质量评价的补充，Wang等人针对视觉条件的复杂多变，进一步将多尺度的理念引入到质量评价当中，并提出一个基于多尺度的结构相似性图像质量评价方法（multi-scale structural similarity index metric, MSSSIM）。

[Ref] Z. Wang, E. P. Simoncelli, and A. C. Bovik, “Multi-scale structural similarity for image quality assessment,” in Proc. IEEE Asilomar Conf. Signals, Syst., Comput., Pacific Grove, CA, Nov. 2003, pp. 1398–1402.

RFSIM：Zhang等人通过对图像进行一阶和二阶的里斯变换（Riesz-transform），提出了基于里斯变换的特征相似性图像质量评价指标（Riesz-transform based feature similarity metric, RFSIM）。该方法的关键点在于图像降质（失真）往往会导致图像关键位置特征发生改变，通过计算相应的特征图用以计算相似性图，同时利用图像的边缘检测图作为特征掩码去获得图像中关键位置，并作为权重进行加权，最终计算相应的图像质量评价分数。

[Ref] L. Zhang, L. Zhang, X. Mou, “RFSIM: A feature based image quality assessment metric using Riesz transforms,” IEEE International Conference on Image Processing, 2010.

FSIM：基于人类视觉系统根据低水平的特征对图像进行理解的事实，Zhang等人进一步提出了基于特征相似性（feature similarity index metric, FSIM）的全参图像质量评价方法，该方法通过提取相位一致性特征和梯度幅度特征来度量图像的局部结构信息。同时，为了进一步提高方法的性能，作者考虑到颜色信息的重要性，将相应的颜色特征加入到方法中并最终获得了较好的实验结果。

[Ref] L. Zhang, L. Zhang, X. Mou, and D. Zhang, “FSIM: A feature similarity index for image quality assessment,” IEEE Trans. Image Process., vol. 20, no. 8, pp. 2378–2386, Aug. 2011.

IWSSIM：Wang等人着眼于全参考图像感知质量评价两步骤中的质量融合阶段，提出了一个多尺度信息内容加权的图像质量评价方法（information content weighted structural similarity index metric, IW-SSIM），该方法目标在于寻找一个最优的适合于图像质量评价的质量融合方法，且可以被认为是一系列相关方法的有效结合，其中包括了基于尺度变化加权的多尺度图像分解，基于结构相似性的局部质量度量，以及视觉内容信息和保真度的信息理论分析。实验结果表明，基于信息内容加权的图像质量评价算法能够获得更好的算法性能，且相应的加权方法可以扩展到现有的一些图像质量评价方法中。

[Ref] Z. Wang and Q. Li, “Information content weighting for perceptual image quality assessment,” IEEE Trans. Image Process., vol. 20, no. 5, pp. 1185–1198, May 2011.

SRSIM：现有图像质量评价方法虽然能够获得与主观图像质量较为一致的结果，但是其相应的计算代价较大且难于应用到实际当中。针对实时的要求，作者提出了一个基于谱残差视觉显著性的快速有效的图像质量评价方法（spectral residual based similarity, SRSIM）。该方法假设图像的视觉显著图与其相应的感知质量有关。实验表明，该方法不仅有较好的结果，且具有低计算复杂度的优点。

[Ref] L. Zhang, H. Li, “SR-SIM: A fast and high performance IQA index based on spectral residual,” IEEE International Conference on Image Processing, 2012.

GSIM：Liu等人提出了一个基于梯度相似性的图像质量评价方法（gradient similarity index metric, GSIM）。作者认为梯度保护重要的视觉信息，并且对于场景理解十分关键。通过使用梯度相似性对图像中的结构以及对比度的改变进行度量，同时对于图像亮度改变也进行考虑，从而形成最终的具有鲁棒性强的完整的图像质量评价方法。

[Ref] A. Liu, W. Lin, and M. Narwaria, “Image quality assessment based on gradient similarity,” IEEE Trans. Image Process., vol. 21, no. 4, pp. 1500–1512, Apr. 2012.

SPSIM：全参考图像质量评价算法通常对参考图像与失真图像的方块进行特征提取并进行比较，这些相应的方块本身并没有任何的视觉意义。相反，由部分图像像素组成的超像素块具有类似的视觉特征和感知意义，而基于超像素块提取的特征能够一定程度上提高图像质量评价算法的性能。因而，作者提出了基于超像素块的相似性图像质量评价指标（superpixel-based similairtiy index metric, SPSIM），该方法从超像素亮度相似性，超像素颜色相似性以及梯度相似性三个角度对图像质量进行评价，其中前两个角度是对局部图像的整体视觉感知的度量，而第三个角度则是对结构变化的量化，通过对基于超像素块的区域梯度一致性的分析，根据三种方式的质量度量计算出图像的最终质量分数。

[Ref] W. Sun, Q. Liao, J. Xue, and F. Zhou, “SPSIM: A superpixel-based similarity index for full-reference image quality assessment,” IEEE Trans. Image Process., vol. 27, no. 9, pp. 4232–4244, Apr. 2018.

GMSD：图像的梯度对于图像中的失真十分敏感，而在失真图像中，不同的局部结构可能受到不同程度的降质，Xue等人提出了一种高效的图像质量评价模型，即梯度幅度相似性偏差（gradient magnitude similarity deviation, GMSD）。通过计算失真图像与原始图像的逐像素梯度幅度相似性，并利用一种新的质量融合策略，计算出整体梯度幅度相似性图的标准差作为图像的相应感知质量，实验表明该方法能够有效地准确预测图像的相应感知质量。

[Ref] W. Xue, L. Zhang, X. Mou, and A. C. Bovik, “Gradient magnitude similarity deviation: A highly efficient perceptual image quality index,” IEEE Trans. Image Process., vol. 23, no. 2, pp. 684–695, Feb. 2014.

MDSI：通常，传统的梯度相似性对于结构性失真的判断与人类视觉系统的判断存在较大差异，可能对于图像中边的信息判断产生一定的错误，因此，Nafchi等人提出了一个基于新的梯度和颜色相似性的有效可靠的图像质量评价模型（mean deviation similarity index, MDSI）。该方法结合了梯度相似性，颜色相似性以及偏差融合。其中梯度相似性用于度量局部结构失真，而颜色相似性用于测量相应的颜色失真。常见的质量融合方法包括均值融合、Minkowski融合、百分比融合、指数融合和偏差融合等，作者通过比较这些质量融合方法以及进行相应的实验分析，提出了结合指数融合和偏差融合的融合方法，该融合方法使得整个模型能够获得更加合理的图像质量分数。

[Ref] H. Z. Nafchi, A. Shahkolaei, R. Hedjam, and M. Cheriet, “Mean deviation similarity index: efficient and reliable full-reference image quality evaluator,” IEEE Access., vol. 4, pp. 5579-5590, 2016.

IFC：Sheikh等人提出了一个基于自然场景统计的信息保真度度量指标（information fidelity criterion, IFC）。该方法通过对原始图像信号和失真信号进行建模，量化图像间的互信息从而度量图像的感知质量。

[Ref] H. R. Sheikh, A. C. Bovik, and G. de Veciana, “An information fidelity criterion for image quality assessment using natural scene statistics,” IEEE Trans. Image Process., vol. 14, no. 12, pp. 2117–2128, Dec. 2005.

VIF：基于前述的信息保真度方法，作者通过结合图像信息度量方法（包括参考图像在失真过程中的信息损失量化和从失真图像中提取的有关参考图像信息的量化），进一步提出用于图像全参质量评价的视觉信息保真度度量方法（visual information fidelity，VIF）。该方法较为深入的探讨了有关图像信息和视觉质量之间的关系。

[Ref] H. R. Sheikh and A. C. Bovik, “Image information and visual quality,” IEEE Trans. Image Process., vol. 15, no. 2, pp. 430–444, Feb. 2006.

VSNR：Chandler等人提出了一个基于人类视觉的近域和域上属性的图像质量评价方法，即视觉信噪比（visual signal-to-noise ratio, VSNR），用以度量自然图像的视觉保真度。该方法可以具体分为两个阶段，在第一阶段中，通过对图像进行基于视觉掩码和视觉求和的小波模型计算，获得相应的用于失真检测的对比度阈值，且该阈值表示的是失真图像中的失真是否可见。如果检测的失真低于阈值，则认为该图像的质量有较好的保真度，反之，如果检测的失真超过阈值，对于图像的对比度感知的低水平视觉属性和全局优先的中等水平的视觉属性，利用多尺度小波分解后的对比度失真空间中的欧几里得距离来对前述两种图像属性进行度量表示，而最终的指标定义为相应距离的线性求和。

[Ref] D. M. Chandler and S. S. Hemami, “VSNR: A wavelet-based visual signal-to-noise ratio for natural images,” IEEE Trans. Image Process., vol. 16, no. 9, pp. 2284–2298, Sep. 2007.

MAD：传统的图像质量评价方法主要围绕着准确建模人类视觉系统在图像质量判断中的单一相关策略（如视觉差异检测和图像结构等信息的提取），而Larson等人表示人类视觉系统通常使用多种策略来对图像的质量进行判断，并进一步提出了最明显失真的图像质量评价方法（most apparent distortion, MAD）。整个模型划分为基于检测的策略和基于外观的策略两种，其中，基于检测的策略是针对于图像包含近域失真的情况（即失真较少或较低，图像内容明显），利用局部亮度和对比度掩码度量高质量图像中的基于检测的感知失真，该情况下人类视觉系统尝试忽视质量好的图像内容而寻找其中存在的失真；基于外观的策略则关注于图像包含明显失真的情况（即图像内容较少，失真明显），利用空间频率成分的局部统计变化来度量低质量图像中的基于外观的感知失真，该情况下人类视觉系统忽视质量差的失真而寻找其中较少的图像内容。

VSI：视觉显著性在众多领域已经得到了较为广泛的研究，直观上，视觉显著性与图像的质量评价有关，图像中失真的引入使得图像的显著性受到较大的影响。Zhang等人提出了一个简单有效的基于视觉显著性的图像质量评价方法（visual saliency-based index, VSI），该方法中使用视觉显著性主要从两个角度考虑，一个是将视觉显著作为特征用于计算图像的局部质量图，另一个则是将视觉显著作为反映局部区域重要性的局部权重以计算最终的图像质量。

[Ref] L. Zhang, Y. Shen, and H. Li, “VSI: A visual saliency-induced index for perceptual image quality assessment,” IEEE Trans. Image Process., vol. 23, no. 10, pp. 4270–4281, Aug. 2014.

2. 半参考（RR）：RRED、OSVP...

RRED：Soundararajan等人对于半参考图像质量评价进行了一定的研究，提出了基于信息理论的半参考图像质量评价方法（reduced reference entropic differencing, RRED），该方法通过使用可操作金字塔分解将原始图像和失真图像分解为不同方向和尺度的分量，并进一步度量原始图像和失真图像有关小波系数的熵的差异以计算相应的图像质量分数。

[Ref] R. Soundararajan, A. C. Bovik, “RRED Indices: Reduced reference entropic differencing for image quality assessment,” IEEE Trans. Image Process., vol. 21, no. 2, pp. 517–526, Feb. 2012.

OSVP：神经科学研究表明，人类视觉系统对于视觉内容的提取存在明显的方向选择机制，方向选择的产生是由局部连接域内连接的皮层神经元之间兴奋性和抑制性相互作用的排列引起的。Wu等人提出了一个基于方向选择视觉模式的半参考图像质量评价方法。该方法意在模仿方向选择机制以更合理的提取图像中的相关特征，通过将提取到的视觉特征映射成特征直方图，进而根据原始图像和失真图像之间的直方图差异计算出图像的最终质量分数。

[Ref] J. Wu, W. Lin, G. Shi, L. Li, and Y. Fang, "Orientation selectivity based visual pattern for reduced-reference image quality assessment," Information Science., vol. 351, pp. 18-29, Jul. 2016.

3. 无参考（NR）：NQM、NIQE、ILNIQE、LBIQ、BRISQUE、CORNIA、QAC、BLISS、FRIQUEE...

opinion-aware + opinion-unaware

NQM：Venkata等人基于滤波和噪声的精神视觉性效应是分离现象的观察，提出了两种降质的度量方法，即失真度量（distortion measure, DM）和噪声质量度量（noise quality measure, NQM）。其中，失真度量是对人类视觉系统对频率失真产生的效应的度量，而噪声质量度量是对人类视觉系统对其他噪声产生的效应的度量。且噪声质量度量基于佩利对比度金字塔，并进一步考虑到有关距离，图像维度和空间频率的对比度敏感的变化，局部亮度均值的变化，空间频率间的对比度的交互以及对比度掩码效应等多种因素。

[Ref] N. D. Venkata, T. D. Kite, W. S. Geisler, B. L. Evans, and A. C. Bovik, “Image quality assessment based on a degradation model,” IEEE Trans. Image Process., vol. 9, no. 4, pp. 636-650, Apr. 2000.

NIQE：Mittal等人提出了基于自然场景统计的盲图像质量评价模型（natural image quality evaluator, NIQE）。该方法仅利用从自然图像中观察到的统计规律进行失真偏差的度量，通过构建一系列质量相关的统计特征以实现对图像的质量预测。实验结果表明，该模型能够超过经过人类主观判断训练得到的无参考质量评价方法，甚至是部分全参考图像质量评价方法。

[Ref] A. Mittal, R. Soundararajan, and A. C. Bovik, “Making a completely blind image quality analyzer,” IEEE Signal Process. Lett., vol. 20, no. 3, pp. 209–212, Mar. 2011.

ILNIQE：早期的无参考图像质量评价模型通常假设图像的质量受到一种或者多种失真的影响，因此，针对特定失真的特征被提出以用来进行图像的质量预测。Zhang等人在NIQE的基础上，提出了一种非主观意识的盲图像质量评价算法（integrated local NIQE, ILNIQE），通过从多个角度提取自然图像中的统计特征，构造学习多元高斯模型，利用学习到的多元高斯模型作为参考模型，对待预测图像的图像块计算相应的距离，从而得到图像的预测分数。

[Ref] L. Zhang, L. Zhang, and A. C. Bovik, “A feature-enriched completely blind image quality evaluator,” IEEE Trans. Image Process., vol. 24, no. 8, pp. 2579–2591, Aug. 2015.

LBIQ：Tang等人提出了一个盲图像质量评价方法（learning based blind image quality measure, LBIQ），该方法具有感知相关性强，失真类型偏差小的特点。在该方法中，一些新的相关低水平的特征（如边缘分布相关特征，跨尺度联合分布特征和模糊噪声统计特征）被提出以用于图像质量的度量，作者表明，该方法是第一个感知准确的图像质量测量方法，它不需要相关参考图像或图像退化过程的知识，并且提供了不受失真类型影响的分数。

[Ref] H. Tang, N. Joshi, and A. Kapoor, “Learning a blind measure of perceptual image quality,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2011.

BRISQUE：Mittal等人提出了一个基于自然场景统计通用失真无参考图像质量评价模型（blind/referenceless image spatial quality evaluator, BRISQUE），作者通过使用局部亮度归一化系数的场景统计值来量化图像中由于失真引入常识的非自然性。该方法不需要进行特定的空间转换，且使用的基本特征主要来自于空间自然场景统计模型下局部归一化亮度的经验分布和局部归一化亮度的乘积。

[Ref] A. Mittal, A. K. Moorthy, and A. C. Bovik, “No-reference image quality assessment in the spatial domain,” IEEE Trans. Image Process., vol. 21, no. 12, pp. 4695–4708, Dec. 2012.

CORNIA：现有的无参考图像质量评价方法依赖于一系列相关特征的设计，这些手工提取的特征的设计基于某些先验知识，用于捕捉影响图像质量的因素，然而，这些特征往往难于解释。Ye等人提出了一个基于无监督特征学习的无参考图像质量评价模型框架（codebook representation for no-reference image assessment, CORNIA），通过使用一些原始图像块学习相应的字典编码内容，利用软分配编码和最大池化获得图像质量的有效表示。

[Ref] P. Ye, J. Kumar, L. Kang, and D. Doermann, “Unsupervised feature learning framework for no-reference image quality assessment,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2012, pp. 1098–1105.

QAC：为了有效解决无参考图像质量评价中对于主观评分图像数据训练的依赖问题，Xue等人提出了一个盲图像质量评价算法，该算法通过对失真图像进行分块和池化得到相应的局部块质量，利用质量相关聚类模型（quality-aware clustering, QAC）获得不同质量水平的聚类中心，这些聚类中心被作为码本以用于待测图像块质量的计算。实验表明该方法能够获得与人类感知的图像质量线性相关的结果。

[Ref] W. Xue, L. Zhang, and X. Mou, “Learning without human scores for blind image quality assessment,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2013, pp. 995–1002.

BLISS：作者提出了一种无监督的图像质量评价方法（blind learning of image quality using synthetic scores, BLISS），通过将多种有效全参考图像质量评价方法进行结合并获得单一合成的质量分数，用具有高相关性的合成质量分数作为人类主观分数的近似值以进一步训练得到相应的图像质量评价模型。其中，不同的全参考图像质量评价方法的分数通过无监督的排序聚集进行融合，实验结果表明通过合成得到的质量分数相应的性能超过单一全参考图像质量评价方法本身。

[Ref] P. Ye, J. Kumar, L. Kang, and D. Doermann, “Beyond human opinion scores: blind image quality assessment based on synthetic scores,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2014.

FRIQUEE：现有的无参考图像质量评价方法主要针对于合成失真，虽然它们在已有的合成失真图像数据库上能获得较好的性能，但是对于包含复杂失真的真实失真图像往往效果较差。Ghadiyaram等人提出了一种基于特征图的针对真实失真的图像质量评价方法（feature maps based referenceless image quality evaluation engine, FRIQUEE）。该方法目的是对真实图像统计的一致性或一致性的偏离的捕获，而不关注于对图像中包含失真类型的假设。通过使用一些真实失真图像数据和相应的主观分数，提取相应图像的特征集合（bags of features），进而训练出图像感知质量预测的回归模型。

[Ref] D. Ghadiyaram, A. C. Bovik, “Perceptual quality prediction on authentically distorted images using a bag of features approach,” Journal of Vision, 2017, 17(1):32-.

除了以上介绍的一些经典方法，更多的有关传统图像质量评价的方法在近两年中不断被提出，获得更好的实验结果，算法性能不断得到提升。

[Ref] J. Wu, W. Lin, G. Shi, and A. Liu, “Perceptual quality metric with internal generative mechanism,” IEEE Trans. Image Process., vol. 22, no. 1, pp. 43 –54, Jan. 2013.

[Ref] Y. Fang, K. Ma, Z. Wang, W. Lin, Z. Fang, and G. Zhai, “No-reference quality assessment for contrast-distorted images based on natural scene statistics,” IEEE Signal Process. Lett., vol. 22, no. 7, pp. 838-842, Jul. 2015.

[Ref] K. Gu, G. Zhai, X. Yang, and W. Zhang, "Using free energy principle for blind image quality assessment," IEEE Trans. Multimedia., vol. 17, no. 1, pp. 50-63, Jan. 2015.

[Ref] K. Gu, G. Zhai, W. Lin, X. Yang, and W. Zhang, "No-reference image sharpness assessment in autoregressive parameter space," IEEE Trans. Image Process., vol. 24, no. 10, pp. 3218-3231, Oct. 2015.

[Ref] P. Zhang, W. Zhow, L. Wu, and H. Li, “SOM: Semantic Obviousness Metric for Image Quality Assessment,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2015.

[Ref] L. Li, W. Xia, W. Lin, Y Fang, and S. Wang. “No-reference and robust image sharpness evaluation based on multi-scale spatial and spectral features,” IEEE Trans. Multimedia., vol. 19, no. 5, pp. 1030-1040, May. 2017.

[Ref] K. Gu, L. Li, H. Lu, X. Min, and W. Lin, "A fast reliable image quality predictor by fusing micro- and macro-structures," IEEE Trans. Ind. Electron., vol. 64, no. 5, pp. 3903-3912, May. 2017.

[Ref] S. Wang, C. Deng, W. Lin, G. Huang, and B. Zhao, “NMF-based image quality assessment using extreme learning machine,” IEEE Trans. Cybern., vol. 47, no. 1, pp. 232-243, 2017.

[Ref] R. A. Manap, L. Shao, and A. F. Frangi, “PATCH-IQ: A patch based learning framework for blind image quality assessment,” Inf. Sci., vol. 420, pp. 329-344, 2017.

[Ref] Q. Wu, H. Li, F. Meng, and K. N. Ngan, "A perceptually weighted rank correlation indicator for objective image quality assessment," IEEE Trans. Image Process., vol. 27, no. 5, pp. 2499-2513, May. 2018.

[Ref] Q. Wu, H. Li, K. N. Ngan, and K. Ma, “Blind image quality assessment using local consistency aware retriever and uncertainty aware evaluator,” IEEE Trans. Circuits Syst. Video Technol., vol. 28, no. 9, pp. 2078-2089, Sep. 2018.

[Ref] E. D. Claudio, G. Jacovitti, “A detail-based method for linear full reference image quality prediction,” IEEE Trans. Image Process., vol. 27, no. 1, pp. 179-193, Jan. 2018.

[Ref] Z. Tang, Y. Zheng, K. Gu, K. Liao, W. Wang, and M. Yu, “Full-reference image quality assessment by combining features in spatial and frequency domains,” IEEE Trans. Broadcast., vol. 65, no. 1, pp. 138-151, Mar. 2019.

[Ref] M. Oszust, “Local feature descriptor and derivative filters for blind image quality assessment,” IEEE Signal Process. Lett., vol. 26, no. 2, pp. 322-326, Feb. 2019.

[Ref] S. Xu, J. Bauer, and B. Axmann, “CD2 : combined distances of contrast distributions for the assessment of perceptual quality of image processing,” arXiv, 2019.

(2) deep-based方法：score-based（patchwise、imagewise）、rank-based（pair、list）、multi-task
path-wise和image-wise策略的基于卷积神经网络的无参考图像质量评价模型：

部分聚集和池化策略示例：

[Ref] C. Li, A. C. Bovik, and X. Wu, “Blind image quality assessment using a general regression neural network,” IEEE Trans. Neural Netw. Learn. Syst., vol. 22, no. 5, pp. 793–799, May. 2011.

[Ref] J. Kim, H. Zeng, D. Ghadiyaram, S. Lee, L. Zhang and A. C. Bovik, “Deep convolutional neural models for picture-quality prediction,” IEEE Signal Process. Mag., pp. 130-141, Nov. 2017.

1. Score-based Model

IQA-CNN（NR-patch）：作为首个将空间卷积神经网络模型在图像质量评价领域应用的工作，Kang等人提出了一个基于卷积神经网络（convolutional neural networks, CNN）的无参考图像质量评价方法，该方法的网络模型由一层卷积、最大最小池化以及两层全连接层组成，通过该网络模型将特征学习和分数回归等融合到同一个优化过程当中。以重叠取样的图像块作为网络输入（图像已做了相应的局部归一化操作），通过网络模型提取相应的空间域的相关特征，最终预测最终的图像块质量分数。值得注意的是，因为用来训练和预测的数据集均为人工合成失真，较为均匀分布在整张图像当中，因此，该方法默认对于同一张图片而言，其中的若干图像块的主观质量分数都为图像本身的质量分数。

[Ref] L. Kang, P. Ye, Y. Li, and D. Doermann, “Convolutional neural networks for no-reference image quality assessment,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2014.

DLIQA（NR）：心理学研究表明，人们相比于数值化的评价更喜欢定性地评价。通过将定性地评价结果转换为数值分数，以得到较为基准的客观图像质量评价分数。然而，在语言性的描述转化为数值分数这个不可逆的过程中，一些重要的信息可能会被丢失。Hou等人提出了一个从语言描述中学习相应规则以获得图像的视觉质量的方法（deep learning based image quality assessment, DLIQA）。该方法先利用从图像提取到的自然场景统计特征进行深度分类模型的训练，分类的五个等级包括极好、好、一般、较差、非常差，通过直接学习定性地评价，然后通过设计的质量池化操作，将定性的标签转化为公平通用的质量分数。

[Ref] W. Hou, X. Gao, D. Tao, and X. Li, “Blind image quality assessment via deep learning,” IEEE Trans. Neural Netw. Learn. Syst., vol. 26, no. 6, pp. 1275–1286, Jun. 2015.

Deepiqa（NR-patch）：Bosse等人提出了一个基于深度卷积神经网络的无参考图像质量评价方法，该方法将无任何预处理的图像块作为网络输入，并通过池化获得最终的图像质量分数。其中，为了解决局部变化敏感性问题，作者提出了一个图像块质量聚集的加权平均方法，通过将网络的输出定义为2维，其中的一维视作图像块的质量分数的对应权重，并利用获得的权重去加权图像块的质量分数得到最终的图像质量分数。

[Ref] S. Bosse, D. Maniry, T. Wiegand, and W. Samek, “A deep neural network for image quality assessment,” IEEE International Conference on Image Processing, 2016.

DeepQA（FR-image-有中间图）：Kim等人提出了一个基于卷积神经网络的全参考图像质量评价模型（deep image quality assessment, DeepQA）。通过使用失真图、客观的误差图以及相应的主观分数训练学习人类视觉系统中的视觉敏感特性，并且加入了额外的整体变化正则项以惩罚预测的敏感图中的高频成分。模型的输入为归一化的失真图像以及由归一化后的原始图像和失真图像产生的客观误差图。该模型能够产生相应的作为中间结果的感知误差图。

[Ref] J. Kim, S. Lee, “Deep learning of human visual sensitivity in image quality assessment framework,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2017.

BIECON（NR-patch-有中间图）：Kim等人提出了一个基于卷积神经网络的盲图像质量评价方法（blind image evaluator based on a convolutional neural network, BIECON），通过使用部分全参考图像质量评价方法中的局部质量图作为中间结果对模型进行训练，使得模型获得图像质量预测高准确的性能，另外，在最终的回归中将池化阶段引入以实现整个模型参数的整体优化。

[Ref] J. Kim, S. Lee, “Fully deep blind image quality predictor,” IEEE J. Sel. Topics Signal Process., vol. 11, no. 1, pp. 206–220, Feb. 2017.

NAR-DCNN（FR-patch）：Liang等人提出了一个双通道基于卷积神经网络的全参考图像质量评价模型，他们试图利用类似场景的未对齐图像作为参考图来预测质量，从而将问题泛化。局部归一化后的失真图像和参考图像块被输入到一个双通道的CNN模型中，模型之间的参数值是共享的。通过对学习的特征向量进行拼接并进一步回归到原失真图像的主观分数上。同时，作者还探索了当前在对齐和非对齐场景的情况下的全参考模型的质量预测精度。

[Ref] Y. Liang, J. Wang, X. Wan, Y. Gong, and N. Zheng, “Image quality assessment using similar scene as reference,” in Proc. European Conf. Computer Vision, 2016, pp. 3-18.

DIQaM-FR+WaDIQaM-FR（FR/NR-patch）：Bosse等人提出了一个基于深度神经网络的图像质量评价方法，所提框架的特点在于，通过简单的改变该框架既能用于无参考图像质量评价（deep image quality measure w/wo weighted average for NR, DIQaM-NR/WaDIQaM-NR），也能够用于全参考参考图像质量评价（deep image quality measure w/wo weighted average for FR, DIQaM-FR/WaDIQaM-FR）；在一个通用的框架中，对于局部质量和局部权重（即局部质量相比于全局质量的相对重要性）的训练可以是同时的，其中，通过加权平均策略将局部图像块质量池化到全局图像质量。

[Ref] S. Bosse, D. Maniry, K. Muller, T. Wiegand and W. Samek, "Deep neural networks for no-reference and full-reference image quality assessment," IEEE Trans. Image Process., vol. 27, no. 1, pp. 206-219, Jan. 2018.

NIMA（NR-image）：不同于常见的深度图像质量评价方法，Talebi等人提出了一个使用卷积神经网络来预测人类主观分数的分布的图像质量评价方法，该方法中的网络不仅可以被用于图像质量分数预测，也可以有助于帮助调整和优化图像编辑和增强算法。且该方法中的网络损失函数使用地动距离（Earth Mover’s Distance, EMD）。

[Ref] H. Talebi, P. Milanfar, "NIMA: neural image assessment," IEEE Trans. Image Process., vol. 27, no. 8, pp. 3998-4011, Aug. 2018.

[Ref] L. Hou, C.-P. Yu, and D. Samaras, “Squared earth mover’s distance-based loss for training deep neural networks,” arXiv, 2016.

[Ref] E. Levina and P. Bickel, “The earth mover’s distance is the mallows distance: Some insights from statistics,” in Proc. IEEE Int. Conf. Comput. Vis., 2001, pp. 251–256.

BPSQM（NR-patch-有中间图）：Pan等人提出了一个无参考图像质量评价方法（blind predicting similar quality map, BPSQM），该方法包含一个全卷积神经网络和池化网络，其中，通过使用传统全参考质量评价方法中的相似图训练全局卷积网络，使得网络能够预测出失真图像相对应的相似质量图，而池化网络则用于将质量图回归到质量分数。同时，作者表示如果用于训练的相似图越好，则该方法的性能也会越好。

[Ref] D. Pan, P. Shi, M. Hou, Z. Ying, S. Fu and Y. Zhang, “Blind predicting similar quality map for image quality assessment,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2018.

LPIPS（FR-patch）：Zhang等人构建了一个新的有关人类感知相似性判断的数据集，并提出了图像感知相似性学习方法（learned perceptual image patch similarity, LPIPS），同时系统地评价不同结构和任务下的深度特征，且与传统的指标进行比较。实验结果表明，用于分类和检测任务的特征越鲁棒，那么其用于感知相似性判断的作用也越强。

[Ref] R. Zhang, P. Isola, A. A. Efros, E. Shechtman, and O. Wang, “The unreasonable effectiveness of deep features as a perceptual metric,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2018.

DIQA（NR-patch-有中间图）：Kim等人提出了基于深度卷神经网络的无参考图像质量评价模型（deep image quality assessor, DIQA），该方法分为两个阶段，一个阶段是利用归一化后的图像块训练CNN以预测客观误差图，另一个则是训练模型以预测图像感知质量分数。为了补偿图像中均匀区域的客观误差图预测的不准确，作者提出了相应的置信图，并且加入了两个手工提取的特征以增强算法模型的性能。同时，也提出了可视化视觉感知误差图的方法。

[Ref] J. Kim, A. Nguyen, and S. Lee, “Deep cnn-based blind image quality predictor,” IEEE Trans. Neural Netw. Learn. Syst., vol. 30, no. 1, pp. 11–24, Jan. 2019.

VRAP（NR-image-有中间图）：Gu等人提出了一个基于向量回归和面向对象池化的无参考图像质量评价方法（vector regression and object oriented pooling, VROP），该方法包括两个过程，分别是置信分数测量和面向对象池化。其中，先通过估算置信分数向量以预测图像的客观分数，该置信分数向量表示图像质量在相应等级的可信度以及质量判断的不确定性，置信分数测量通过卷积网络实现，而面向对象池化策略则利用物体检测方法，结合图像内容的语义信息（即含有物体的区域将获得更大的权重）以提升整体性能。

[Ref] J. Gu, G. Meng, J. Redi, S. Xiang, and C. Pan, “Blind image quality assessment via vector regression and object oriented pooling,” IEEE Trans. Multimedia., vol. 19, no. 5, pp. 1140-1153, May. 2018.

[Ref] J. Gu, G. Meng, L. Wang, and C. Pan, “Learning deep vector regression model for no-reference image quality assessment,” in Proc. Int. Conf. Acoust., Speech, Signal Process., 2017, pp. 2961–2965.

上述的研究为基于深度卷积神经网络的图像质量评价相关内容，除此之外，由于生成对抗网络和相应变种在人脸图片和室内场景的生成中取得了良好的性能，因此，基于生成对抗网络以及其各种变形的网络也被进一步应用到图像质量评价当中。

[Ref] I. J. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S. Ozair, A. C. Courville, and Y. Bengio. Generative adversarial networks. CoRR, 2014.

[Ref] M. Arjovsky, S. Chintala, and L. Bottou. Wasserstein generative adversarial networks. in ICML, 2017.

Hallucinated-IQA（NR-image）：Lin等人提出了一个“幻觉”指导的基于深度神经网络的无参考图像质量评价方法（hallucination-guided image quality assessment），该方法在对抗性学习方式下，利用特殊设计的质量评价判别器，设计质量感知生成网络产生相应的“幻觉”参考图像以弥补真实参考图像的缺失，同时利用引入“幻觉”导向的质量回归网络来捕捉失真图像和“幻觉”图像之间的感知差异，从而预测出准确的图像感知质量结果。该方法提出的质量感知生成网络和质量感知损失以互补的方式考虑纹理特征相似度和质量特征相似度，以帮助生成合格的幻觉参考图像，通过将感知差异信息结合到网络学习中，克服了现有无参考图像质量评价的病态性，显著提高了预测精度和鲁棒性。

[Ref] K. Lin, G. Wang, “Hallucinated-IQA: no-reference image quality assessment via adversarial learning” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2018.

RAN4IQA（NR-patch）：Ren等人提出基于生成对抗网络的无参考图像质量评价模型（restorative adversarial net, RAN）。作者受到大脑自由能理论（人类视觉系统倾向于减少不确定性，并在看到失真图像时修复感知细节）的启发，模拟人类视觉系统感知过程，将整个模型分为三部分内容，分别是修复器、判别器和评估器。其中，修复器对失真图像进行修复和重建，判别器则区分重建图像和原始参考图像。另外，修复图像和失真图像间的感知距离与失真水平呈单调关系。通过RAN对输入失真图像进行修复，基于修复收益（gain of restoration, GoR）提取失真图像和修复图像的特征，并进行比较以得到感知质量。特别地，该方法中用于模型训练的数据是基于Waterloo数据库，相应的图像质量分数标签和失真权重由FSIM算法计算得到。

[Ref] H. Ren, D. Chen, Y. Wang, “RAN4IQA: Restorative Adversarial Nets for No-reference Image Quality Assessment,” in Thirty-Second AAAI Conference on Artificial Intelligence, 2018.

Deep HVS-IQA Net（FR-patch）：Seo等人提出人类视觉系统启发的深度图像质量评价网络模型（HVS-inspired deep IQA network, Deep HVS-IQA Net），其中，人类精神物理特性如视觉显著性和最小可觉差（just noticeable difference, JND）首次被同时引入到图像质量评价网络的设计当中。同时，为了提高模型预测性能，将排序损失加入到训练损失函数中，使得网络模型能够有效提取图像中有关质量预测的重要感知特征。通过考虑通道间的相互依赖，将通道注意力结合到深度网络中以实现信息量高的特征的识别和提取。

[Ref] S. Seo, S. Ki, and M. Kim, “Deep HVS-IQA Net: human visual system inspired deep image quality assessment networks,” arXiv, 2019.

SFA（NR-patch）：现有的无参考图像质量评价方法在图像内容的变化的情况下往往会得到与人视觉感知相矛盾的结论。为了消除图像内容变化的影响，Li等人提出了一个基于语义特征聚集的无参考图像质量评价方法（semantic feature aggregation, SFA），网络模型输入为从图像中采样得到的重叠图像块。为了定量化测量图像内容变化带来的影响，作者主要关注模糊为主的失真，设计实验构建新的数据集（质量难区分图像対数据集和质量易区分图像対数据集）并且定义了新的量化指标。同时，在模型的特征聚集阶段，作者使用三种聚集策略对特征进行有效聚集，分别是均值方差聚集、分位点聚集和矩聚集。

[Ref] D. Li, T. Jiang, W. Lin, and M. Jiang, “Which has better visual quality: the clear blue sky or a blurry animal?,” IEEE Trans. Multimedia., vol. 21, no. 5, pp. 1221-1234, Nov. 2019.

2. Multi-task Model

BIQI（NR）：Moorthy等人提出了一个基于自然场景统计的两步骤无参考图像质量评价算法（blind image quality assessment, BIQI）。为了将失真图像分类为特定失真类型，失真图像统计（distorted image statistics, DIS）被提出。通过对失真图像提取相应的统计特征对图像进行失真分类，并根据分类结果回归图像的质量分数。

[Ref] A. K. Moorthy, A. C. Bovik, “A two-step framework for constructing blind image quality indices,” IEEE Signal Process. Lett., vol. 17, no. 5, pp. 513-516, May. 2010.

IQA-CNN++（NR-patch）：Kang等人提出基于多任务卷积神经网络的图像质量评价模型，该模型能够同时预测图像的质量以及对图像包含的失真进行分类。同时实验结果表明通过多任务训练，使得图像的失真分类性能提升，但作者也表明仅仅简单将额外的任务进行添加并不一定能得到较优的结果。

[Ref] L. Kang, P. Ye, Y. Li, and D. Doermann, “Simultaneous estimation of image quality and distortion via multi-task convolutional neural networks,” in Proc. IEEE Int. Conf. Image Process., 2015, pp. 2791–2795.

MRLIQ（NR）：现有基于机器学习的图像质量评价方法通常构建通用的针对所有失真或者特定失真模型，由于训练数据的缺乏，导致训练的模型结果趋向于过拟合。为了解决这些问题，Xu等人提出了多任务学习的图像质量评价模型（multi-task rank-learning-based IQA, MRLIQ）。不同类型失真中的共有特征被挖掘，既利于训练模型的泛化能力，同时也一定程度上预防过拟合。且模型的训练数据先按照失真类型进行聚类，结合每张图的权重对网络模型进行训练，得到相应的图像质量排序，再利用图像质量累积差异（accumulative image quality difference, AIQD）将图像排序转化成质量分数。

[Ref] L. Xu, J. Li, W. Lin, Y. Zhang and L. Ma, Y. Fang, and Y. Yan, “Multi-task rank learning for image quality assessment,” IEEE Trans. Circuits Syst. Video Technol., vol. 27, no. 9, pp. 1833-1843, Sep. 2017.

Chen等人提出了一个无参考图像质量评价算法，作者将无参考图像质量评价看作一个动态的感知过程，模型首先从图像中采用一些信息区域，然后将这些信息进行聚集以学习相关的表达，从而完成图像质量分数和失真类型同时预测的任务。其中，模型的学习通过强化学习的策略进行，任务的奖励机制指引模型学习逐渐偏向于采样有利于预测更加准确的任务信息的图像区域。该方法的制定和设计依赖于三部分相关内容，分别是视觉注意力机制、鲁棒的平均策略和多任务的学习，其中，视觉注意力机制从多方面影响视觉感知，图像中人眼关注的区域可能包含有关图像质量评价的关键信息；鲁棒的平均策略意味着通过结合多重信息做出最终的感知判断；而多任务学习被认为是塑造表征学习的有效手段。

[Ref] D. Chen, Y. Wang, T. Wu, and W. Gao, “An attention-driven approach of no-reference image quality assessment,” arXiv, 2017.

MEON（NR）：Ma等人提出基于多任务端到端优化的深度神经网络的无参考图像质量评价方法（multi-task end-to-end optimized deep neural network, MEON）。MEON包含两个子网络，一个用于失真类型判别，另一个用于图像质量预测，且两个子网络的前面部分参数共享。不同于传统多任务学习网络，该模型的训练过程包括两部分，先利用相应数据集对失真类型判别子网络进行训练，然后在第一步网络训练的基础上对质量预测网络进行联合训练，得到最终的网络模型。作者使用生物启发的广义分散归一化（generalized divisive normalization, GDN）替换常见的激活函数，实验证明，广义分散归一化不仅能有效减少网络模型的参数，同时实现想类似的质量预测性能。

[Ref] K. Ma, W. Liu, T. Liu, K. Zhang, Z. Duanmu, Z. Wang, and W. Zuo, "End-to-end blind image quality assessment using deep neural networks," IEEE Trans. Image Process., vol. 27, no. 3, pp. 1202-1213, Mar. 2018.

[Ref] L.Xu, J. Li, W. Lin, Y. Zhang, Y. Zhang, and Y. Yan, “Pairwise comparison and rank learning for image quality assessment,” Displays, vol. 44, pp. 21-26, 2016.

[Ref] J. Guan, S. Yi, X. Zeng, W. Cham, and X. Wang, “Visual importance and distortion guided deep image quality assessment framework,” IEEE Trans. Multimedia., vol. 19, no. 11, pp. 2505-2520, Nov. 2017.

[Ref] C. Huang, T. Jiang, and M. Jiang, “Encoding distortions for multi-task full-reference image quality assessment,” in Proc. IEEE Int. Conf. Multimedia and Expo, 2019.

[Ref] S. Yang, Q. Jiang, W. Lin, and Y. Wang, “SGDNet: an end-to-end saliency-guided deep neural network for no-reference image quality assessment,” in ACM International Conference on Multimedia. 2019.

[Ref] W. Zhang, K. Ma, J. Yan, D. Deng and Z. Wang, “Blind image quality assessment using a deep bilinear convolutional neural network,” IEEE Trans. Circuits Syst. Video Technol., vol. 30, no. 1, pp. 36-47, Jan. 2020.

3. Rank-based Model

现有已有一些基于排序学习的方法被提出。

[Ref] T.-Y. Liu, “Learning to rank for information retrieval,” Found. Trends Inf. Retrieval, vol. 3, no. 3, pp. 225–331, 2009.

Gao等人提出了基于偏好图像对（preference image pair, PIPs）的无参考图像质量评价方法，属于从图像排序中学习图像质量的方法。对于一个偏好图像对而言，其标签表示的是图像一的质量比图像二的质量好，代表了两张图像的相对质量。该方法的整体内容包括训练数据图像对的构建，特征向量的提取，基于多核学习的偏好学习以及最终的图像质量分数预测。其中有关图像对的构建、基于多核的偏好学习和排序值转化为质量分数等内容是该项研究的重点。

[Ref] F. Gao, D. Tao, X. Gao, and X. Li, “Learning to rank for blind image quality assessment,” IEEE Trans. Neural Netw. Learn. Syst., vol. 26, no. 10, pp. 2275–2290, Oct. 2015.

DipIQ：对于无参考图像质量评价模型学习的一个巨大的挑战是巨大的图像空间与极其有限的数据标签的冲突。Ma等人提出了一个基于质量判别图像对（discriminable image pairs, DIPs）的无参考图像质量评价算法，每个可判别图像对有相应的一个感知不确定性水平。作者通过构建的可判别图像对的数据集，在成对排序学习（learning-to-rank, L2R）的基础上训练质量评价模型。同时，作者也尝试构建质量判别图像列表，实验结果表明，在该种数据集之上训练的模型也具有较好的性能。

[Ref] K. Ma, W. Liu, T. Liu, Z. Wang and D. Tao, "dipIQ: blind image quality assessment by learning-to-rank discriminable image pairs," IEEE Trans. Image Process., vol. 26, no. 8, pp. 3951-3963, Aug. 2017.

PieAPP：在计算机视觉应用中有关图像感知误差的度量十分重要，虽然已经进行了部分的研究，但是仍然没有方法能够像人类一样有效预测视觉差异。人们对于比较两幅给定图像并识别与参考图像更相似的图像要比给每幅图像分配质量分数更容易。作者构建了一个大规模的数据集（数据集的标签为人们偏爱其中某一图像的概率），并提出了一个感知误差（perceptual image-error）的图像质量评价指标，网络输入为两张失真图和一张参考图，通过训练成对学习模型以训练误差估计函数。

[Ref] E. Prashnani, H. Cai, Y. Mostofi, and P. Sen, “PieAPP: Perceptual image-error assessment through pairwise preference,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2018.

RankIQA：为了解决训练数据不足的问题，Liu等人提出了一种从排序图像数据集中学习的方法，先利用构建的包含人工合成失真的排序图像集训练权值共享网络以实现根据图像质量对图像进行排序，然后对整个网络进行微调，将训练好的网络转换为传统的卷积神经网络，根据单一图像估计图像质量分数。同时提出了一种在权值共享网络中有效反向传播的方法，与标准成对采样和硬负采样相比，该反向传播方法的收敛速度快、损失小。

[Ref] X. Liu, J. V. D. Weijer, and A. D. Bagdanov, “RankIQA: learning from rankings for no-reference image quality assessment,” in Proc. IEEE Int. Conf. Comput. Vis. 2017.

[Ref] X. Liu, J. V. D. Weijer, and A. D. Bagdanov, “Exploiting unlabeled data in cnns by self-supervised learning to rank,” IEEE Trans. Pattern. Anal. Mach. Intell., vol. 41, no. 8, pp. 1862-1878, Aug. 2019.

LFMA：Ma等人提出一个基于多标签学习的NR-IQA模型，通过对收集的高清图像添加若干种类的人工合成失真得到失真图像数据集，同时利用若干种现有图像质量评价方法对失真图像数据集进行质量分数预测，即每张失真图像都包含对应的若干种图像质量评价方法所计算得到的质量分数；再通过图像对生成机制生成大量图像对，图像对对应的标签通过两两比较若干IQA方法计算的质量分数值得到，若图像对中的图像一的IQA质量分数高于图像二的IQA质量分数（默认IQA质量分数越高，图像质量越好），则图像对标签为1，反之为0；最终基于排序学习，利用生成的大量图像对训练集对网络模型进行训练以得到最终的NR-IQA模型。该方法提出的训练图像数据扩展方法在一定程度上解决了现有图像质量评价因图像数据不足而可能导致模型过拟合问题，且所提算法可高效结合现有图像质量评价方法，模型简单有效，泛化能力强。

[Ref] K. Ma, X. Liu, Y. Fang, and E. P. Simoncelli, “Blind image quality assessment by learning from multiple annotators,” IEEE International Conference on Image Processing, 2019.

[Ref] L.Xu, J. Li, W. Lin, Y. Zhang, Y. Zhang, and Y. Yan, “Pairwise comparison and rank learning for image quality assessment,” Displays, vol. 44, pp. 21-26, 2016.

[Ref] W. Zhang, K. Ma, G. Zhai, and X. Yang, “Learning to blindly assess image quality in the laboratory and wild,” arXiv, 2019.

[Ref] F. Ou, Y. Wang, J. Li, G. Zhu, and S. Kwong, “Controllable list-wise ranking for universal no-reference image quality assessment,” arXiv, 2019.

[Ref] J. Gu, G. Meng, C. Da, S. Xiang, and C. Pan, “No-reference image quality assessment with reinforcement recursive list-wise ranking,” in Thirty-Third AAAI Conference on Artificial Intelligence, 2019.

[Ref] J. Lee, C. Kim, “Image aesthetic assessment based on pairwise comparison a unified approach to score regression binary classification and personalization”, in Proc. IEEE Int. Conf. Comput. Vis. 2019.

4. Added

除了上述介绍的相关图像质量评价算法，随着技术的发展，仍然有新的质量评价数据集和基于神经网络的图像质量评价方法被不断提出，算法本身越来越鲁棒，泛化能力越来越强，在现有的图像质量评价数据库上的性能也越来越好，

[Ref] Y. Lv, G. Jiang, M. Yu, H. Xu, F. Shao, and S. Liu, “Difference of Gaussian statistical features based blind image quality assessment: a deep learning approach,” in IEEE Proc. Int. Conf. Image Process, 2015.

[Ref] X. Lu, Z. Lin, X. Shen, R. Mech, and J. Z. Wamg, “Deep multi-patch aggregation network for image style, aesthetics, and quality estimation,” in Proc. IEEE Int. Conf. Comput. Vis., 2015.

[Ref] B. Bare, K. Li, B. Yan, “An accurate deep convolutional neural networks model for no-reference image quality assessment,” in Proc. IEEE Int. Conf. Multimedia and Expo, 2017.

[Ref] Z. Chen, W. Lin, S. Wang, and L. Li, “Image quality assessment guided deep neural networks training,” arXiv, 2017.

[Ref] H. Zeng, L. Zhang, and A. C. Bovik, “A probabilistic quality representation approach to deep blind image quality prediction,” arXiv, 2017.

[Ref] A. Artusi, F. Banterle, F. Carra, and A. Moreno, “Efficient evaluation of image quality via deep-learning approximation of perceptual metrics,” IEEE Trans. Image Process., vol. 29, no. 8, pp. 1843-1855, Oct. 2020.

[Ref] W. Xia, Y. Yang, J. Xue, and J. Xiao, “Domain-aware no-reference image quality assessment,” arXiv, 2017.

[Ref] M. Prabhushankar, D. Temel, G. Alregib, “MS-UNIQUE: multi-model and sharpness-weighted unsupervised image quality estimation,” J. Electron. Imag., no. 12, pp. 30-35, 2017.

[Ref] S. V. R. Dendi, C. Dev, N. Kothari, and S. S. Channappayya, “Generating image distortion maps using convolutional autoencoders with application to no reference image quality assessment,” IEEE Signal Process. Lett., vol. 26, no. 1, pp. 89-93, Jan. 2018.

[Ref] L. Po, M. Liu, W. Y. F. Yuen, Y. Li, X. Xu, C. Zhou, P. H. W. Wong, K. W. Lau, and H. Luk, “A novel patch variance biased convolutional neural network for no-reference image quality assessment,” IEEE Trans. Circuits Syst. Video Technol., vol. 29, no. 4, pp. 1223-1229, Apr. 2019.

[Ref] X. Yang, F. Li, and H. Liu, “A survey of DNN methods for blind image quality assessment,” IEEE Access., vol. 7, pp. 123788-123806, 2019.

[Ref] Q. Yan, D. Gong, and Y. Zhang, “Two-stream convolutional networks for blind image quality assessment,” IEEE Trans. Image Process., vol. 28, no. 5, pp. 2200-2211, May. 2019.

[Ref] S. Bianco, L. Celona, P. Napoletano, and R. Schettini, “On the use of deep learning for blind image quality assessment,” arXiv, 2016.

[Ref] K. Ding, K. Ma, and S. Wang, “Intrinsic image popularity assessment,” in ACM International Conference on Multimedia. 2019.

[Ref] T. Liu, W. Lin, and C. C. J. Kuo, “Image quality assessment using multi-method fusion,” IEEE Trans. Image Process., vol. 22, no. 5, pp. 1793-1807, May. 2013.

[Ref] T. Liu, K. Liu, J. Lin, W. Lin and C. C. J. Kuo, “A paraboost method to image quality assessment,” IEEE Trans. Neural Netw. Learn. Syst., vol. 28, no. 1, pp. 107–121, Jan. 2015.

三、算法性能评价指标（PLCC、SRCC、RMSE、D-Test、L-Test、P-Test、gMAD）

1. Pearson Linear Correlation Coefficient：PLCC

2. Spearman Rank Order Correlation Coefficient：SRCC

3. Root Mean Square Error：RMSE

4. The Pristine/distorted Image Discriminability Test：D-test

5. The Listwise Ranking Consistency Test：L-test

6. The Pairwise Preference Consistency Test： P-test

7. Group Maximum Differentiation Competition： GMAD

8. Five-parameter Nonlinear Mapping、Four-parameter Nonlinear Mapping

[Ref] K. Ma, Z. Duanmu, Z. Wang, Q. Wu, W. Liu, H. Yong, H. Li, and L. Zhang, “Group maximum differentiation competition: model comparison with few samples,” IEEE Trans. Pattern. Anal. Mach. Intell., to appear.

[Ref] Final report from the video quality experts group on the validation of objective models of video quality assessment, 2000.

A Survey for Image Quality Assessment（综述）相关推荐

[论文笔记] Methodologies for Data Quality Assessment and Improvement (ACM Comput.Surv, 2009) (1)
Carlo Batini, Cinzia Cappiello, Chiara Francalanci, and Andrea Maurino. 2009. Methodologies for data ...
Objective Quality Assessment of Tone-Mapped Images
Abstract 将高动态范围(HDR)图像转换为低动态范围(LDR)图像的色调映射操作符(TMOs)为HDR图像在标准LDR显示上的可视化提供了实用的工具.不同的TMOs创建不同的色调映射图像,一个 ...
【机器学习】 - 关于图像质量评价IQA（Image Quality Assessment）
图像质量评价(Image Quality Assessment,IQA)是图像处理中的基本技术之一,主要通过对图像进行特性分析研究,然后评估出图像优劣(图像失真程度). 主要的目的是使用合适的评价指标 ...
[2020-ECCV]PIPAL-a Large-Scale Image Quality Assessment Dataset for Perceptual Image Restoration论文简析
[2020-ECCV] PIPAL: a Large-Scale Image Quality Assessment Dataset for Perceptual Image Restoration 论 ...
图像质量评价（Image Quality Assessment，IQA）
图像质量图像质量的含义主要包含两个方面,一个是图像的逼真度(fidelity),另一个是图像的可懂度(intelligibility). (1)图像的逼真度(fidelity) 描述被评价图像与标准 ...
Transformer for image quality assessment阅读笔记
Transformer for image quality assessment阅读笔记 Abstract 提出一种在由CNN提取的特征图上使用浅层Transformer编码器的机构.Transfor ...
论文阅读：No-Reference Image Quality Assessment with Global Statistical Features
paper:J. Imaging | Free Full-Text | No-Reference Image Quality Assessment with Global Statistical Fe ...
【论文review+总结】屏幕内容图像质量评估SC-IQA（Screen Content Image Quality Assessment）
目录论文review 2017年论文 2018年论文 2019年论文总结主要思路主要方法总结全参考FR-IQA 弱参考RR-IQA 无参考NR-IQA 多内容(不只局限于SCIs--基于cr ...
Image Quality Assessment: From Error Visibility to Structural Similarity
Image Quality Assessment: From Error Visibility to Structural Similarity图像质量评估:从错误可见性到结构相似性论文翻译论文地 ...

A Survey for Image Quality Assessment（综述）

A Survey for Image Quality Assessment（综述）相关推荐

最新文章

热门文章