Image Quality Assessment: From Error Visibility to Structural Similarity

Image Quality Assessment: From Error Visibility to Structural Similarity图像质量评估：从错误可见性到结构相似性
论文翻译
论文地址：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=1284395&tag=1

摘要

用于评估感知图像质量的客观方法传统上尝试使用人类视觉系统的各种已知属性来量化失真图像与参考图像之间的误差（差异）的可见性。假设人类视觉感知高度适应从场景中提取结构信息，我们引入了基于结构信息退化的质量评估的替代补充框架。作为这一概念的一个具体例子，我们开发了一个结构相似性指数，并通过一组直观的例子证明了它的承诺，并且比较了压缩的图像数据库中的主观评级和最先进的客观方法。 JPEG和JPEG2000.1
索引术语 - 误差灵敏度，人类视觉系统（HVS），图像编码，图像质量评估，JPEG，JPEG2000，感知质量，结构信息，结构相似性（SSIM）。

I.简介

数字图像在采集，处理，压缩，存储，传输和再现过程中会受到各种各样的失真，其中任何一种都可能导致视觉质量下降。对于最终要由人类观看图像的应用，量化视觉图像质量的唯一“正确”方法是通过主观评估。然而，在实践中，主观评价通常太不方便，耗时且昂贵。客观图像质量评估研究的目标是开发能够自动预测感知图像质量的定量测量。
客观图像质量度量可以在图像处理应用中发挥各种作用。首先，它可用于动态监控和调整图像质量。例如，网络数字视频服务器可以检查正在传输的视频的质量，以便控制和分配流式传输资源。其次，它可用于优化图像处理系统的算法和参数设置。例如，在可视通信系统中，质量度量可以有助于编码器处的预滤波和比特分配算法的最优设计以及解码器处的最佳重建，错误隐藏和后滤波算法。第三，它可以用于基准图像处理系统和算法。
可以根据原始（无失真）图像的可用性对客观图像质量度量进行分类，利用该图像来比较失真图像。大多数现有方法被称为全参考，意味着假设已知完整的参考图像。然而，在许多实际应用中，参考图像不可用，并且无需参考或“盲”质量评估方法。。在第三种类型的方法中，参考图像仅部分可用，以一组提取的特征的形式提供，作为辅助信息可用于帮助评估失真图像的质量。这被称为减少参考质量评估。本文重点介绍全参考图像质量评估。
最简单和最广泛使用的全参考质量度量是均方误差（MSE），通过平均失真和参考图像像素的平方强度差异，以及相关的峰值信噪比（PSNR）来计算。这些都很吸引人，因为它们易于计算，具有明确的物理意义，并且在优化环境中在数学上很方便。但它们与感知的视觉质量不太匹配（例如，[1] - [9]）。在过去的三十年中，大量的努力已经用于开发利用人类视觉系统（HVS）的已知特征的质量评估方法。大多数提出的感知质量评估模型遵循了修改MSE测量的策略，以便根据其可见性对错误进行处罚。第二节总结了这种错误敏感性方法，并讨论了它的困难和局限性。在第三节中，我们基于HVS高度适应于提取结构信息的假设，描述了一种新的质量评估范例。作为一个具体的例子，我们开发了一种结构相似性度量（SSIM），它比较了已针对亮度和对比度进行归一化的像素强度的局部模式。在第四部分中，我们将不同质量评估模型的测试结果与针对用JPEG和JPEG2000压缩的344个图像的数据库收集的大量主观评级进行比较。

II.基于误差灵敏度的图像质量评估

正在评估其质量的图像信号可以被认为是未失真的参考信号和误差信号的总和。广泛采用的假设是感知质量的损失与误差信号的可见性直接相关。这个概念最简单的实现是MSE，它客观地量化了误差信号的强度。但是具有相同MSE的两个失真图像可能具有非常不同类型的错误，其中一些错误比其他错误更明显。文献中提出的大多数感知图像质量评估方法试图根据其可见性来加权误差信号的不同方面，如通过人类的心理物理测量或动物的生理测量所确定的。这种方法是由Mannos和Sakrison [10]开创的，多年来已被许多其他研究人员所拓展。有关图像和视频质量评估算法的评论可以在[4]和[11] - [13]中找到。

图1：基于误差敏感性的原型质量评估系统。请注意，CSF功能既可以作为单独的阶段（如图所示）实现，也可以在“错误规范化”中实现。

A.框架

图1示出了基于误差灵敏度的通用图像质量评估框架。大多数感知质量评估模型可以用类似的图表来描述，尽管它们的细节不同。图的各个阶段如下。
•预处理：此阶段通常执行各种基本操作，以消除所比较图像的已知失真。首先，失真和参考信号被适当地缩放和对齐。其次，信号可以被转换成更适合于HVS的色彩空间（例如，[14]）。第三，质量评估度量可能需要通过逐点非线性变换将存储在计算机存储器中的数字像素值转换为显示设备上的像素的亮度值。第四，可以应用模拟眼睛光学器件的点扩散函数的低通滤波器。最后，可以使用非线性点操作来修改参考和失真图像以模拟光适应。
•CSF滤波：对比敏感度函数（CSF）描述了HVS对视觉刺激中存在的不同空间和时间频率的灵敏度。一些图像质量度量包括根据该函数对信号进行加权的阶段（通常使用近似于该函数的线性滤波器来实现）
CSF的频率响应）。但是，许多最近的指标选择在信道分解之后将CSF实现为基本灵敏度归一化因子。
•通道分解：通常将图像分成子带（在心理物理学文献中通常称为“通道”），这些子带对空间和时间频率以及方向具有选择性。虽然一些质量评估方法实现了复杂的信道分解，被认为与初级视觉皮层中的神经反应密切相关[2]，[15] - [19]，但许多指标使用更简单的变换，如离散余弦变换（DCT））[20]，[21]或可分离的小波变换[22] - [24]。调谐到各种时间频率的信道分解也被报告用于视频质量评估[5]，[25]。
•误差归一化：根据某个掩蔽模型计算每个通道中分解的参考和失真信号之间的误差（差异），并考虑到一个图像分量的存在会降低另一个图像的可见性这一事实。在空间或时间位置，空间频率或方向上接近的分量。归一化机制通过空间变化的可见性阈值对信道中的误差信号进行加权[26]。基于参考的能量和/或邻域中的失真系数（其可以包括来自相同信道的空间邻域内的系数以及其他信道）和对其的基本灵敏度来计算每个点处的可见性阈值。渠道。规范化过程旨在将误差转换为明显差异（JND）的单位。一些方法还考虑了对比度响应饱和的影响（例如，[2]）。
•误差池：所有质量度量的最后阶段必须将标准化误差信号在图像的空间范围内以及跨不同信道组合成单个值。对于大多数质量评估方法，池化采用Minkowski规范的形式如下：

其中el，k是第l个通道中第k个系数的归一化误差，β是通常选择位于1和4之间的常数指数。Minkowski合并可以在空间（索引）上进行，然后在频率上进行（索引）反之亦然，它们之间有一些非线性，或者可能有不同的指数。指示不同区域的相对重要性的空间图也可用于提供空间变量加权[25]，[27]，[28]。
B.限制
误差敏感性方法的基本原理是通过量化误差的可见性来最好地估计感知质量。这基本上通过模拟HVS早期阶段的功能特性来实现，其特征在于心理物理学和生理学实验。虽然这种自下而上的解决方案几乎已被普遍接受，但重要的是要认识到它的局限性。特别地，HVS是复杂且高度非线性的系统，但是大多数早期视觉模型基于线性或拟线性算子，其已经使用受限和简单的刺激来表征。因此，误差敏感性方法必须依赖于许多强有力的假设和概括。许多以前的作者已经注意到这些，我们在这里只提供一个简短的摘要。
质量定义问题：传统方法最基本的问题是图像质量的定义。特别是，不清楚错误可见性应该等同于质量损失，因为一些失真可能清晰可见但不是那么令人反感。一个明显的例子是图像强度乘以全局比例因子。 [29]的研究还表明，图像保真度和图像质量之间的相关性只是中等。
•超阈值问题。作为许多误差敏感度模型基础的心理物理实验专门用于估计刺激几乎不可见的阈值。然后使用这些测量的阈值来定义视觉误差灵敏度测量，例如CSF和各种掩蔽效应。然而，很少有心理物理学研究表明这种近阈值模型是否可以推广到表征明显大于阈值水平的感知失真，如大多数图像处理情况中的情况。在超阈值范围内，可以使用可见性阈值对不同通道之间的相对视觉失真进行归一化吗？最近已经努力将超阈值心理物理学用于分析图像失真（例如，[30] - [34]）。
•自然图像复杂性问题。大多数心理物理实验使用相对简单的图案进行，例如斑点，条形或正弦光栅。例如，CSF通常从使用全局正弦图像的阈值实验获得。掩蔽现象通常使用两种（或可能是几种）不同图案的叠加来表征。但是所有这些模式都比现实世界的图像简单得多，现实世界的图像可以被认为是大量简单图案的叠加。一些简单模式之间相互作用的模型可以推广以评估数十种或数百种模式之间的相互作用吗？这种有限数量的简单刺激实验是否足以构建一个能够预测复杂结构自然图像视觉质量的模型？虽然目前尚不知道这些问题的答案，但最近建立的Modelfest数据集[35]包括简单和复杂的模式，并有助于未来的研究。
A.新哲学
在[6]和[9]中，基于人类视觉系统高度适应从视野中提取结构信息的假设，提出了一种新的图像质量测量设计框架。因此，结构信息变化的度量可以提供对感知图像失真的良好近似。
图2.具有不同类型扭曲的“船”图像的比较，所有这些都具有MSE = 210（均方误差）。

（a）原始图像（8bit/像素;从512512到256256裁剪以获得可见性）。
（b）对比度拉伸图像，MSSIM = 0.9168。
（c）平均移位图像，MSSIM = 0.9900。
（d）JPEG压缩图像，MSSIM = 0.6949。
（e）图像模糊，MSSIM = 0.7052。
（f）椒盐冲击噪声污染图像，MSSIM = 0：7748。
通过与误差敏感性哲学的比较，可以最好地理解这种新哲学。首先，误差灵敏度方法估计感知误差以量化图像劣化，而新哲学认为图像劣化是结构信息变化的感知变化。图2中示出了激励示例，其中原始“船”图像被改变为具有不同的失真，每个失真被调整以产生相对于原始图像几乎相同的MSE。尽管如此，可以看到图像具有截然不同的感知质量。利用误差灵敏度原理，很难解释为什么对比度拉伸图像具有非常高的质量，考虑到其与参考图像的视觉差异易于辨别的事实。但是新的哲学很容易理解，因为参考图像的几乎所有结构信息都被保留了，因为原始信息可以通过简单的逐点逆线性亮度变换几乎完全恢复（除了非常明亮的和发生饱和的黑暗区域）。另一方面，来自原始图像的一些结构信息在JPEG压缩和模糊图像中永久丢失，因此它们应该被给予比对比度拉伸和平均移位图像更低的质量分数。
其次，误差敏感范例是自下而上的方法，模拟HVS中相关早期阶段组件的功能。新范式是一种自上而下的方法，模仿整体HVS的假设功能。这一方面避免了上一节中提到的超阈值问题，因为它不依赖于阈值心理物理来量化感知到的扭曲。另一方面，认知交互问题也在一定程度上减少，因为探测被观察对象的结构被认为是整个视觉观察过程的目的，包括高级和交互过程。
第三，在一定程度上也避免了自然图像复杂性和去相关的问题，因为新的哲学不会通过累积与心理物理理解的简单模式相关联的误差来尝试预测图像质量。相反，新哲学提出直接评估两个复杂结构信号之间的结构变化。
B. SSIM指数
我们从图像形成的角度构建了SSIM质量测量的具体示例。在[6] - [8]中进行了此方法的先前实例化，并且在简单测试中获得了有希望的结果。在本文中，我们概括了该算法，并提供了更广泛的验证结果集。
被观察物体表面的亮度是照度和反射率的乘积，但场景中物体的结构与照明无关。因此，为了探索图像中的结构信息，我们希望分离照明的影响。我们将图像中的结构信息定义为表示场景中对象结构的那些属性，与平均亮度和对比度无关。由于亮度和对比度可以在场景中变化，因此我们使用局部亮度和对比度来定义。

图3 所提出的质量评估系统的系统图如图3所示。假设并且是两个非负图像信号，它们彼此对齐（例如，从每个图像提取的空间片）。如果我们认为其中一个信号具有完美的质量，则相似性度量可以用作第二信号质量的定量测量。该系统将相似性测量的任务分为三个比较：亮度，对比度和结构。首先，比较每个信号的亮度。假设离散信号，这被估计为平均强度（灰度）

然后，亮度比较函数l（x，y）是μx和μy的函数。
其次，我们从信号中去除平均强度（灰度）。在离散形式中，结果信号 x-μx 对应于矢量x投影到由超定义定义的超平面上

我们使用标准偏差（方差的平方根）作为信号对比度的估计。离散形式的无偏估计由下式给出

然后，对比度比较c（x，y）是σx和σy的比较。
第三，信号通过其自身的标准偏差归一化（划分），使得被比较的两个信号具有单位标准偏差。对这些归一化信号（x-μx）/σx和（y-μy）/σy进行结构比较s（x，y）。
最后，将这三个组件组合以产生总体相似性度量

重要的一点是这三个组成部分相对独立。例如，亮度和/或对比度的变化不会影响图像的结构。
为了完成（5）中相似性度量的定义，我们需要定义三个函数l（x，y），c（x，y）和s（x，y），以及组合函数 F（•）。我们还希望相似性度量满足以下条件
(1)对称性 S(X,Y) = S(Y,X)
(2)有界 S(X,Y)<=1
(3)唯一最大值，当且仅当x=y时，有最大值S(X,Y) = 1
为了进行亮度比较，我们定义：

其中包括常数c1以避免当μx2+μy2非常接近零时的不稳定性。具体来说，我们选择

其中L是像素值的动态范围（对于8位灰度图像为255），并且K1 << 1是小常数。类似的考虑也适用于后面描述的对比度比较和结构比较。可以容易地看出等式（6）遵循上面列出的三个属性。
等式（6）在质量上也与韦伯定律一致，该定律已被广泛用于模拟HVS中的明适应（也称为亮度掩蔽）。根据韦伯定律，对于宽范围的亮度值，明显的亮度变化ΔI的大小近似与背景亮度I成比例。换句话说，HVS对相对亮度变化敏感，而不是绝对亮度变化。令R表示相对于背景亮度的亮度变化的大小，我们将失真信号的亮度重写为μy=（1 + R）μx。将其代入（6）给出

如果我们假设足够小（相对于μx2）被忽略，那么它只是R的一个函数，在质量上符合韦伯定律。
对比度对比函数采用类似形式：

其中c2=(k2L)2和k2 << 1。此定义再次满足上面列出的三个属性。此功能的一个重要特征是，在相同的对比度变化量σy-σx下，此测量对高基本对比度σx的敏感度要比低基本对比度低。这与HVS的对比遮罩功能一致。
在亮度相减和方差归一化之后进行结构比较。具体来说，我们将两个单位向量（x-μx）/σx和（y-μy）/σy与两个图像的结构相关联，每个向量都位于由（3）定义的超平面中。这些之间的相关性（内积）是量化结构相似性的简单有效的方法。注意，（x-μx）/σx和（y-μy）/σy之间的相关性等于x和y之间的相关系数。因此，我们定义结构比较函数如下：

与亮度和对比度测量一样，我们在分母和分子中都引入了一个小的常数。以离散形式，σxy可以估计为

在几何上，相关系数对应于向量x-μx和y-μy之间角度的余弦。另请注意，s（x，y）可以取负i。
最后，我们结合（6），（9）和（10）的三个比较，并命名所得的相似度度量信号x和y之间的SSIM索引:

α，β，γ>0 ,来调整三个模块的重要性。简化形式，令α，β，γ=1，c3 = c2/2,得到特殊形式的SSIM索引：

[6]和[7]中定义的“通用质量指数”（UQI）对应于c1 = c2 = 0的特殊情况，当（μx2+μy2）或（σx2+σy2）都非常接近零时，会产生不稳定的结果。
SSIM索引和更传统的质量度量之间的关系可以在图像分量的向量空间中以几何方式示出。这些图像分量可以是像素强度，也可以是其他提取的特征，例如变换后的线性系数。图4显示了围绕三个不同的示例参考矢量绘制的等失真轮廓，每个矢量代表一个参考图像的局部内容。为了说明的目的，我们仅示出了二维空间，但是通常，维数应与要比较的图像分量的数量匹配。每个轮廓代表一组图像，这些图像相对于封闭的参考图像具有相同的变形。图4（a）显示了简单Minkowski度量的结果。每个轮廓都具有相同的大小和形状（此处假设为2，则为圆形）。即，知觉距离对应于欧几里得距离。图4（b）显示了Minkowski度量，其中不同的图像分量被不同地加权。例如，这可能是根据CSF进行加权，这在许多模型中很常见。此处的轮廓是椭圆形，但大小都相同。这些显示为与轴对齐，但通常可以倾斜到任何固定的方向。
如图4（c）所示，许多最近的模型都加入了对比度掩盖行为，它具有根据信号幅度重新调整等失真轮廓的效果。这可以看作是一种自适应失真度量：它不仅取决于信号之间的差异，还取决于信号本身。图4（d）示出了对比度掩蔽（幅度加权）和分量加权的组合。另一方面，我们提出的方法分别计算两个独立量的比较：矢量长度及其角度。因此，轮廓将与极坐标系的轴对齐。图图4（e）和4（f）显示了两个示例，它们用不同的指数计算。同样，这可以看作是自适应失真度量，但是与以前的模型不同，轮廓的大小和形状都适合于基础信号。尽管使用如图4所示的极坐标系的轴精确对齐，但一些使用除数归一化描述掩蔽效果的最新模型也表现出与信号相关的轮廓方向（例如[45]，[46]，[48]）。在这些方法中未观察到（e）和（f）。

图4.不同质量度量的三个示例等距轮廓。（a）Minkowski误差测量系统。（b）分量加权的Minkowski误差测量系统。（c）幅度加权的Minkowski误差测量系统。（d）幅度和分量加权的Minkowski误差测量系统。（e）拟议的系统（（9）和（10）的组合）更着重于s（x; y）。（f）拟议的系统[（9）和（10）的组合]，重点是c（x; y）。每个图像都表示为一个向量，其条目是图像分量。注意：这是二维空间中的插图。实际上，尺寸的数量应等于用于比较的图像分量的数量（例如，像素或变换系数的数量）。
C.使用SSIM索引进行图像质量评估
对于图像质量评估，在局部而不是全局应用SSIM索引很有用。首先，图像统计特征通常在空间中分布不均。第二，可能或可能不取决于本地图像统计信息的图像失真也可能是空间变化的。第三，在正常视距内，人类观察者一次只能以聚焦图像中的局部区域（由于HVS的偏心特征[49]，[50]）。最后，局部质量测量可以提供图像的空间变化质量图，该图可以提供有关图像质量下降的更多信息，并且在某些应用中可能有用。
在[6]和[7]中，局部统计量μx，σx和σxy在局部8 * 8正方形窗口内计算，该窗口在整个图像上逐像素移动。在每个步骤中，都会在本地窗口中计算本地统计信息和SSIM索引。这种方法的一个问题是，生成的SSIM索引图经常表现出不良的“分块”现象。在本文中，我们使用11 * 11圆对称高斯加权函数w = {w | i = 1,2，…，N}，标准差为1.5个样本，并归一化为单位和（sum(Wi) = 1）。然后将本地统计量μx，σx和σxy的估计值相应地修改为

通过这种加窗方法，质量图展现出局部各向同性的特性。在本文中，SSIM度量使用以下参数设置：k1 = 0.01，k2 = 0.03。这些值多少有些武断，但是我们发现在当前的实验中，SSIM索引算法的性能对这些值的变化不敏感。
实际上，通常只需要对整个图像进行一次整体质量评估。我们使用平均SSIM（MSSIM）指数来评估整体图像质量

其中X和Y分别是参考图像和失真图像； xj和yj是第j个本地窗口的图像内容； M是图像的本地窗口数。根据应用，还可以计算SSIM索引图中不同样本的加权平均值。例如，关注区域图像处理系统可以对图像中的不同分割区域赋予不同的权重。作为另一个例子，已经观察到不同的图像纹理以不同的程度吸引人注视（例如，[51]，[52]）。可以采用平滑变化的集中加权模型（例如[50]）来定义权重。但是，在本文中，我们使用统一加权。可在[53]在线获得SSIM索引算法的MATLAB实现。

实验结果zzzzzz