图像质量评价（四）：SSIM和MSSIM

SSIM

SSIM是一个广泛使用的图像质量评价指标，它是基于人眼观看图像时会提取其中的结构化信息的假设。

SSIM是一种全参考的评价方法，对于图像x和图像y，其SSIM计算方式如下:

上式中l(x,y)是用均值来估计亮度，c(x,y)是用方差估计对比度，s(x,y)是用协方差估计结构相似度。

所以SSIM定义为：

可以看出SSIM满足以下性质：

对称性：SSIM(x,y)=SSIM(y,x)
有界性：SSIM(x,y) <= 1
SSIM(x,y)=1当且仅当x和y完全相同。

MSSIM

上面介绍的单尺度SSIM需要在特定的配置下才能表现良好，而MSSIM对不同分辨率的图像都能保持性能稳定。

MSSIM的流程如上图所示。将参考图像和失真图像作为输入，然后分别依次迭代的使用低通滤波器和1/2降采样。假设原始图像为Scale 1，最高尺度为Scale M经过M-1次迭代得到。对于第j个尺度，只计算对比度c(x,y)和结构相似度s(x,y)。仅在Scale M计算亮度相似度l(x,y)。如上图所示。

最终的SSIM是将各个尺度的结果连接起来：

alpha,beta,gamma用于调整各个分量的权重。为了简化，通常令：

跨尺度校准

对于MSSIM一般对每个尺度令alpha=beta，那么如何选择不同尺度的alpha和beta参数（即确定不同scale的相对权重）？

上图中，每一行的MSE都相同，每一列的scale都相同。对于给定的8bit灰度图像，我们可以合成上面的失真图像表。这里有5个scale，12个失真水平，共60幅图像。可以看到每行的MSE都相同，但是它们的感知质量却差别很大，这说明不同尺度的失真对感知质量的影响不同。

我们使用10幅不同内容的（人脸、自然风景、植物、人造物体等）64x64的图像，构建了10个上面的失真表（共600幅失真图像）。有8个受试者，观测距离固定为每度观测视角32个像素距离。每个人依次看10组图像，对不同尺度的图像进行比较，每个尺度选择出一幅他们认为质量相同的图像。例如上图中标红的5幅图像，观测者认为它们质量相同。每个人选择的结果会被记录，平均计算得到最终测试结果，对测试结果计算得到：

实验结果

在八个数据集上测试MSSIM的表现结果:

Database	Results	Nonlinear fitting code	SROCC	KROCC	PLCC	RMSE
TID2013	MSSSIMOnTID2013	NonlinearFittingTID2013	0.7859	0.6047	0.8329	0.6861
TID2008	MSSSIMOnTID	NonlinearFittingTID	0.8542	0.6568	0.8451	0.7173
CSIQ	MSSSIMOnCSIQ	NonlinearFittingCSIQ	0.9133	0.7393	0.8991	0.1149
LIVE	MSSSIMOnLIVE	NonlinearFittingLIVE	0.9513	0.8045	0.9489	8.6188
IVC	MSSSIMOnIVC	NonlinearFittingIVC	0.8980	0.7203	0.9108	0.5029
Toyama-MICT	MSSSIMOnMICT	NonlinearFittingMICT	0.8874	0.7029	0.8927	0.5640
A57	MSSSIMOnA57	NonlinearFittingA57	0.8414	0.6478	0.8603	0.1253
WIQ	MSSSIMOnWIQ	NonlinearFittingWIQ	0.7495	0.5740	0.8095	13.4486
Weighted-Average

参考

《Multi-scale structural similarity for image quality assessment》

https://sse.tongji.edu.cn/linzhang/IQA/Evalution_MS_SSIM/eva-MS-SSIM.htm

感兴趣的请关注微信公众号Video Coding