图像质量评价（二）：VSI

Visual Saliency-Induced Index（VSI）主要利用图像显著性特征图的失真来计算图像质量。VSI是一个全参考（FR）的评价标准，所以可以使用无失真的参考图像。

研究发现质量失真会引起视觉显著性（Visual Saliency，VS）的改变，并且这种改变与失真有很强的相关性。为了验证这个猜想可以进行实验，可以对TID2013数据集的VS maps进行分析。TID2013有25个参考图像，24种失真类型，5个失真水平。每种类型的每个水平的失真对应25个失真图像。首先使用GBVS模型对数据集中所有图像计算VS map。然后对每个失真图像计算其与对应参考图像的VS map的MSE（均方误差）。对同一类型同一水平失真的MSE求均值。结果如下图所示（括号内是对应主观评分）：

从上面结果可以发现，对大部分类型的失真VS map的MSE越大对应的主观评分越低。

上图中a是参考图像，c和e是不同类型失真。bdf分别是ace对应的VS map。c和e的主观评分分别是5.05，2.40。d和b的VS map的MSE为4.49，f和b的VS map的MSE为198.36。可以看到e的主观质量比c更差，其VS map的失真（MSE）也越大。

从上面表格中可以看到VS map的失真在大部分情况下可以很好的度量图像失真。但是对于 CTC (Contrast Change)类型失真表现的不好，根本原因在于进行VS计算时进行了归一化操作，像素的VS值反映的是其与周围像素的相对值。如果图像本身对比度比较大，VS值就无法很好反映对比度失真。

上图中a是参考图像，b是失真图像失真类型是对比度失真。cd分别是ab的VS map，可以很清楚的看到b相对于a失真很大，而其对应的VS map却没有反映出失真。为此需要使用额外的特征来弥补VS的缺陷，这里采用gradient modulus（GM）。计算梯度的方法有很多， Prewitt operator， Sobel operator，Roberts operator， Scharr operator等，这里采用 Scharr operator。首先计算图像f(x)的水平和垂直梯度：

图像f(x)的最终梯度为：

上图中图像ab对应的GM map分别为ef。可以明显的观察到f相较于e有失真。说明GM map能很好的反映图像对比度失真。

在上面的表格中还可以发现VS map对于 CCS (Change of Color Saturation)类型失真表现不好。同时，颜色失真也无法有GM度量，因为计算梯度只使用亮度分量而不使用色度分量。为了度量色度失真需要考虑色度信息，对于RGB图像需要将其进行颜色空间变换。

上面变换的权重是针对HVS优化过的。计算梯度时只使用L通道。M和N通道包含了色度信息，可以作为特征度量颜色失真。

使用上面的VS，GM和色度特征可以定义VS-based index (VSI)。例如，对于给定的图像f1和f2，其VSI计算方式为，首先提取f1和f2的VS map分别为VS1和VS2，然后是f1和f2的GM map分别为G1和G2，M1和M2分别代表f1和f2的M通道，N1和N2分别代表f1和f2的N通道。

上式中C1,C2,C3都是取值为正的常数。

最终VSI为:

alpha和beta是参数用来调整每个因子权重。

通过上面步骤得到每个像素的VSI值后，整幅图像的VSI计算方法为：

其中VS_m(x)=max(VS1(x),VS2(x))，作为S(x)的权重。omega是整个像素空间。

实验

在TID2013， TID2008，CSIQ，LIVE四个数据集上进行实验。使用SROCC ，KROCC，PLCC，RMSE四个指标评价VSI的效果。结果如下：

Database	Results	Nonlinear fitting code	SROCC	KROCC	PLCC	RMSE
TID2013	VSIOnTID2013	NonlinearFittingTID2013	0.8965	0.7183	0.9000	0.5404
TID2008	VSIOnTID2008	NonlinearFittingTID2008	0.8979	0.7123	0.8762	0.6466
CSIQ	VSIOnCSIQ	NonlinearFittingCSIQ	0.9423	0.7857	0.9279	0.0979
LIVE	VSIOnLIVE	NonlinearFittingLIVE	0.9524	0.8058	0.9482	8.6816
Weighted-Average			0.9100	0.7366	0.9033

源码地址（matlab）：VSI.m

参考

VSI: A Visual Saliency-Induced Index for Perceptual Image Quality Assessment

https://sse.tongji.edu.cn/linzhang/IQA/VSI/VSI.htm

图像质量评价（二）：VSI相关推荐

一行命令搞定图像质量评价 | 附代码和操作步骤
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达在交流群里,经常有人问到图像质量评价的问题.比如对监控摄像头拍摄的 ...
综合评价模型的缺点_视频/图像质量评价综述(一)
1. 概述视频/图像质量评价(Video/Image Quality Assessment)是指通过主客观的方式对两幅主体内容相同的图像信息的变化与失真进行感知.衡量与评价. 视频/图像质量评价包括 ...
图像的频率谱和功率谱代表什么_视频/图像质量评价综述(三)
星号then:视频/图像质量评价综述(二)zhuanlan.zhihu.com 2.6 块压缩空域无参考模型方法原理与框架:该方法来源于论文<NO-REFERENCE PERCEPTUAL ...
图像质量评价数据库与图像质量算法性能评价指标
视频质量专家组(Video Quality Experts Group, VQEG)发起的评价算法性能校准项目的主要思想是通过组织主观实验获取图像的主观质量,以主客观质量的一致性来判断客观评价算法的性 ...
图像质量评价学习笔记02：IQA模型性能评价指标（PLCC、SROCC、KROCC、RMSE）
性能好的图像质量评价(IQA)算法,其质量评测分数会与主观质量分数高度一致,IQA 有许多评价指标,为了衡量方法测试结果与主观评价之间的一致性,视频质量专家组VQEG(Video Quality Ex ...
图像质量评价概述（评估指标、传统检测方法）
一.概述在图像信息技术被广泛应用的情况下,对图像质量的评估变成一个广泛而基本的问题.由于图像信息相对于其它信息有着无可比拟的优点,因此对图像信息进行合理处理成为各领域中不可或缺的手段.在图像的获取. ...
毕业设计-基于深度学习的图像质量评价
目录前言课题背景和意义实现技术思路一.图像质量评价方法的分类二.基于深度学习的IQA模型实现效果图样例最后前言
图像质量评价标准学习笔记（3）-信息保真度准则（IFC）、特征相似性(FSIM)
信息保真度准则(IFC) 这个评价值比较复杂,使用小波域的 GSM( Gaussianscale mixture) 模型对 NSS 建模,NSS指自然场景. 小波转换把图像分解成很多系数,自然场景的小 ...
人脸专集5 | 最新的图像质量评价
在图像信息技术被广泛应用的情况下,对图像质量的评估变成一个广泛而基本的问题.由于图像信息相对于其它信息有着无可比拟的优点,因此对图像信息进行合理处理成为各领域中不可或缺的手段.在图像的获取.处理.传输 ...

图像质量评价（二）：VSI

图像质量评价（二）：VSI

实验

参考

图像质量评价（二）：VSI相关推荐

最新文章

热门文章