显著性检测——GR模型

1. Introduction
2. Saliency Model
- 2.1 Initial Saliency Map
- 2.2 Saliency Map Refining With Graph Regularization
3. Experiments
4. Conclusion
参考文献

本人最近在做视觉显著性检测相关的工作，决定把自己的学习经历形成文字，希望对读者有所帮助。
笔者才疏学浅，文章中如有不当之处，还请读者指正，在此表示感谢。

本文主要参考 Graph-Regularized Saliency Detection With Convex-Hull-Based Center Prior，Chuan Yang, Lihe Zhang, and Huchuan Lu。
本文中所有图片和公式均来源于该论文。
附上原文下载地址。

1. Introduction

这篇论文主要研究自下而上（bottom-up）的显著性检测方法。自下而上的方法主要为数据驱动型，因此需要依靠提前定义的假设（priors）。比如：
contrast prior：假定显著目标与背景之前存在很大的差异。可能带来的问题是，整个目标区域没有被统一的标记出来，或者背景区域没有被有效的抑制。
center prior：假设显著目标通常在图像中心附近。这可能会导致远离中心的显著区域被抑制，或靠近中心的背景区域被加强。
此外，一般的方法通常会单独地计算每个图像元素（image element），忽略邻近元素之间的关联。

为了克服以上这些可能存在的缺点，这篇论文提出了convex-hull-based center prior和smoothness prior。前者用来确定显著区域的中心位置，后者将邻近的图像元素建立联系。

2. Saliency Model

这篇论文提出的方法主要依靠超像素（superpixel）作为显著性估计的元素，因此先使用SLIC方法¹获取给定图像的超像素。

2.1 Initial Saliency Map

A) Contrast Prior Map ：对于任意超像素 iii，计算其在CIE LAB空间下的颜色均值（color mean）cic_ici 和已经归一化到[0,1]的平均坐标（average position）pip_ipi 。则每个超像素的显著值可以由以下公式得到：

Sco(i)=∑j≠i∥ci−cj∥⋅exp(−∥pi−pj∥22σp2)S_{co}(i)=\sum_{j \neq i}^{ }\left \|c_i-c_j\right \|\cdot exp(-\frac{\left \| p_i-p_j \right \|^2}{2\sigma _p^2} ) Sco(i)=j̸=i∑∥ci−cj∥⋅exp(−2σp2∥pi−pj∥2)

其中σp\sigma_pσp为权重。可以将上式中乘号前后看作两部分，乘号前面判断颜色是否相似，颜色差异越大，对应值越大，最终显著值越大；乘号后面判断两超像素间的距离，距离越远则对应值越小，同时减弱前面颜色差异的权重。

B) Convex-Hull-Based Center Prior Map：为了解决显著区域有可能远离图像中心的问题，这篇论文首先计算出一个包含感兴趣区域的convex hull²来估计显著区域，并用convex hull的中心坐标（x0,y0x_0,y_0x0,y0）代替传统算法中的图像中心坐标。此时每个超像素的显著值计算公式如下：
Sce(i)=exp(−∥xi−x0∥22σx2−∥yi−y0∥22σy2)S_{ce}(i)=exp(-\frac{\left \| x_i-x_0 \right \|^2}{2\sigma_x^2}-\frac{\left \| y_i-y_0 \right \|^2}{2\sigma_y^2} ) Sce(i)=exp(−2σx2∥xi−x0∥2−2σy2∥yi−y0∥2)
其中xi,yix_i,y_ixi,yi分别为超像素iii归一化到[0,1]后的水平坐标均值和垂直坐标均值，并且令σx=σy\sigma_x=\sigma_yσx=σy。上式可简单理解为距离显著区域中心越远，其显著值越低；相反，越靠近显著区域中心，显著值越高。

C) Integration：最终，通过整合上述两种显著图，得到初始显著图（initial saliency map）：
Sin(i)=Sco(i)×Sce(i)S_{in}(i)=S_{co}(i)\times S_{ce}(i) Sin(i)=Sco(i)×Sce(i)

通过图一可以看出，使用convex hull所估计的显著区域在向日葵处（红色边缘标出），如果只使用contrast prior，右下角显著值也很高。在使用convex-hull-based center prior后，向日葵部分被增强了，同时右下角部分被有效抑制。

算法到此处有一些小问题，在计算Sce(i)S_{ce}(i)Sce(i)的公式中，我们令σx=σy\sigma_x=\sigma_yσx=σy。如果显著目标的形状或者尺度发生变化，可能会使初始显著图Sin(i)S_{in}(i)Sin(i)计算不准确。（例如，显著目标为长方形，那么在水平方向和垂直方向设定相同的权重显得不合理。）为此，这篇论文引入了smoothness prior来考虑图像元素之间的关联，从而得到改进显著图（refined saliency map）。

2.2 Saliency Map Refining With Graph Regularization

我们根据原图设计一个连通图 G=(V,E)G=(V,E)G=(V,E)，其中节点(nodes) VVV为超像素，边(edges) EEE 为两相邻超像素的连接。两个节点之间的权重为 wij∈Ww_{ij}\in Wwij∈W，计算公式如下：

wij=exp(−∥ci−cj∥2σw2)w_{ij}=exp(-\frac{\left \| c_i-c_j \right \|}{2\sigma_w^2}) wij=exp(−2σw2∥ci−cj∥)
ci和cjc_i和c_jci和cj为对应超像素在CIE LAB颜色空间中的颜色均值，σw\sigma_wσw为权重。
在此，我们定义显著性损失函数（saliency cost function）为：

E(S)=∑i(S(i)−Sin(i))2+λ∑i,jwij(S(i)−S(j))2E(S)=\sum_{i}^{ }(S(i)-S_{in}(i))^2+\lambda\sum_{i,j}^{ }w_{ij}(S(i)-S(j))^2 E(S)=i∑(S(i)−Sin(i))2+λi,j∑wij(S(i)−S(j))2

其中S(i)和S(j)S(i)和S(j)S(i)和S(j)为最终显著图中对应节点i,ji,ji,j的显著值，λ\lambdaλ为正则化参数（regularization parameter）。等式右边的第一项为fitting constraint，意味着一个好的显著图不能和初始显著图Sin(i)S_{in}(i)Sin(i)差太多。第二项为smoothness constraint，意味着一个好的显著图中相邻的超像素之间差距不能太大。则最优显著图可以通过最小化损失函数得到。可以令E(S)E(S)E(S)导数为0得到解为：

S∗=μ(D−W+μI)−1SinS^{*}=\mu (D-W+\mu I)^{-1}S_{in} S∗=μ(D−W+μI)−1Sin

其中DDD为对角矩阵，dii=∑j(wij)d_{ii}=\sum_{j}(w_{ij})dii=∑j(wij)，μ=1/(2λ)\mu=1/(2\lambda)μ=1/(2λ)。

图二给出了不同λ\lambdaλ下最终显著图的结果。λ\lambdaλ越小，表明初始显著图越重要，λ\lambdaλ越大，表明相邻节点之间的关系更重要。

3. Experiments

这篇论文在MSRA-1000数据集上进行测试，该数据集包含有1000张图片及对应的真值（ground truth）。并且使用PR曲线（precision-recall curve）来评估算法。

A) Experimental Setup：这篇论文在计算超像素部分，设置超像素节点数（number of superpixel nodes）为N=200。这篇论文提出的模型共有五个参数：σp,σx,σy,σw,λ\sigma_p,\sigma_x,\sigma_y,\sigma_w,\lambdaσp,σx,σy,σw,λ。根据经验选取σp2=0.2,σx2=σy2=0.15,σw2=0.05,λ=25\sigma_p^2=0.2,\sigma_x^2=\sigma_y^2=0.15,\sigma_w^2=0.05,\lambda=25σp2=0.2,σx2=σy2=0.15,σw2=0.05,λ=25。图三展示了参数设置对于模型的影响。

B) Compared With Other Methods：这篇论文和其他五种图像显著性检测的模型（FT,CA,RC,CB,SF）进行对比。图四展示了不同模型的PR曲线对比（其中PBS为本文提出的模型）。

C) Validation of Center and Smoothness Priors：为了展示convex-hull-based center prior的有效性，图五( a )展示了三种情况下的初始显著图的PR曲线。图五( b )和( c )表明对其他模型添加smoothness prior同样能够提高其模型表现。

D) Run Time：表一对比了PBS（本文提出的模型）和其他模型的运行时间，可以发现PBS相比于其他用matlab执行的模型运行时间要短很多。

4. Conclusion

这篇论文提出了一种利用contrast，center和smoothness prior的自下而上的显著性检测模型。通过实验表明该模型能够有效的增强目标区域同时抑制背景区域。

以下给出该模型的大致流程图。

Created with Raphaël 2.2.0Image InputSuperpixelContrast Prior Map & Convex-Hull-Based Center Prior MapInitial Saliency Map & Affinity Matrix WFinal Salinecy Map

参考文献

R. Achanta, K. Smith, A. Lucchi, P. Fua, and S. Susstrunk, “SLIC Superpixels,” Tech. Rep. EPFL, 2010, Tech.Rep. 149300. ↩︎
Y. L. Xie and H. C. Lu, “Visual saliency detection based on Bayesian model,” in ICIP, 2011. ↩︎

显著性检测——GR模型相关推荐

显著性检测- HC模型
1. 模型论文: Global Contrast based Salient Region detection. Ming-Ming Cheng, Niloy J. Mitra, Xiaolei Hu ...
显著性检测——LC模型
1. 参考文献: Visual Attention Detection in Video Sequences Using Spatiotemporal Cues. Yun Zhai and Mubar ...
显著性检测——PFT模型
1. 参考文献 Guo C, Ma Q, Zhang L. Spatio-temporal Saliency detection using phase spectrum of quaternion ...
ACM MM'21 | 超轻量8.5M！更高效的RGB-D显著性检测模型DFM-Net
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达自深度传感器的普及以来,RGB-D显著物体检测(Salient object detection,SO ...
干货！仅有 100k 参数的高效显著性检测方法
作者 | 南开大学程明明.依图科技颜水成责编 | Carol 封图 | CSDN 下载自视觉中国显著性目标检测模型通常需要花费大量的计算成本才能对每个像素进行精确的预测,因此这使得其几乎不适用 ...
matlab 图像显著性检测ft_图像显著性检测总结
这块的工作一直在跟,一直没有整理,看到别人整理的资料不错,先加入作者链接: http://blog.csdn.net/anshan1984/article/details/8657176点击打开链接 ...
目标检测 YOLOv5 - 模型的样子
目标检测 YOLOv5 - 模型的样子 flyfish 文章目录目标检测 YOLOv5 - 模型的样子开始加载模型文件模型的层模型的属性模块的名称以及模块本身模型的权重模型权重的名字和权 ...
显著性检测学习笔记（2）：DMRA__2019_ICCV
Depth-induced Multi-scale Recurrent Attention Network for Saliency Detection 简介 github: 动机和贡献提出的模型 ...
CVPR2019文章解读 Pyramid Feature Attention Network for Saliency detection 用于显著性检测的金字塔特征注意网络
Pyramid Feature Attention Network for Saliency detection 摘要显著性检测是计算机视觉领域的基本挑战之一,怎么有效去提取特征非常关键,目前的一些 ...

显著性检测——GR模型

显著性检测——GR模型

1. Introduction

2. Saliency Model

2.1 Initial Saliency Map

2.2 Saliency Map Refining With Graph Regularization

3. Experiments

4. Conclusion

参考文献

显著性检测——GR模型相关推荐

最新文章

热门文章