Spatial Pyramid Matching
稀疏编码系列:
- (一)----Spatial Pyramid 小结
- (二)----图像的稀疏表示——ScSPM和LLC的总结
- (三)----理解sparse coding
- (四)----稀疏模型与结构性稀疏模型
---------------------------------------------------------------------------
SPM [1]全称是Spatial Pyramid Matching,出现的背景是bag of visual words模型被大量地用在了Image representation中,但是BOVW模型完全缺失了特征点的位置信息。文章被引用了3400多次。文章的贡献,看完以后觉得其实挺简单的,和分块直方图其实是一个道理------将图像分成若干块(sub-regions),分别统计每一子块的特征,最后将所有块的特征拼接起来,形成完整的特征。这就是SPM中的Spatial。在分块的细节上,作者采用了一种多尺度的分块方法,即分块的粒度越大越细(increasingly fine),呈现出一种层次金字塔的结构,这就是SPM中的Pyramid。M就是Matching,没什么可说的。
具体地介绍Pyramid Matching:
-------假设存在两个点集X和Y( 每个点都是D维的,以下将它们所在的空间称作特征空间)。将特征空间划分为不同的尺度,在尺度l下特征空间的每一维划出个cells,那么d维的特征空间就能划出个bins;
-------两个点集中的点落入同一个bin就称这两个点Match。在一个bin中match的总数定义为 min(Xi, Yi),其中Xi和Yi分别是两个点集中落入第i个bin的点的数目;
-------统计各个尺度下match的总数(就等于直方图相交)。由于细粒度的bin被大粒度的bin所包含,为了不重复计算,每个尺度的有效Match定义为match的增量;
-------不同的尺度下的match应赋予不同权重,显然大尺度的权重小,而小尺度的权重大,因此定义权重为;
-------最终,两点集匹配的程度定义为:
(1)
在作者提出的SPM中,作者实际采用了图像的空间坐标来代替第三段假设中提到的特征空间。因此就有作者的SPM:
-------将图像空间用构造金字塔的方法分解为多个scale的bins(通俗地说就是切分成不同尺度的方形);
-------像BOW一样构造一本大小为M的dictionary,这样每个特征都能投影到dictionary中的一个word上。其中字典的训练过程是在特征空间中完成。论文中的特征利用的dense SIFT。
-------统计每个bin中各个words的数目,最终两幅图像的匹配程度定义为:
(2)
注意,当L=0时,模型就退化成为BOW了。
SPM介绍了两幅图像匹配的方法。如要用于场景分类,注意(2)式就等于M(L+1)个直方图相交运算的和,其实也就等于一个更大的向量直接进行直方图相交运算而已。而这个向量,就等于每个被划分的图像子区域上的visual words直方图连在一起。这个特征,就是用来分类的特征。
作者在实验中表明,不同L下,M从200取到400对分类性能影响不大,也就是降低了码书的大小对分类效果的影响。
在本文最开始也提到了,这个方法可以作为一个模板,每个sub-region中统计的直方图可以多种多样,简单的如颜色直方图,也可以用HOG,这就形成了PHOG。SPM的matlab代码也可以从作者的主页上下载到(here)。只不过这种空间分类信息仍然有局限性-----一幅相同的图像旋转90度,匹配的结果就不会太高了。所以模型隐含的假设就是图像都是正着存储的(人都是站立的,树都是站立的.......)。Spatial BOW [2] 好像可以解决这个问题。另外空间Pyramid的分块方法也没有考虑图像中object的信息(仅仅是利用SIFT特征来描述了Object),这也是作者在文中承认的缺点。
update @2014.5.29
最近有几位网友提问,说SPM解决了图像匹配的时候如何计算相似度。但是很多时候我们要解决分类问题,怎么联系在一起。我就在这一段谈谈我的理解。当然可能有不正确的地方,大家可以留言与我讨论。
匹配的过程中,我们通过(2)式计算相似度,相似度衡量了两组特征之间的匹配程度。而分类问题和匹配是紧密相连的。我们以最经典的SVM分类器为例子,SVM最终的分类决策函数可以写成:
(3)
其中xi是所有的训练样本,x是待分类的样本,α只有对应的支持向量才会大于0(非支持向量都等于0)。(3)式的截图是从pluskid博客上偷来的,如果大家已经忘了SVM的推导可以看看他的博客(点这里),一个非常好的介绍SVM的系列。相似的公式也可以在李航的《统计学习方法》P106-107找到。
我们可以再把(3)式稍微改写一下,把训练样本分成正负样本两类:
(4)
好了,(4)式的结果就比较直观了。等式右边第一项其实就是待分类的样本与所有正样本的内积(也就是(2)式所描述的相似度,SVM可以用核函数代替内积,在(2)式中也是用了直方图相交的核函数代替内积,而内积是欧式距离对应的核函数。SPM原文中所提到用在分类问题中,就是用Chi-squre Kernel的SVM,这与直方图相交一样都是L1距离对应的核函数),第二项是与所有负样本的内积。中间是减号,表明与所有负样本的内积大,f(x)就偏负,而与正样本的内极大,f(x)就偏正。因此,SVM无非就是正负训练样本之间的一场拔河,谁力气大(和哪一类最像),x就归谁(属于那一类)。而SVM的学习过程,无非就是学习α和b这些参数的过程。这些参数对各个训练样本进行加权,权重大的训练样本决定性就强。因而,分类问题本质上就是一个测试样本与训练样本一一匹配的问题了。
我觉得说到这,分类和匹配的关系就讲明白了吧。
Reference:
--------------
作者:jiang1st2010
原文地址:http://blog.csdn.net/jwh_bupt/article/details/9625469
Spatial Pyramid Matching相关推荐
- 空间金字塔匹配Spatial Pyramid Matching 小结
稀疏编码系列: (一)----Spatial Pyramid 小结 (二)----图像的稀疏表示--ScSPM和LLC的总结 (三)----理解sparse coding (四)----稀疏模型与结构 ...
- SPM——Spatial Pyramid Matching
本文主要介绍:SPM(空间金字塔匹配)的基本原理和计算方法. 1 基本介绍 SPM 全称是Spatial Pyramid Matching,出现的背景是bag of visual words模型被大量 ...
- Spatial Pyramid Matching 小结
稀疏编码系列: (一)----Spatial Pyramid 小结 (二)----图像的稀疏表示--ScSPM和LLC的总结 (三)----理解sparse coding (四)----稀疏模型与结构 ...
- 空间金字塔Spatial Pyramid的BOW和Pyramid HOG的多核
经过我的实验,发现在基于模板法的object detection或者classification中,将Pyramid Histogram of Oriented Gradients (PHOG)和Sp ...
- Paper8:Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition
Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition 还未读
- [SPP-NET]Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition
基于空间金字塔池化的卷积神经网络物体检测 原文地址:http://blog.csdn.net/hjimce/article/details/50187655 作者:hjimce 一.相关理论 本篇博文 ...
- Spatial Pyramid Pooling(空间金字塔池化)-变尺度CNN训练
1. 需求创造好的产品,产品拓宽原始的需求 当前的深度神经网络一般都需要固定的输入图像尺寸(如224*224). 这种需求很明显是人为的,潜在性的弊端会降低识别精度(为了使图像尺寸相同,一定会涉及到图 ...
- 目标检测--Spatial pyramid pooling in deep convolutional networks for visual recognition(PAMI, 2015)
Spatial pyramid pooling in deep convolutional networks for visual recognition 作者: Kaiming He, Xiangy ...
- 语义分割——Spatial Pyramid Pooling (SPP)的作用
1 前言 我们在DeepLabV3+中学习到了ASPP算法,ASPP就是使用了膨胀卷积的Spatial Pyramid Pooling (SPP)- 2 SPP的作用 --多尺度特征融合: --将不同 ...
最新文章
- linux 命令-f1,linux之‘cut -f1’命令详解
- 中国通信企业投身罗马尼亚智慧城市建设
- 我用代码来给你们分析一个赚钱的技巧
- 作者:吴甘沙,英特尔中国研究院院长。
- 网秦任命两位新董事 成立投资委员会
- 【公众号系列】站在烦恼里仰望幸福
- 修改服务器控件的ID和Name
- linux安全策略加固文档_系统加固之Linux安全加固
- Android 9.0 蓝牙电话BluetoothHeadsetClient
- 树莓派自己加内存条_拔掉MacBookPro,用8GB树莓派4工作一天,体验原来是这样的...
- 浅析Js中${}字符串拼接
- 配置 sysctl.conf 系统参数详解
- 评估酒店营销效果的12个重要KPI指标
- java组织树级结构
- 最近论文汇总:Squeeze-and-Excitation Networks
- Eclipse 怎么切换工作空间
- Qt无边框窗体(Windows)
- 半导体器件物理【14】非平衡过剩载流子 —— 非平衡少数载流子浓度 、附加电导、扩散电流、漂移电流、总电流
- java spark 主成分分析算法(pca)
- Java实训步骤第一天
热门文章
- 视频分析与多模态融合之一,为什么需要多模态融合
- 数据通信网的交换方式
- 怎样用 16.7 个小时做 40 小时的工作
- 吊打面试官系列之:掌握兼容性测试21个知识点,让面试官也对你膜拜。
- android webview应用,Android WebView简单应用
- wow服务器维护精英怪,魔兽世界tbcp2精英怪去哪刷_wowtbc怀旧服p2稀有精英刷新点_3DM网游...
- Windows设备管理器中的错误代码
- 《人民日报》刊登时评:《壮大国产工业软件,坚定自主创新信念》
- php学习规划,2015年计划
- 放大电路基本性能指标