1. 介绍

提出了一种基于ORB特征和FREAK仿生描述子相结合的Hessian ORB - Overlapped FREAK （HOOFR）算法，与SIFT、SURF或ORB相比，HOOFR在不同的匹配上下文中在执行时间和匹配质量方面具有相当高的性能。
BRISK描述符使用对称模式。BRISK的采样点不是简单的随机点，而是位于与关键点同心的圆上。BRISK将采样点对分为两个子集：保留用于计算关键点方向的长距离对和保留用于构建关键点描述符的短距离对。FREAK是BRISK的优化版本，主要有两个修改。首先，它使用了一种从人类视网膜中获得的采样模式，在这种模式下，平滑核是重叠的，并且它们的大小呈指数变化。其次，它使用45对对称的中心来估计关键点的方向，而不是像BRISK那样使用长距离对子集。

2. 方法

A. 基于Hessian矩阵的快速检测

在ORB算法中，采用FAST-9算法对金字塔各层次的特征进行检测。由于FAST提供了大量的特征，且沿边缘有较大的响应，因此采用Harris矩阵对结果进行滤波。作者使用Hessian矩阵替换Harris矩阵来过滤FAST提供的特征，并使用Hessian矩阵的行列式作为特征点的得分。

Hessian矩阵

Hessian矩阵由图像的二阶偏导数组成，导数可以直接应用到平滑函数，使用高斯函数作为平滑函数，然后可以用来过滤图像，使计算效率更高。

高斯函数

B. FREAK-仿生描述符

FREAK是在考虑人类视网膜拓扑结构和神经科学观察的基础上提出的。人们认为，人类视网膜通过使用不同大小的高斯比较（高斯差分）从视野中提取信息，并将这些差异以二进制模式编码为神经网络。视网膜的拓扑结构和空间编码很有趣。首先，神经节细胞包括几个光感受器。光影响神经节细胞反应的区域是感受野。图2显示神经节细胞的空间分布随到中央凹的距离呈指数减少。

1）采样模式
它们被分成四个区域：foveal, fovea, parafoveal, and perifoveal，感受野和树突野的大小随到中心凹的径向距离的增加而增大。受此启发，Freak: Fast retina keypoint的作者提出了一种采样模式，如图3a所示。该模式由7个半径呈指数递减的同心圆组成。每一个圆包含6个点，被认为是6个感受野，感受野在中心，整个图案由43个感受野组成。同心圆上的点的分布类似于DAISY中提出的6段法。
作者提出了图3b所示的不同采样模式，仅包含6个同心圆。然而，每一个圆都有8个感受野。包括中心点在内，该模式总共包含49个感受野。对于复杂的图像处理任务，各种描述符在图像空间或频域中利用一定程度的重叠，以便能够更有效地掌握复杂的相关性。除了径向重叠外，还增加了环向向重叠量。FREAK使用49个字段之间的比较来构建描述符，因此有更多的对**（1176对）可供选择**，而Freak: Fast retina keypoint是903对。重叠的增加，助于减少描述符的大小，构建了一个256位的描述符，它是ORB描述符（512位）的一半大小。这种减少不仅是为了节省内存，而且加速匹配过程，其中256位比较比512位比较快两倍。
2）关键点方向
使用FREAK中提出的相同方法，通过对选定对上的局部梯度求和。因为抽样模式有更多的重叠，导致更多的信息被整合到接受领域，所以可以使用比FREAK更少的对进行方向估计。由45对对称接收常变为40对，如图4a所示。通过减少对的数量在计算方向时提高执行时间。然后通过方程3获得方位，其中S是用于计算局部梯度的所有40对的集合，N是S中的对数，pr10是接收场中心坐标的2D矢量。

3）描述子
二进制描述子F是通过比较接收场与其对应的高斯核来构造的。

pn是一对感受野，N是二元描述符的大小，I（pr1n）和I（pr2n）分别是该对N的第一和第二感受野的高斯平滑强度。

3. 实验对比

采用8个图像序列如图5所示，对应于视点变化（涂鸦、墙壁）、缩放和旋转（树皮、船）、模糊（自行车、树木）、亮度变化（汽车）和JPEG压缩（Ubc）来评估性能。

图5 用于评估的图像序列

采用SIFT、SURF、ORB、BRISK和FREAK等广泛使用的算法进行比较。所有的匹配测试都采用了brute-force算法，其中SIFT使用浮动距离，SURF使用浮动距离，二进制描述符使用Hamming距离。为了公平起见，对检测器返回的相关关键点数目设置相同的值。此值在此测试中设置为1000个关键点。

A. HOOFR检测器重复性
特征检测器的理想特性是重复性。它表示检测器在同一场景的两个或多个不同图像中找到相同特征的能力。图6显示了具有独立特性的五个变换的重复性评估。HOOFR表现出了显著的性能，在大多数图像序列上都优于ORB。

图6 在图像数据集中评估探测器的重复性

B.HOOFR二进制描述符比较
将HOOFR描述符与文献中的其他二进制描述符如BRISK、ORB和FREAK进行了比较，使用FREAK和BRISK中提出的召回精度曲线来判断性能。在这个测试中选择ORB检测器，返回的相关关键点的数目也是1000个。图7显示了使用基于阈值的汉明距离相似性匹配从数据集中收集图像对的召回精度曲线。根据图7，HOOFR通常比FREAK更具有鲁棒性。另一方面，它克服了ORB的所有测试图像转换问题。尽管在某些情况下会出现波动，但HOOFR的性能要好于BRISK。

图7 二值描述符评价的召回精度曲线

C. 速度
表1给出了4个选定序列中的第一图像的检测结果，表2给出了相同图像的描述时间。表3显示了检测器和描述符的提取时间。它的计算速度甚至比ORB更快，在描述方面，体现二进制描述符的优势，比SURF快一个数量级，比SIFT快两个数量级。

总结：HOOFR通常具有比SIFT和ORB更好的总体性能

HOOFR: 增强型仿生特征提取器相关推荐

自动化特征提取器：图像特征提取和深度学习
自动化特征提取器:图像特征提取和深度学习转载:github 译者:@friedhelm739 视觉和声音是人类固有的感觉输入.我们的大脑是可以迅速进化我们的能力来处理视觉和听觉信号的,一些系统甚至在 ...
特征工程系列之自动化特征提取器
视觉和声音是人类固有的感觉输入.我们的大脑是可以迅速进化我们的能力来处理视觉和听觉信号的,一些系统甚至在出生前就对刺激做出反应.另一方面,语言技能是学习得来的.他们需要几个月或几年的时间来掌握.许多人 ...
面向机器学习的特征工程八、自动化特征提取器：图像特征提取和深度学习
来源:ApacheCN<面向机器学习的特征工程>翻译项目译者:friedhelm739 校对:(虚位以待) 视觉和声音是人类固有的感觉输入.我们的大脑是可以迅速进化我们的能力来处理视觉和 ...
【单目标优化求解】基于matlab增强型黑猩猩优化器算法求解单目标优化问题【含Matlab源码 2013期】
⛄一.获取代码方式获取代码方式1: 完整代码已上传我的资源:[单目标优化求解]基于matlab增强型黑猩猩优化器算法求解单目标优化问题[含Matlab源码 2013期] 点击上面蓝色字体,直接付费下 ...
TPAMI 2022 | 自动搜索文本识别网络的高性能特征提取器
©PaperWeekly 原创 · 作者 | 陈卓群单位 | 清华大学论文标题: Searching a High Performance Feature Extractor for Text R ...
pytorch 将模型作为特征提取器（提取中间层特征）
目的需要加载自己训练好的最好模型作为一个特征提取器,也就是说需要提取最后一层全连接层输出的内容. 解决方法参考了两个方法(详见文末) 设参数直接提取准备一个toy model来说明. class ...
【深度学习】特征提取器：Transformer,Rnn,CNN之间的相互比较
在辞旧迎新的时刻,大家都在忙着回顾过去一年的成绩(或者在灶台前含泪数锅),并对2019做着规划,当然也有不少朋友执行力和工作效率比较高,直接把2018年初制定的计划拷贝一下,就能在3秒钟内完成2019 ...
Transformer、rnn与cnn三大特征提取器的比较
自然语言处理中的三大特征处理器:RNN.CNN.Transformer,它们目前谁各方面占据优势?未来谁又更有前途呢?这篇文章用目前的各种实验数据给出了说明,结论是:放弃幻想,全面拥抱Transfor ...
使用Resnet50作为图像特征提取器和faiss进行indexing的电子产品图像检索
使用Resnet50作为图像特征提取器和faiss进行indexing的电子产品图像检索 !wget https://digix-algo-challenge.obs.cn-east-2.myhuaw ...

HOOFR: 增强型仿生特征提取器

An Enhanced Bio-Inspired Feature Extractor