作者丨卢涛@知乎

来源丨https://zhuanlan.zhihu.com/p/355441452

编辑丨3D视觉工坊

非完整版注释：https://github.com/smilefacehh/ORB-SLAM3-Note

本文介绍ORB相关的一些概念，FAST特征点、BRIEF描述子、ORB如何改进得到旋转不变性，然后从工程实践上介绍金字塔图像每层特征分配数量如何计算、四叉树如何精简特征点。如果有理解上的错误，请您指正。

FAST特征点

提取流程：

1.以P为中心，选取半径为3的圆，共16个像素

2.判断1、9位置与P灰度差值（同正负）是否均超过阈值，如果没有，则不是角点

3.再判断1、9、5、13位置与P灰度差值（同正负）是否至少三个超过阈值，如果没有，则不是角点

4.设定阈值，如果超过连续9（或者12）个像素与P的灰度差值（分正负的）大于阈值，则认为P为角点

5.非极大值抑制。这一步是在提取了所有角点之后执行的，前面4步提取的角点会堆积，相邻的两个角点，删除灰度差值和（16个点与P的灰度差的和）更小的角点。

几种特征点的效率对比（来自网络）

ORB-SLAM给出的时间统计，ORB提取单帧耗时11ms，基本能达到30fps。

BRIEF描述子

在特征点邻域随机选择（高斯分布）256对点坐标，比较点1与点2大小，小于取1，大于取0，构成256位二进制，即为描述子。通常用uchar*存储二进制描述子，16个字节，8位。

ORB（Oriented FAST and Rotated BRIEF）

这里给FAST、BRIEF都加上旋转不变性。解释一下旋转不变性，如果没有，那么图像旋转一下，同一个位置可能不是FAST点了，计算的BRIEF跟原来的也不一样了。

在特征点周围取半径15的圆形邻域，计算灰度质心，点到质心的连线与水平方向夹角记为该特征点的方向，存angle属性。灰度质心计算公式：

FAST特征点有了方向，BRIEF的方向就好办了，256对点的参考坐标系是水平向右x，竖直向上y，把这个参考系旋转一下，x正向与上面红色箭头对齐。然后计算BRIEF描述子（steered BRIEF）就可以了。这样即便图像旋转了，BRIEF算出来还是一样的。但是steered BRIEF改变了一些性质，orb作者给出了下面这幅图。

先说说横纵坐标的含义。对100k个描述子按位（256位）相加计算均值，得到256个均值，记做变量x = {0.5, 0.5, 0.1, 0, 1, ...}，再与0.5相减得到变量x' = |x - 0.5| = {0, 0, 0.4, 0.5, 0.5, ...}，那么横坐标就是这里的x'，纵坐标就是对应计数。再看直方图，BRIEF的横坐标集中在0处，也就是变量x集中在0.5处。意思就是对于描述子上的每一位的平均值大多数都非常接近0.5，也有平均值为0或者1的，只不过非常少，这些值就构成了一个高斯分布。直方图等价于对折之后的高斯分布，留一半。方差一目了然，BRIEF方差最大，而steered BRIEF所有描述子在各个位上的平均的分布则比较平均。至于为什么方差小，区分能力比较差，没太明白，有兴趣可以看看论文。

那么作者提出了rotated BRIEF，用大量的数据，选择出效果最好的256个点对位置，以后每次计算描述子都使用这256个坐标。

备注SIFT（来自网络）：

1.高斯金字塔，尺度

2.相邻高斯金字塔减法，得到高斯差分图像，边缘特征显现

3.在高斯差分图像上检测特征点，像素点比周围8个，相邻高斯差分图像上9*2=18个像素点灰度值都大或都小，认为是特征点

4.像素梯度直方图，计算主方向

5.描述子，尺度*方向

每层特征点数量分配

接下来是实际提取特征点的操作。首先计算图像金字塔，假设我们总共需要提取N个特征点，每层金字塔分配多少呢。很简单，根据图像面积比例分配，ORB-SLAM3实际是按图像边长比例来分配。第0层图像面积设为1，第1层根据尺度比例（逆尺度，0<s<1）面积为  ，以此类推，可以计算每层金字塔图像面积所占比例。

第  层应该分配的特征点数量为

四叉树精简特征点

简要说明一下特征点提取流程：

1.划分图像金字塔

2.对每层金字塔图像，划分网格，在网格中提取FAST特征点

3.利用四叉树对每层特征点精简，选择最优的若干个特征点，数量不得超过每层分配数额

四叉树精简的步骤可以参考：https://zhuanlan.zhihu.com/p/61738607

原理很简单，递归对图像一分为四进行划分，直到子空间数量超过配额，每个子空间都落入了若干个特征点，对每个子空间取一个最好的，加起来就够数了。四叉树划分，将扎堆的特征点用一个点代替（非极大值抑制），同时又保证空间上所有位置都有特征点（均匀分布），最终达到精简特征点的目的。

几点经验总结

1.计算图像金字塔的时候，先扩展图像边界，镜像对称扩展，然后双线性插值缩放图像，目的是边界上的点也可以正常插值，最后取中间的原始部分为最终需要的金字塔图像

2.计算BRIEF描述子之前，先对图像进行高斯模糊，平滑噪声

3.特征点与 灰度质心连线，同x轴正向夹角范围  ，保存在keypoint->angle属性中

4.对于尺度s，焦距f这种频繁做除法的量，计算一次倒数，1/s，1/f保存起来，做乘法

参考

1.小葡萄：[ORB-SLAM2] ORB-SLAM中的ORB特征（提取）

2.FAST特征点检测 - ☆Ronny丶 - 博客园

3.Zhang Bin：传统计算机视觉中图像特征匹配方法的原理介绍（SIFT 和 ORB）

4.lowkeyway：（四十二）特征点检测-ORB

5.ORB-SLAM（一）简介 - 路游侠 - 博客园

6.特征点匹配--ORB算法介绍 - 程序园

本文仅做学术分享，如有侵权，请联系删文。

下载1

在「3D视觉工坊」公众号后台回复：3D视觉，即可下载 3D视觉相关资料干货，涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。

下载2

在「3D视觉工坊」公众号后台回复：3D视觉github资源汇总，即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。

下载3

在「3D视觉工坊」公众号后台回复：相机标定，即可下载独家相机标定学习课件与视频网址；后台回复：立体匹配，即可下载独家立体匹配学习课件与视频网址。

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近3000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

圈里有高质量教程资料、可答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~