Harris角点及Shi-Tomasi角点检测
一、角点定义
有定义角点的几段话：
1、角点检测(Corner Detection)是计算机视觉系统中用来获得图像特征的一种方法，广泛应用于运动检测、图像匹配、视频跟踪、三维建模和目标识别等领域中。也称为特征点检测。
角点通常被定义为两条边的交点，更严格的说，角点的局部邻域应该具有两个不同区域的不同方向的边界。而实际应用中，大多数所谓的角点检测方法检测的是拥有特定特征的图像点，而不仅仅是“角点”。这些特征点在图像中有具体的坐标，并具有某些数学特征，如局部最大或最小灰度、某些梯度特征等。
现有的角点检测算法并不是都十分的鲁棒。很多方法都要求有大量的训练集和冗余数据来防止或减少错误特征的出现。角点检测方法的一个很重要的评价标准是其对多幅图像中相同或相似特征的检测能力，并且能够应对光照变化、图像旋转等图像变化。
2、在我们解决问题时，往往希望找到特征点，“特征”顾名思义，指能描述物体本质的东西，还有一种解释就是这个特征微小的变化都会对物体的某一属性产生重大的影响。而角点就是这样的特征。
观察日常生活中的“角落”就会发现，“角落”可以视为所有平面的交汇处，或者说是所有表面的发起处。假设我们要改变一个墙角的位置，那么由它而出发的平面势必都要有很大的变化。所以，这就引出了图像角点的定义
“如果某一点在任意方向的一个微小变动都会引起灰度很大的变化，那么我们就把它称之为角点”
3、
特征检测与匹配是Computer Vision 应用总重要的一部分，这需要寻找图像之间的特征建立对应关系。点，也就是图像中的特殊位置，是很常用的一类特征，点的局部特征也可以叫做“关键特征点”(keypoint feature)，或“兴趣点”(interest point)，或“角点”(conrner)。
关于角点的具体描述可以有几种：
- 一阶导数(即灰度的梯度)的局部最大所对应的像素点；
- 两条及两条以上边缘的交点；
- 图像中梯度值和梯度方向的变化速率都很高的点；
- 角点处的一阶导数最大，二阶导数为零，指示物体边缘变化不连续的方向。
二、角点检测算法
1、Moravec角点检测算法
Moravec角点检测算法是最早的角点检测算法之一。该算法将角点定义为具有低“自相关性”的点。算法会检测图像的每一个像素，将像素周边的一个邻域作为一个patch，并检测这个patch和周围其他patch的相关性。这种相关性通过两个patch间的平方差之和(SSD)来衡量，SSD值越小则相似性越高。
如果像素位于平滑图像区域内，周围的patch都会非常相似。如果像素在边缘上，则周围的patch在与边缘正交的方向上会有很大差异，在与边缘平行的方向上则较为相似。而如果像素是各个方向上都有变化的特征点，则周围所有的patch都不会很相似。
Moravec会计算每个像素patch和周围patch的SSD最小值作为强度值，取局部强度最大的点作为特征点。
2、Harris角点检测
转载：http://blog.csdn.net/xiaowei_cqu/article/details/7805206
源码及资料下载： http://download.csdn.net/detail/xiaowei_cqu/4466627
当一个窗口在图像上移动，在平滑区域如图(a)，窗口在各个方向上没有变化。在边缘上如图(b)，窗口在边缘的方向上没有变化。在角点处如图(c)，窗口在各个方向上具有变化。Harris角点检测正是利用了这个直观的物理现象，通过窗口在各个方向上的变化程度，决定是否为角点。
将图像窗口平移[u,v]产生灰度变化E(u,v)
由：
， 得到：
对于局部微小的移动量 [u,v]，近似表达为：
其中M是 2*2 矩阵，可由图像的导数求得：
E(u,v)的椭圆形式如下图：
定义角点响应函数 R 为：
Harris角点检测算法就是对角点响应函数R进行阈值处理：R > threshold，即提取R的局部极大值。
【相关代码】
OpenCV中定义了 cornerHarris 函数：
- void cornerHarris( InputArray src, OutputArray dst, int blockSize,
- int ksize, double k,
- int borderType=BORDER_DEFAULT );
可以结合 convertScaleAbs 函数，通过阈值取角点：
- void cornerHarris_demo( int, void* )
- {
- Mat dst, dst_norm;
- dst = Mat::zeros( src.size(), CV_32FC1 );
- /// Detector parameters
- int blockSize = 2;
- int apertureSize = 3;
- double k = 0.04;
- /// Detecting corners
- cornerHarris( src_gray, dst, blockSize, apertureSize, k, BORDER_DEFAULT );
- /// Normalizing
- normalize( dst, dst_norm, 0, 255, NORM_MINMAX, CV_32FC1, Mat() );
- convertScaleAbs( dst_norm, dst_norm_scaled );
- /// Drawing a circle around corners
- for( int j = 0; j < dst_norm.rows ; j++ )
- { for( int i = 0; i < dst_norm.cols; i++ )
- {
- if( (int) dst_norm.at<float>(j,i) > thresh )
- {
- circle( dst_norm_scaled, Point( i, j ), 5, Scalar(0), 2, 8, 0 );
- circle(src,Point( i, j ), 5, Scalar(255,0,0), -1, 8, 0 );
- }
- }
- }
- /// Showing the result
- imshow( corners_window, dst_norm_scaled );
- imshow( source_window, src );
- }
另一篇对Harris的讲解（http://www.cnblogs.com/ztfei/archive/2012/05/07/2487123.html）
在我们解决问题时，往往希望找到特征点，“特征”顾名思义，指能描述物体本质的东西，还有一种解释就是这个特征微小的变化都会对物体的某一属性产生重大的影响。而角点就是这样的特征。
观察日常生活中的“角落”就会发现，“角落”可以视为所有平面的交汇处，或者说是所有表面的发起处。假设我们要改变一个墙角的位置，那么由它而出发的平面势必都要有很大的变化。所以，这就引出了图像角点的定义
“如果某一点在任意方向的一个微小变动都会引起灰度很大的变化，那么我们就把它称之为角点”
由上面定义，我们可以想到算法思路：去检测图像像素的灰度变化情况，即求解
，其中，I(x,y)表示像素的灰度值
对于上式，我们希望找到使E的值尽量大的点，则，将上式右边泰勒展开得：
整理可得：
，进而可以表示为下式
这里考虑进去窗函数，设
于是，Harris整理出Harris算子的公式：
，其中M即为上面的矩阵，但是为什么会有这个算子呢，我试着给一点解释。
让我们来重新来考虑矩阵，一切的问题还得回归到数学上去
，这个矩阵先摆在这里，我们先看一下协方差矩阵。
协方差矩阵的作用为什么比方差和均值要大呢？显而易见方差和均值只是一维随机变量的统计值，而协方差就不一样了，它可以表示多维随机变量之间的相关性信息。协方差矩阵的一个很出色的应用就是在PCA中，选择主方向。协方差矩阵的对角线的元素表示的是各个维度的方差，而非对角线上的元素表示的是各个维度之间的相关性，因此，在PCA中，我们尽量将非对角线上的元素化为0，即将矩阵对角化，选特征值较大的维度，去掉特征值较小的维度，来获得主方向，并且使主方向与其他方向的相关性尽量小。那现在看看这个矩阵M,通过上面对协方差的描述，我们完全可以把这个矩阵看做一个二维随机分布的协方差矩阵，那么我们要做的就是将其对角化，求矩阵的两个特征值，然后根据这两个特征值来判断是不是角点（两个特征值都大代表角点）。
而对于Harris算子来说，我们也可以写成下式的形式：
，单单从这个式子中我们无法与上面联系起来，上面是说要让两个特征值都大的点，而这个式子是要求使R最大的点，而也没有办法一眼看出R与两个特征值之间的单调性关系。
下面我只是去验证此式的正确性，至于它到底是根据什么构造的，我还不清楚，如果有人知道，请告诉我一下~~
我们这里设，进而可以设，所以,现在我们对求导，整理后可得下式：
，对于k值，我们一般取0.04~0.06，所以对于角点，导数是正的，且随着特征值的增大，导数呈上升的趋势。也就是说这个算子是符合上面的理论分析的。
像上面这样去求解原则上是没有问题的，可是，众所周知，原始的Harris角点检测算法不具有尺度不变性（也就是说如果图像的尺度发生变化，那么可能原来是角点的点在新的尺度就不是角点了）。
所以，我们在进行运算的开始先将图像转化到尺度空间表示，即将原图像进行尺度变换，而尺度变换的方式就是问题的输入信号与尺度核函数做卷积运算：
，其中这里的运算为卷积运算，不是乘运算。即
，其中sigma表示尺度。然后，我们就使用L代替原图像去进行运算，而尺度成了我们运算的参数了。
我们知道Harris角点本身就不受光照，旋转的影响，现在我们又使其满足尺度不变性，所以，Harris角点可以作为一个优秀的特征来帮助我们解决问题。
本文只介绍了一下空域上的Harris角点的检测，但是我们现在需要将Harris角点扩展到时空域中，其实道理都差不多，再续！
还有一段对Harris的计算步骤描述：
3、Shi-Tomasi 算法
Shi-Tomasi 算法是Harris 算法的改进。Harris 算法最原始的定义是将矩阵 M 的行列式值与 M 的迹相减，再将差值同预先给定的阈值进行比较。后来Shi 和Tomasi 提出改进的方法，若两个特征值中较小的一个大于最小阈值，则会得到强角点。
如上面第二幅图中，对自相关矩阵 M 进行特征值分析，产生两个特征值
和两个特征方向向量。因为较大的不确定度取决于较小的特征值，也就是
，所以通过寻找最小特征值的最大值来寻找好的特征点也就解释的通了。
Shi 和Tomasi 的方法比较充分，并且在很多情况下可以得到比使用Harris 算法更好的结果。
【相关代码】
由于这种Shi-Tomasi算子与1994年在文章 Good Features to Track [1]中提出，OpenCV 实现的算法的函数名定义为 goodFeaturesToTrack：
- void goodFeaturesToTrack( InputArray image, OutputArray corners,
- int maxCorners, double qualityLevel, double minDistance,
- InputArray mask=noArray(), int blockSize=3,
- bool useHarrisDetector=false, double k=0.04 );
自定义使用函数（以方便createTrackbar的响应）如下：
- void cornerShiTomasi_demo( int, void* )
- {
- if( maxCorners < 1 ) { maxCorners = 1; }
- /// Parameters for Shi-Tomasi algorithm
- vector<Point2f> corners;
- double qualityLevel = 0.01;
- double minDistance = 10;
- int blockSize = 3;
- bool useHarrisDetector = false;
- double k = 0.04;
- /// Copy the source image
- Mat cormat;
- /// Apply corner detection :Determines strong corners on an image.
- goodFeaturesToTrack( src_gray,
- corners,
- maxCorners,
- qualityLevel,
- minDistance,
- Mat(),
- blockSize,
- useHarrisDetector,
- k );
- /// Draw corners detected
- for( int i = 0; i < corners.size(); i++ ){
- circle( dst_norm_scaled, corners[i], 5, Scalar(255), 2, 8, 0 );
- circle( src, corners[i], 4, Scalar(0,255,0), 2, 8, 0 );
- }
- /// Show what you got
- imshow( corners_window, dst_norm_scaled );
- imshow( source_window, src );
- }
实践
在主函数中定义两个进度条方便调整阈值：
- namedWindow( source_window, CV_WINDOW_AUTOSIZE );
- createTrackbar( "Threshold: ", source_window, &thresh, max_thresh, cornerHarris_demo );
- createTrackbar( "Max corners:", source_window, &maxCorners, maxTrackbar, cornerShiTomasi_demo );
- namedWindow( corners_window, CV_WINDOW_AUTOSIZE );
- namedWindow( source_window, CV_WINDOW_AUTOSIZE );
- imshow( source_window, src );
- cornerHarris_demo( 0, 0 );
- cornerShiTomasi_demo( 0, 0 );
这里还需要说的是OpenCV 2.4.2中给的角点检测跟踪的示例代码有些问题，是应为SURF等不再定义在 feature2d模块中，而是legacy和nonfree，所以需要加入引用：
- #include "opencv2/legacy/legacy.hpp"
- #include "opencv2/nonfree/nonfree.hpp"
角点检测结果：
蓝色实心点为Harris检测结果，绿色空心圈为goodFeaturetoTrack检测结果。
M特征值分解后每个像素点相减的图（也就是Harris阈值判断的图）如下：
黑色实心点为Harris阈值检测结果，白色空心圈为阈值为27时Shi-Tomasi检测结果。
4、FAST角点检测算法
Edward Rosten and TomDrummond 在2006年提出了一种简单快速的角点探测算法，该算法检测的角点定义为在像素点的周围邻域内有足够多的像素点与该点处于不同的区域。应用到灰度图像中，即有足够多的像素点的灰度值大于该点的灰度值或者小于该点的灰度值。
考虑下图中p点附近半径为3的圆环上的16个点，一个思路是若其中有连续的12个点的灰度值与p点的灰度值差别超过某一阈值，则可以认为p点为角点。
Harris角点及Shi-Tomasi角点检测相关推荐
- 角谷猜想：所谓角谷猜想，是指对于任意一个正整数，如果是奇数，则乘 3 加 1，如果是偶数，则除以2，得到的结果再按照上述规则重复处理，最终总能够得到 1。如假定初始整数为 5，计算过程分别为 16、
角谷猜想 Description 所谓角谷猜想,是指对于任意一个正整数,如果是奇数,则乘 3 加 1,如果是偶数,则除以2,得到的结果再按照上述规则重复处理,最终总能够得到 1.如,假定初始整数为 5 ...
- python全角数字_python 半角全角的相互转换
全角与半角在中文输入法里经常要接触到,后台在处理用户输入数据时需要对半角全角的相互转换.下面是python 实现的半角全角的相互转换功能. 全角与半角 全角指一个字符占用两个标准字符位置的状态. 半角 ...
- css聊天气派,css如何实现小尖角聊天对话框带尖角的说话泡泡效果
css如何实现小尖角聊天对话框带尖角的说话泡泡效果 发布时间:2021-03-20 09:44:20 来源:亿速云 阅读:58 作者:小新 这篇文章主要介绍了css如何实现小尖角聊天对话框带尖角的说话 ...
- 雷达测角方法（DBF测角、干涉测角（长短基线））matlab
雷达测角方法(DBF测角.干涉测角(长短基线)) DBF测角 实验仿真 干涉测角 长短基线 相位差解模糊 实验仿真 五元均匀圆阵干涉测角(需要私,这部分实在懒得更新了) 代码私信 DBF测角 根据波束 ...
- ConerNet角点网络中的角点分类损失的理解
ConerNet角点网络中的角点分类损失的理解 1.交叉熵损失 2.Focal Loss α--平衡交叉熵 (1−y)γ(1-y)^{\gamma}(1−y)γ简单与困难样本 3.CornerNet的 ...
- 航向角，横摆角，车辆质心侧偏角，前轮侧偏角（这又可以分为在轮胎坐标系下和车辆坐标系下的前轮侧偏角哦），前轮转角
航向角:地面坐标系下,车辆真实运动方向(即车辆质心速度)与横轴(横轴就是全局基准X轴)的夹角.航向角为图中θ 横摆角:指车体纵轴线(也就是x轴)与大地坐标系的横轴(即X轴)的夹角. 车辆质心侧偏角:指 ...
- 如何区分小角X射线散射和小角X射线衍射？
小角X射线散射(SAXS)大多数被用来测定超细粉体.纳米离子分布的有关性质,小角X射线衍射(SAXD)则主要用来测定超大晶面间距或者薄膜结构等等问题,在用途上两种实验并不一致,本篇文章将介绍小角X射线 ...
- 假定有5角、1角、5分、2分和1分共5种硬币，在给顾客找硬币时，一般都会尽可能地选用硬币个数最小的方法。例如，当要给某顾客找7角2分钱时，会给他一个5角，2个1角和1个2分的硬币。
题目描述 假定有5角.1角.5分.2分和1分共5种硬币,在给顾客找硬币时,一般都会尽可能地选用硬币个数最小的方法.例如,当要给某顾客找7角2分钱时,会给他一个5角,2个1角和1个2分的硬币. 输入 要 ...
- MacBook触控板使用技巧 Mac的触发角是什么?Mac触发角功能怎么设置？
MacBook触控板和触发角其实有很多很实用的功能,能让你操作mac更6哦!那么mac触控板有什么使用技巧呢?Mac触发角功能怎么设置?下面介绍一下关于mac触发角的设置,顺便还有一些MacBook触 ...
- 风雪一隅 php,一隅小角，遇见美好——自然角中的二三事
一隅小角,遇见美好--自然角中的二三事 陈鹤琴先生一贯主张让幼儿走向大自然, 因为它是一本"活"的书, 万事万物容纳于其中. 而自然角是幼儿认识自然的一个小小窗口, 教师可以根据季 ...
最新文章
- 网页中如何获取客户端系统已安装的所有字体？
- Context类(上下文)
- mysql学习整理(一)
- org.apache.commons.io——FileUtils学习笔记
- ruby 覆盖率测试_Ruby方法覆盖
- 2.Java内存回收机制
- 友益文书类似软件_网易有道词典笔，让你的英文书也有实时翻译功能
- 5 分钟商学院精细笔记 000~185
- 【机器学习】因子分解机（Factorization Machine）原理与java实现
- android随机抽奖代码_随机抽奖生成器app下载|随机抽奖生成器软件下载_v1.0_9ht安卓下载...
- 【蓝桥杯真题】走迷宫算法
- python 控制 窗口 控件_【python】Tkinter可视化窗口(一)
- 欢迎段海华——我们开发者社区中文版的新版主！
- Android 客户端与服务器端时间校准
- 进入2.0阶段！从阿里大鱼买断军事大V看内容平台的生态之争
- C++ Primer 读书笔记及知识点延伸 chapter1
- 小饶学编程之JAVA SE第二部分——MySql 数据库 开发：04Properties
- java replica set_K8s 的ReplicaController ReplicaSet DaemonSet和Job
- File类如何获取文件后缀名
- 设计模式学习（九）：Builder