特征点匹配之-光流法（LK）

一、理论
LK是特征点匹配其实并不确切，更多的应该叫特征点追踪。为什么这么说呢？是因为前面我们提到的ORB,SIFT,SURF(点击查看)都是要计算特征点的描述子的，通过描述子之间的距离来判断特征点是否匹配，而光流法并不需要计算描述子。
LK光流法基于以下三条假设：
（1）亮度恒定：一个像素点随着时间的变化，其亮度值（像素灰度值）是恒定不变的。这是光流法的基本设定。所有光流法都必须满足。
（2）小运动：时间的变化不会引起位置的剧烈变化。这样才能利用相邻帧之间的位置变化引起的灰度值变化，去求取灰度对位置的偏导数。所有光流法必须满足。
（3）空间一致：即前一帧中相邻像素点在后一帧中也是相邻的。这是LK光流法独有的假定。因为为了求取x,y方向的速度，需要建立多个方程联立求解。而空间一致假设就可以利用邻域n个像素点来建立n个方程。
二、使用
opencv中calcOpticalFlowPyrLK实现了光流法：

import numpy as np
import cv2
'''
LK for video
'''
cap = cv2.VideoCapture('../asset/video/2.mp4')
# 角点检测所需参数 最大检测数量 角点的检测最低下hi两小于0.3不被计入 最小的欧氏距离
feature_params = dict(maxCorners=100, qualityLevel=0.3, minDistance=7)
# lucas kanade参数
# winSize 选择多少个点进行u，v的求解  图像金字塔的层数
lk_params = dict(winSize=(30, 30), maxLevel=6)
# 随机颜色条
color = np.random.randint(0, 255, (100, 3))
# 拿到第一帧图像
ret, oldframe = cap.read()
old_gray = cv2.cvtColor(oldframe, cv2.COLOR_BGR2GRAY)
# 返回所有检测特征点，需要输入图像，角点最大数量（效率），品质因子（特征值越大的越好，来筛选）
# 距离相当于这区间有比这个角点强的，就不要这个弱的了  Shi-Tomasi算子的运用 ，用于检测角点
p0 = cv2.goodFeaturesToTrack(old_gray, mask=None, **feature_params)
# 创建一个mask
mask = np.zeros_like(oldframe)
while True:ret, frame = cap.read()framegray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)# 需要传入前一帧和当前图像以及前一帧检测到的角点p1, st, err = cv2.calcOpticalFlowPyrLK(old_gray, framegray, p0, None, **lk_params)# st=1表示good_new = p1[st == 1]good_old = p0[st == 1]# 绘制轨迹for i, (new, old) in enumerate(zip(good_new, good_old)):a, b = new.ravel()c, d = old.ravel()mask = cv2.line(mask, (a, b), (c, d), color[i].tolist(), 2)frame = cv2.circle(frame, (a, b), 5, color[i].tolist(), -1)img = cv2.add(frame, mask)cv2.imshow('frame', img)k = cv2.waitKey(150) & 0xffif k == 27:break# 更新old_gray = framegray.copy()p0 = good_new.reshape(-1, 1, 2)
cv2.destroyAllWindows()
cap.release()

结果（截图）：

若是要匹配两张图中的特征点：

import numpy as np
import cv2
"""
LK for image
"""
img_old = cv2.imread('../asset/image/1.bmp')
img_new = cv2.imread('../asset/image/2.bmp')old_frame = cv2.cvtColor(img_old, cv2.COLOR_BGR2GRAY)
new_frame = cv2.cvtColor(img_new, cv2.COLOR_BGR2GRAY)feature_params = dict(maxCorners=100, qualityLevel=0.3, minDistance=7)
lk_params = dict(winSize=(30, 30), maxLevel=6)p0 = cv2.goodFeaturesToTrack(old_frame, mask=None, **feature_params)
p1, st, err = cv2.calcOpticalFlowPyrLK(old_frame, new_frame, p0, None, )p11 = p1[st == 1]
p00 = p0[st == 1]for i, (new, old) in enumerate(zip(p11, p00)):image_old = cv2.circle(img_old, (old[0], old[1]), 5, (0, 0, 255), -1)image_new = cv2.circle(img_new, (new[0], new[1]), 5, (0, 0, 255), -1)
cv2.imshow('new', image_new)
cv2.imshow('old', image_old)

另：
goodFeaturesToTrack是一种角点检测算法，默认使用shi-tomasi角点。

void cv::goodFeaturesToTrack( InputArray _image, OutputArray _corners,int maxCorners, double qualityLevel, double minDistance,InputArray _mask, int blockSize,bool useHarrisDetector, double harrisK )

InputArray _image：输入图像
OutputArray _corners：输出角点
maxCorners：最大角点数
qualityLevel：品质等级低于这个值就不统计
minDistance：最小距离，在该距离内取品质最好的角点（相当于非极大值抑制）
_mask：图像掩膜区域
blockSize：计算协方差矩阵时的窗口大小
useHarrisDetector：指定检测算子，默认shi-tomasi角点，可选Harris角点检测
harrisK：Harris角点检测需要的k值
三、总结
1、LK光流法构建的是稀疏场景。
2、相较于ORB、SITF、SURF来说不需要计算描述子，减少了运算时间。

特征点匹配之-光流法（LK）相关推荐

双视图特征点匹配———使用RANSAC法剔除误差点
本文使用SIFT算法得到两张图的初始特征匹配集合,然后着重总结如何使用基于8点法的RANSAC法将匹配集合中的误差点(外点)剔除. 基础矩阵介绍进行8点法之前首先需要知道基础矩阵的定义. 如图1-1 ...
HALCON：Optical Flow（光流法）
HALCON:Optical Flow(光流法) 光流法基本原理光流概念由Gibson在1950年首先提出来,它是一种简单实用的图像运动表达方式,通常定义为一个图像序列中图像亮度模式的表观运动,即空 ...
传统目标跟踪——光流法
目录一.光流法二.LK光流法 2.1 实现原理 2.2 API 三.代码四.总结基于特征点的光流跟踪,在目标上提取一些特征点,然后在下一帧计算这些特征点的光流匹配点,统计得到目标的位置.在跟踪 ...
光流法(optical flow)简介
转载自:https://blog.csdn.net/qq_41368247/article/details/82562165 光流法理论背景 1.什么是光流光流(optical flow)是空间运动 ...
计算机视觉--光流法(optical flow)简介
光流法理论背景 1.什么是光流光流(optical flow)是空间运动物体在观察成像平面上的像素运动的瞬时速度. 光流法是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前 ...
对于KLT稀疏光流法的理解
VINS前端使用KLT稀疏光流跟踪算法(使用KLT特征点检测方法的LK跟踪算法)来跟踪抓取特征点(稀疏光流法只计算部分像素的运动,计算所有像素的称为稠密光流法) KLT中的角点检测方法是用于满足LK光 ...
OpenCV Using Python——基于SURF特征提取和金字塔LK光流法的单目视觉三维重建 (光流、场景流)...
https://blog.csdn.net/shadow_guo/article/details/44312691 基于SURF特征提取和金字塔LK光流法的单目视觉三维重建 1. 单目视觉三维重建问题 ...
[LK光流法，disflow using Dense Inverse Search, VariationalRefinement变分优化原理和代码]
文章目录 1.Fast Optical Flow using Dense Inverse Search 1.1 W的含义: 1.2 LK光流模型 1.3 LK光流模型求解(不含迭代) 1.4 LK光流 ...
LK（Lucas-Kanade）稀疏光流法
此代码来自<学习OpenCV3中文版>第16章源代码有点小错误,已修改 LK光流法的基本思想基于以下三个假设. 1.亮度恒定; 2.时间持续性或"微小移动"; 3.空 ...

特征点匹配之-光流法（LK）

特征点匹配之-光流法（LK）

特征点匹配之-光流法（LK）相关推荐

最新文章

热门文章