【OpenCV笔记】光流法之金字塔Lucas-Kanade

转自：https://blog.csdn.net/qq_33389308/article/details/83049479

本文参考链接：https://blog.csdn.net/zy122121cs/article/details/44955353
参考论文：”Pyramidal Implementation of the Lucas Kanade Feature TrackerDescription of the algorithm”

一、金字塔光流法介绍

光流金字塔即对图像进行分层处理，一般来说不算原始图像（最底层）的话分为四层就能满足需求，按照论文中的话说就是超过4层在大多数情况下没有意义。如果原始图像的大小为640x480，那么分为4层的大小分别为320x240，160x120，80x60，40x30。
如下图所示：

金字塔分层

接下来对金字塔光流法的过程进行简单描述，期间不会出现任何数学公式，对公式有兴趣的小伙伴可以直接搜索查阅参考文献的论文。
首先展示一张图：

金字塔光流的过程

我们对视频中点的跟踪实际上是对相邻两帧的图像进行处理，设图像I和J为相邻两帧的图像，我们希望在图像J中找到u0的对应点v，那么首先对两幅图像进行分层，假设如上图分为3层，如此可以分别计算得到u1、u2、u3。
对于金字塔我们从最高层开始进行处理， u3在图像J中的对应初始点为v31（v31和u3是相等的，图画的不太准），然后通过某种计算符合相应的条件后，得到当前层最小误差点v3n（n表示经过n次计算）和相应的光流。然后利用计算得到的光流能够在图像J中找到点v21作为第二层的初始点，以此类推进行和第3层一样的迭代计算最终能够获得包含各层光流分量的总光流，就能得到最终的对应点v0r。

注：1.某种计算具体见论文。
2.相应条件包含两种，一是达到设置的迭代次数上限，二是计算结果符合精确度阈值。这在opencv的函数中有体现。
3.论文中能够得到一些参数设置信息，迭代次数一般设置为5次即可（但是opencv中默认为30次），金字塔层数≤4，搜索窗大小为奇数x奇数。

二、OpenCV金字塔光流函数介绍

函数声明如下：

CV_EXPORTS_W void calcOpticalFlowPyrLK( InputArray prevImg, InputArray nextImg,
InputArray prevPts, InputOutputArray nextPts,
OutputArray status, OutputArray err,
Size winSize = Size(21,21), int maxLevel = 3,
TermCriteria criteria = TermCriteria(TermCriteria::COUNT+TermCriteria::EPS, 30, 0.01),
int flags = 0, double minEigThreshold = 1e-4 );

函数参数介绍
InputArray prevImg	前一幅图像
InputArray nextImg	后一幅图像
InputArray prevPts	vector，前一幅图像中想要跟踪的点集
InputOutputArray nextPts	vector，后一幅图像中计算得到的对应点集
OutputArray status	vector，记录状态，如果对应点的光流被搜索到则将对应点置1
OutputArray err	vector，记录每个特征点的误差，如果光流没有被计算出来，不会有误差
Size winSize = Size(21,21)	搜索窗的大小，如前所述为奇数x奇数
int maxLevel = 3	金字塔的层数
TermCriteria criteria = TermCriteria(TermCriteria::COUNT+TermCriteria::EPS, 30, 0.01)	迭代停止条件，默认设置为30次迭代或者阈值0.01
int flags = 0	默认值为0，表示不设置此标记。有如下标记可以选择 OPTFLOW_USE_INITIAL_FLOW = 4, OPTFLOW_LK_GET_MIN_EIGENVALS = 8, OPTFLOW_FARNEBACK_GAUSSIAN = 256
double minEigThreshold = 1e-4	作为阈值可以过滤掉一些不好的特征点以提升性能

三、官方例程

#include "opencv2/video/tracking.hpp"
#include "opencv2/imgproc.hpp"
#include "opencv2/videoio.hpp"
#include "opencv2/highgui.hpp"
#include <iostream>
#include <ctype.h>
using namespace cv;
using namespace std;
static void help()
{
// print a welcome message, and the OpenCV version
cout << "\nThis is a demo of Lukas-Kanade optical flow lkdemo(),\n"
"Using OpenCV version " << CV_VERSION << endl;
cout << "\nIt uses camera by default, but you can provide a path to video as an argument.\n";
cout << "\nHot keys: \n"
"\tESC - quit the program\n"
"\tr - auto-initialize tracking\n"
"\tc - delete all the points\n"
"\tn - switch the \"night\" mode on/off\n"
"To add/remove a feature point click it\n" << endl;
}
Point2f point;
bool addRemovePt = false;
static void onMouse( int event, int x, int y, int /*flags*/, void* /*param*/ )
{
if( event == EVENT_LBUTTONDOWN )
{
point = Point2f((float)x, (float)y);
addRemovePt = true;
}
}
int main( int argc, char** argv )
{
VideoCapture cap;
TermCriteria termcrit(TermCriteria::COUNT|TermCriteria::EPS,20,0.03);
Size subPixWinSize(10,10), winSize(31,31);
const int MAX_COUNT = 500;
bool needToInit = false;
bool nightMode = false;
help();
cv::CommandLineParser parser(argc, argv, "{@input|0|}");
string input = parser.get<string>("@input");
if( input.size() == 1 && isdigit(input[0]) )
cap.open(input[0] - '0');
else
cap.open(input);
if( !cap.isOpened() )
{
cout << "Could not initialize capturing...\n";
return 0;
}
namedWindow( "LK Demo", 1 );
setMouseCallback( "LK Demo", onMouse, 0 );
Mat gray, prevGray, image, frame;
vector<Point2f> points[2];
for(;;)
{
cap >> frame;
if( frame.empty() )
break;
frame.copyTo(image);
cvtColor(image, gray, COLOR_BGR2GRAY);
if( nightMode )
image = Scalar::all(0);
if( needToInit )
{
// automatic initialization
goodFeaturesToTrack(gray, points[1], MAX_COUNT, 0.01, 10, Mat(), 3, 0, 0.04);
cornerSubPix(gray, points[1], subPixWinSize, Size(-1,-1), termcrit);
addRemovePt = false;
}
else if( !points[0].empty() )
{
vector<uchar> status;
vector<float> err;
if(prevGray.empty())
gray.copyTo(prevGray);
calcOpticalFlowPyrLK(prevGray, gray, points[0], points[1], status, err, winSize,
3, termcrit, 0, 0.001);
size_t i, k;
for( i = k = 0; i < points[1].size(); i++ )
{
if( addRemovePt )
{
if( norm(point - points[1][i]) <= 5 )
{
addRemovePt = false;
continue;
}
}
if( !status[i] )
continue;
points[1][k++] = points[1][i];
circle( image, points[1][i], 3, Scalar(0,255,0), -1, 8);
}
points[1].resize(k);
}
if( addRemovePt && points[1].size() < (size_t)MAX_COUNT )
{
vector<Point2f> tmp;
tmp.push_back(point);
cornerSubPix( gray, tmp, winSize, Size(-1,-1), termcrit);
points[1].push_back(tmp[0]);
addRemovePt = false;
}
needToInit = false;
imshow("LK Demo", image);
char c = (char)waitKey(10);
if( c == 27 )
break;
switch( c )
{
case 'r':
needToInit = true;
break;
case 'c':
points[0].clear();
points[1].clear();
break;
case 'n':
nightMode = !nightMode;
break;
}
std::swap(points[1], points[0]);
cv::swap(prevGray, gray);
}
return 0;
}

【OpenCV笔记】光流法之金字塔Lucas-Kanade相关推荐

OpenCV 使用光流法检测物体运动
OpenCV 可以使用光流法检测物体运动,贴上代码以及效果. // opticalflow.cpp : 定义控制台应用程序的入口点. //#include "stdafx.h"// ...
python笛卡尔转换极坐标_[4] opencv: pythonDIS光流法与笛卡尔坐标转为极坐标
[4] opencv: pythonDIS光流法与笛卡尔坐标转为极坐标 [4] opencv: pythonDIS光流法与笛卡尔坐标转为极坐标目录1, 笛卡尔转为极坐标 2, DIS光流算法 1, ...
python opencv入门光流法（41）
内容来自OpenCV-Python Tutorials 自己翻译整理目标: 了解光流的概念,使用lucas-kanade估算方法使用cv2.calcOpticalFlowPyrLK() 方法来追踪 ...
OpenCV之光流法运动目标跟踪
[光流Optical Flow]的概念是Gibson在1950年首先提出来的.它是空间运动物体在观察成像平面上的像素运动的瞬时速度,是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一 ...
opencv c++ 光流法、稀疏光流法、稠密光流法、均值迁移追踪（meanshift、camshift）
1.概念参考: (70条消息) 什么是光流法_张年糕慢慢走的博客-CSDN博客_光流法 (70条消息) 计算机视觉--光流法(optical flow)简介_T-Jhon的博客-CSDN博客_光流法 ...
光流的计算（Lucas–Kanade method）
Lucas-Kanade 方法假设光流在一个较小的局部区域内是保持不变的,然后采用最小二乘的方法来计算每一个点的光流. 对于每一个像素点,其光流(速度)可以这样表示: 对于这个表示,我们可以这样理解: ...
Python与OpenCV（三）——基于光流法的运动目标检测程序分析
光流的概念是指在连续的两帧图像当中,由于图像中的物体移动或者摄像头的移动而使得图像中的目标形成的矢量运动轨迹叫做光流.本质上光流是个向量场,表示了一个像素点从第一帧过渡到第二帧的运动过程,体现该像素点 ...
LK金字塔光流法与简单实现
LK金字塔光流法与简单实现闲谈时刻介绍 Lucas–Kanade光流算法 L-K 金字塔光流算法算法原理建立金字塔金字塔迭代迭代过程算法流程算法实现总结参考资料闲谈时刻不务正业 ...
opencv 稀疏光流稠密光流
opencv 稀疏光流稠密光流 demo: http://download.csdn.net/detail/keen_zuxwang/9860696 参看.学习文档: OpenCV学习笔记(七)Lu ...
opencv对光流法的实现(python3)
@TOC 一.光流法的数学原理参考 https://blog.csdn.net/qq_41368247/article/details/82562165 二.准备 opencv安装 ffmpeg安装 ...

【OpenCV笔记】光流法之金字塔Lucas-Kanade

【OpenCV笔记】光流法之金字塔Lucas-Kanade相关推荐

最新文章

热门文章