1. 光流估计

1.1 方法介绍

光流：空间运动物体在观测成像平面上的像素运动的瞬时速度。根据各个像素点的速度矢量特征，可以对图像进行动态分析，例如目标跟踪。

如果下面这辆车正向我们缓缓开来，右图是车辆的光流，它代表车辆在行驶过程中，每一帧图像的瞬时速度和方向。箭头的大小表示移动的瞬时速度，箭头的方向代表前进的目标方向。可以获取车辆每一帧的位置，对它进行跟踪。

1.2 Lucas-Kanade 算法

用于求方向和实际大小。约束方程中， $I(x,y,t)$ 代表图像上的像素点， $(x,y)$ 代表像素点坐标， $t$ 代表某一帧图像。 $I(x+dx,y+dy,t+dt)$ 代表后一帧图像的像素点。根据亮度恒定定理，同一点随着时间的变化，其亮度不发生变化。前一帧图像像素点等于后一帧图像像素点亮度。对 $I(x+dx,y+dy,t+dt)$ 一介泰勒展开，忽略无穷小项。其中 $\frac{\partial I}{\partial x}$ 和 $\frac{\partial I}{\partial y}$ 可以计算出来。 $\frac{\partial I}{\partial t}dt$

用于描述前一帧和后一帧的变化，由于是一帧一帧的间隔，相当于后一帧减去前一帧。现在只剩x方向和y方向的速度u，v未知。

根据空间一致性定理，临近点速度一致，假如我再设一个方程组来求解u和v。设A点和B点临近，则有 $I_{xA}*u+I_{xA}*v = -I_{t}$ 和 $I_{xB}*u+I_{xB}*v = -I_{t}$ ，现在就是两个未知数两个方程。

通常用一个窗口来求解方程，如果使用一个5*5的窗口，就有25对 $I_{x},I_{y}$ ，2个未知数，使用最小二乘法。

在做光流估计时，输入数据应该是角点，一般图像上只有角点的数据是可逆的

2. 步行轨迹跟踪

角点检测方法： cv.goodFeaturesToTrack()

参数：

image：输入图像，是八位的或者32位浮点型，单通道图像，所以有时候用灰度图

maxCorners：返回最大的角点数，是最有可能的角点数。如果这个参数不大于0，那么表示没有角点数的限制。按照角点强度降序排序，超过maxCorners的角点将被舍弃。

qualityLevel：品质因子。筛选角点，品质因子越大，特征值越大的越好，得到的角点越少。检测出的角点强度值小于品质因子的会被抛弃。

minDistance：返回的角点之间最小的欧式距离。在这个距离范围内判断哪个品质因子最好，只要这一个角点。

mask：检测区域。如果图像不是空的(它需要具有CV_8UC1类型和与图像相同的大小)，它指定检测角的区域。

blockSize：是协方差矩阵滤波的窗口大小。

gradientSize：为sobel算子求微分的窗口的大小

useHarrisDetector：选择是否采用Harris角点检测，默认是false.

k：Harris检测的自由参数。

返回值：

corners：输出的角点坐标

Lucas-Kanade方法进行光流估计：cv2.calcOpticalFlowPyrLK()

参数：

prevlmage：前一帧图像

nextlmage：当前帧图像

prevPts：待跟踪的特征点向量

winSize：搜索窗口的大小

maxLevel：最大的金字塔层数

返回值：

nextPts：输出跟踪特征点向量

status：特征点是否找到，找到为1，没找到为0

其他参数：Opencv学习（4）——CalcOpticalFlowPyrLK()函数解析

import cv2
import numpy as np
#（1）获取数据
filepath = 'C:\\Users\\admin\\.spyder-py3\\test\\opencv\\img\\class'
video = cv2.VideoCapture(filepath + '\\test.avi')
# 获取第一帧图像
ret,frame_one = video.read()
gray_one = cv2.cvtColor(frame_one,cv2.COLOR_BGR2GRAY) #变成灰度图
# 角点检测，参数：输入图像，角点最大数量，品质因子，距离
p0 = cv2.goodFeaturesToTrack(gray_one, mask=None, maxCorners=100, qualityLevel=0.3, minDistance=7)# 创建一个mask
mask = np.zeros_like(frame_one) # 全0的画板，size和第一帧图像一样大
# 轨迹线条颜色随机,[0,255)之间,输出size为(100,3)，三列对应颜色BGR
color = np.random.randint(0,255,(100,3))#（3）视频处理
while True:ret,frame = video.read() # 返回是否打开和每一帧的结果frame_gray = cv2.cvtColor(frame,cv2.COLOR_BGR2GRAY)# 光流估计，需要传入前一帧和当前图像以及前一帧检测到的角点# gray_one代表前一帧，frame_gray当前帧图像，p0前一帧的角点，winSize窗口大小，maxLevel金字塔层数p1,st,err = cv2.calcOpticalFlowPyrLK(gray_one, frame_gray, p0, None,winSize=(15,15),maxLevel=2)# p1返回角点，st有些角点找到了有些没找到，err错误状态，用不上# st==1  角点找到了best_new = p1[st==1] # 当前帧，所有找到的角点best_old = p0[st==1] # 前一帧的角点# 绘制轨迹for i,(new,old) in enumerate(zip(best_new,best_old)): # 返回角点的下标和值a,b = new.ravel()  # 拉成一维，a等于x列，b等于y列c,d = old.ravel()a,b,c,d = np.array([a,b,c,d]).astype('int32') #输入的数据类型是整型# 背景图mask，起点坐标(a,b)，终点坐标(c,d)，变成列表列格式tolist()，线宽为2mask = cv2.line(mask, (a,b), (c,d), (color[i].tolist()), 2)# 画板frame，圆心位置(a,b)，圆半径5，'-1'代表实心圆frame = cv2.circle(frame,(a,b),5,color[i].tolist(),-1)# 图像叠加img = cv2.add(frame,mask)# 图像展示cv2.imshow('img',img)k = cv2.waitKey(150) & 0xff # 每张图停留150毫秒后消失if k == 27:  # ESC键退出break# 更新gray_one = frame_gray.copy() # 使下一次循环的前一帧变成当前帧图像p0 = best_new.reshape(-1,1,2) # -1的作用在于自动计算
# 释放资源
cv2.destroyAllWindows()
video.release()

使用该方法的一些缺陷：第一帧的角点被第二帧利用，也被后续的所有帧运用，如果在第一帧没有出现A同学，那么在后续的帧中A同学出现了，那么也不会跟踪，因为使用的是前几帧的角点。一旦经过障碍物，跟丢了。

【opencv】(12) 光流估计，行人轨迹跟踪，附python完整代码相关推荐

【opencv】(11) 背景建模，帧差法、混合高斯模型，实战：行人检测，附python完整代码和数据集
各位同学好,今天和大家分享一下opencv背景建模相关操作.主要介绍两种背景建模方法,帧差法和混合高斯模型. 案例简介:现有一份路口摄像机拍摄的行人流视频,通过背景建模方法,区分背景和前景,完成行人识 ...
【yolov4目标检测】(4) opencv+yolov4-tiny 实现选择性目标检测，附python完整代码
各位同学好,今天和大家分享一下如何使用 opencv 调用 yolov4-tiny 目标检测方法,并对指定类别进行检测.用b站的视频做测试. 点击按钮 'all',按钮变红色,对所有的类别检测点击按 ...
【机器视觉案例】(5) AI视觉，远程手势控制虚拟计算器，附python完整代码
各位同学好,今天和大家分享一下如何使用MediaPipe+Opencv完成虚拟计算器,先放张图看效果.FPS值为29,食指和中指距离小于规定阈值则认为点击按键,为避免重复数字出现,规定每20帧可点击一 ...
【MediaPipe】(4) AI视觉，远程手势调节电脑音量，附python完整代码
各位同学好,今天和大家分享一下如何使用MediaPipe完成手势调节电脑音量,先放张图看效果. 注意!! 本节需要用到手部关键点的实时跟踪,我已经在之前的文章中详细写过了,本节会直接使用,有疑问的同学 ...
【机器视觉案例】(5) AI视觉，手势调节物体尺寸，附python完整代码
各位同学好,今天和大家分享一下如何使用opencv+mediapipe完成远程手势调节图片尺寸的案例.先放张图看效果.当拇指和食指竖起时,根据食指间的连线的长度自由缩放图片尺寸.图片的中点始终位于指尖 ...
【深度学习】(2) 数据加载，前向传播2，附python完整代码
生成数据集: tf.data.Dataset.from_tensor_slices(tensor变量) 创建一个数据集,其元素是给定张量的切片生成迭代器: next(iter()) next() 返 ...
【机器学习入门】(13) 实战：心脏病预测，补充: ROC曲线、精确率--召回率曲线，附python完整代码和数据集
各位同学好,经过前几章python机器学习的探索,想必大家对各种预测方法也有了一定的认识.今天我们来进行一次实战,心脏病病例预测,本文对一些基础方法就不进行详细解释,有疑问的同学可以看我前几篇机器学习 ...
【机器学习入门】(8) 线性回归算法：正则化、岭回归、实例应用(房价预测)附python完整代码和数据集
各位同学好,今天我和大家分享一下python机器学习中线性回归算法的实例应用,并介绍正则化.岭回归方法.在上一篇文章中我介绍了线性回归算法的原理及推导过程:[机器学习](7) 线性回归算法:原理.公式 ...
【机器学习入门】(5) 决策树算法实战：sklearn实现决策树，实例应用（沉船幸存者预测）附python完整代码及数据集
各位同学好,今天和大家分享一下python机器学习中的决策树算法,在上一节中我介绍了决策树算法的基本原理,这一节,我将通过实例应用带大家进一步认识这个算法.文末有完整代码和数据集,需要的自取.那我们开 ...
【机器学习入门】(3) 朴素贝叶斯算法：多项式、高斯、伯努利，实例应用（心脏病预测）附python完整代码及数据集
各位同学好,今天我和大家分享一下朴素贝叶斯算法中的三大模型.在上一篇文章中,我介绍了朴素贝叶斯算法的原理,并利用多项式模型进行了文本分类预测. 朴素贝叶斯算法 -- 原理,多项式模型文档分类预测,附p ...

【opencv】(12) 光流估计，行人轨迹跟踪，附python完整代码