Python与OpenCV（二）——基于背景差分法的运动目标检测程序分析

背景差分法是传统运动目标检测算法中最常用的方法。其基本原理如图所示。

从图中可知，背景差分法是通过建立背景模型，比较当前帧与背景模型对应像素的差异点来检测运动目标的方法。
背景模型的建立主要通过两种方式：一种是选取一帧不含运动目标的图像作为背景模型；另一种是通过建立数学模型表示背景。
第一种简单方便，但是在背景也有变化的场景中准确率不高，例如波动的水面、摇曳的树叶、漂浮的云或烟雾、室内灯光突然打开或熄灭等情况；而通过建立数学模型表示背景相对来说学术性更强一些，需要借助数学工具按照背景元素运行的特性来构建模型，模型的准确性会直接影响识别的结果。
在本例当中，应用的是高斯混合模型

高斯混合模型

高斯模型就是用高斯概率密度函数也就是正态分布曲线来精确地量化事物，将一个事物分解为若干的基于高斯概率密度函数（正态分布曲线）而形成的模型。
对图像背景建立高斯模型的原理及过程：图像灰度直方图反映的是图像中某个灰度值出现的频次，也可以认为是图像灰度概率密度的估计。我们对所检测的图像区域与所定义的背景图像区域的灰度值进行对比，如果检测图像区域与背景图像区域在灰度分布上有一定的差异，那么该图像区域的灰度直方图会呈现双峰-谷形状，其中一个峰对应于检测图像区域的中心灰度值，另一个峰对应于背景图像区域的中心灰度，也就是说，如果在灰度直方图中出现了双峰-谷形状，我们就可以判定为该区域有运动目标出现。
在运动目标检测中，我们需要建立的模型是背景的模型，那么在所检测的视频中，什么算是前景，什么算是背景呢。
我们常常把在视频中可以认为不变的、静止的那部分图像看作是背景，而在视频中有意义的运动的物体认为是前景。那么问题来了，因为环境的复杂性，我们希望不变的背景实际上是不停的小幅变化着的，所以对背景建模就是让原来定义的静止不动的背景模型呈现出一定的变化趋势，这个变化趋势就是让定义的背景帧能体现当前背景的基本特性。基本方法就是利用当前帧和视频序列中的当前背景帧进行加权平均来更新背景，而这一过程并非容易，所以利用高斯混合模型(GMM，Gaussian mixture model)是目前最成功的方法之一。
高斯混合模型使用K（基本为3到5个）个高斯模型来表征图像中各个像素点的基本特征,。基本思路是我们在每获得新一帧图像时就更新高斯混合模型,常用方差和均值两个参数来更新模型，然后用当前图像中的每个像素点与更新后的高斯混合模型进行匹配,如果匹配成功则判定该点为背景点, 否则为前景点。
整个方法思路清晰，但是也可以看出，在更新模型时所确定的两个参数方差和均值成为问题的关键，而这两个参数的确定方法才是整个算法的灵魂。对于采取不同的学习机制而形成的均值和方差,将直接影响到模型的稳定性、精确性和收敛性。

Python源码

OpenCV提供了基本的高斯混合模型方法，我们就使用它来进行识别，先上源码：

import cv2
import numpy as np# 第一步：使用cv2.VideoCapture读取视频
camera = cv2.VideoCapture(0)
# 判断视频是否打开
if (camera.isOpened()):print('摄像头已打开')
else:print('摄像头未打开')size = (int(camera.get(cv2.CAP_PROP_FRAME_WIDTH)),int(camera.get(cv2.CAP_PROP_FRAME_HEIGHT)))
print('size:'+repr(size))# 第二步：cv2.getStructuringElement构造形态学使用的kernel
kernel = cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (3, 3))
# 第三步：构造高斯混合模型
model = cv2.createBackgroundSubtractorMOG2()while(True):# 第四步：读取视频中的图片，并使用高斯模型进行拟合ret, frame = camera.read()# 运用高斯模型进行拟合，在两个标准差内设置为0，在两个标准差外设置为255fgmk = model.apply(frame)# 第五步：使用形态学的开运算做背景的去除fgmk = cv2.morphologyEx(fgmk, cv2.MORPH_OPEN, kernel)# 第六步：cv2.findContours计算fgmk的轮廓contours, hierarchy = cv2.findContours(fgmk.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) # 该函数计算一幅图像中目标的轮廓for c in contours:if cv2.contourArea(c) < 1500:continue(x, y, w, h) = cv2.boundingRect(c) # 该函数计算矩形的边界框cv2.rectangle(frame, (x, y), (x+w, y+h), (0, 255, 0), 2)# 第八步：进行图片的展示cv2.imshow('fgmk', fgmk)cv2.imshow('frame', frame)if cv2.waitKey(150) & 0xff == 27:breakcap.release()
cv2.destroyAllWindows()

源码分析

这次只分析几句，其他的在《Python与OpenCV（一）——基于帧差法的运动目标检测程序分析》中已经解释过了，我们只解释这几句的含义及知识点。
第一句：

model = cv2.createBackgroundSubtractorMOG2()

这句话表示进行构建高斯混合模型，BackgroundSubtractorMOG2是指以高斯混合模型为基础的背景/前景分割算法。这个算法的一个特点是它为每一个像素选择一个合适数目的高斯分布，这样就会对由于亮度等发生变化引起的场景变化产生更好的适应。具体的思路是：例如树叶晃动，树叶晃出某位置时，该位置的像素信息用一个高斯模型表示，树叶晃到该位置时，用另一个高斯模型表示该位置的像素信息，这样新的图片的像素不论与哪个高斯模型匹配都视为背景，防止模型将树叶晃动视为运动目标，增加模型的鲁棒性。
高斯混合模型（GMM）是背景建模中的经典算法。基本版本的GMM，opencv将其封装为BackgroundSubtractorMOG，而我们所用到的BackgroundSubtractorMOG2是opencv将改进版的GMM进行封装，相比于BackgroundSubtractorMOG算法，主要有两点改进：（1）增加阴影检测功能，以便产生将阴影识别为前景物体的情况发生。

第二句：

fgmk = model.apply(frame)

这句话表示对获取到的图像frame使用高斯混合模型，并将其结果赋值给fgmk。

第三句：

fgmk = cv2.morphologyEx(fgmk, cv2.MORPH_OPEN, kernel)

这句话是将fgmk以我们构造形态学的kernel，通过形态学运算的开运算，进行背景的去除，也可以称为对fgmk的降噪处理。fgmk是我们传入的需要处理降噪的图像，cv2.MORPH_OPEN是进行变换的方式，采用的是形态学运算中的开运算，kernel是我们构造的形态学内核，就是在前面kernel = cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (3, 3))所指定的。

图形形态学

我们对二值图进行降噪处理，图像形态学中的腐蚀和膨胀能够很好的帮助我们解决此问题。腐蚀的具体操作是用一个结构元素（代码中的kernel）扫描图像中的每一个像素，用结构元素中的每一个像素与其覆盖的像素做“与”操作，如果都为1，则该像素为1，否则为0。膨胀的具体操作是用一个结构元素扫描图像中的每一个像素，用结构元素中的每一个像素与其覆盖的像素做“与”操作，如果都为0，则该像素为0，否则为1。结构元素的大小会对图像处理的效果产生影响。腐蚀的作用是消除物体边界点，使目标缩小，可以消除小于结构元素的噪声。膨胀的作用是将与物体接触的所有背景点合并到物体中，使目标增大，可添补目标中的空洞。
1）morphologyEx函数可取标识符列举：
MORPH_OPEN – 开运算（Opening operation）
MORPH_CLOSE – 闭运算（Closing operation）
MORPH_GRADIENT - 形态学梯度（Morphological gradient）
MORPH_TOPHAT - 顶帽（Top hat）
MORPH_BLACKHAT - 黑帽（Black hat）
MORPH_ERODE - 腐蚀
MORPH_DILATE - 膨胀
2）开运算
本次代码中用的是形态学运算中的开运算（MORPH_OPEN），开运算是先腐蚀后膨胀的过程，可以消除图像上细小的噪声，除去孤立的小点和毛刺，并平滑物体边界。
3）闭运算
形态学运算中的闭运算（MORPH_CLOSE）与开运算相反，闭运算是先膨胀后腐蚀，可以填充物体内细小的空洞，弥合小裂缝，并平滑物体边界。
4）形态学梯度（MORPH_GRADIENT）:
梯度= 膨胀 - 腐蚀
形态学梯度为经过膨胀操作与经过腐蚀操作的差，可以用于抽出物体的边缘。对二值图像进行形态学梯度操作可以将团块的边缘突出出来，可以用形态梯度来保留物体的边缘轮廓。
5）顶帽
顶帽（MORPH_TOPHAT）：表示的是原始图像-开运算(先腐蚀再膨胀)以后的图像。开运算带来的结果是放大了裂缝或者局部低亮度区域。原图减去开运算后的图，得到的效果图突出了比原图轮廓周围区域更明亮的区域。
不均匀亮度情况下，二值处理后的较亮边缘物体因为亮度偏高，导致二值后数据损失，通过顶帽运算，寻找边缘。顶帽变换适用于暗背景上的亮物体。顶帽运算，对卷积核比较敏感，卷积核一般选全1。
6）黑帽
黑帽（MORPH_BLACKHAT）：
表示的是闭运算(先膨胀再腐蚀)后的图像 - 原始图像。黑帽运算后效果图突出了比原图轮廓周围的区域更暗的区域，所以，黑帽运算用来分离比邻近点暗一些的斑块，效果图会有完美的轮廓。黑帽运算，对卷积核比较敏感，卷积核一般选全1。