作者：王先荣

在上一篇文章里，我尝试翻译了《Nonparametric Background Generation》，本文主要介绍以下内容：如何实现该论文的算法，如果利用该算法来进行背景建模及前景检测，最后谈谈我的一些体会。为了使描述更加简便，以下将该论文的算法及实现称为NBGModel。
1 使用示例
    NBGModel在使用上非常的简便，您可以仿照下面的代码来使用它：

//初始化NBGModel对象
NBGModel nbgModel = new NBGModel(320, 240);
//训练背景模型
nbgModel.TrainBackgroundModel(historyImages);
//前景检测
nbgModel.Update(currentFrame);
//利用结果
pbResult.Image = nbgModel.ForegroundMask.Bitmap;
//释放对象
nbgModel.Dispose();

下面是更加完整的示例：

更加完整的示例

2 实现NBGModel
    2.1 我在实现NBGModel的时候基本上跟论文中的方式一样，不过有以下两点区别：
（1）论文中的MeanShift计算使用了Epanechnikov核函数，我使用的是矩形窗形式的MeanShift计算。主要是因为我自己不会实现MeanShift，只能利用OpenCV中提供的cvMeanShift函数。这样做也有一个好处——不再需要计算与保存典型点。
（2）论文中的方法在检测的过程中聚集中心会不断的增加，我模仿CodeBook的实现为其增加了一个清除消极聚集中心的ClearStable方法。这样可以在必要的时候将长期不活跃的聚集中心清除掉。

2.2 NBGModel中用到的数据成员如下所示：
        private int width;                                          //图像的宽度
        private int height;                                         //图像的高度
        private NBGParameter param;                                 //非参数背景模型的参数

private List<Image<Ycc, Byte>> historyImages = null;        //历史图像：列表个数为param.n，在更新时如果个数大于等于param.n，删除最早的历史图像，加入最新的历史图像
        //由于这里采用矩形窗口方式的MeanShift计算，因此不再需要分组图像的典型点。这跟论文不一样。
        //private List<Image<Ycc,Byte>> convergenceImages = null;   //收敛图像：列表个数为param.m，仅在背景训练时使用，训练结束即被清空，因此这里不再声明
        private Image<Gray, Byte> sampleImage = null;               //样本图像：保存历史图像中每个像素在Y通道的值，用于MeanShift计算
        private List<ClusterCenter<Ycc>>[,] clusterCenters = null;  //聚集中心数据：将收敛点分类之后得到的聚集中心，数组大小为：height x width，列表元素个数不定q（q<=m）。
        private Image<Ycc, Byte> mrbm = null;                       //最可靠背景模型

private Image<Gray, Byte> backgroundMask = null;            //背景掩码图像

private double frameCount = 0;                              //总帧数（不包括训练阶段的帧数n）

其中，NBGParameter结构包含以下成员：
        public int n;                       //样本数目：需要被保留的历史图像数目
        public int m;                       //典型点数目：历史图像需要被分为多少组
        public double theta;                //权重系数：权重大于该值的聚集中心为候选背景
        public double t;                    //最小差值：观测值与候选背景的最小差值大于该值时，为前景；否则为背景
        public MCvTermCriteria criteria;    //Mean Shift计算的终止条件：包括最大迭代次数和终止计算的精度

聚集中心ClusterCenter使用类而不是结构，是为了方便更新，它包含以下成员：
        public TColor ci;              //聚集中心的像素值
        public double wi;              //聚集中心的权重
        public double li;              //聚集中心包含的收敛点数目
        public double updateFrameNo;   //更新该聚集中心时的帧数：用于清除消极的聚集中心

2.3 NBGModel中的关键流程
1.背景建模
（1）将训练用的样本图像添加到历史图像historyImages中；
（2）将历史图像分为m组，以每组所在位置的矩形窗为起点进行MeanShift计算，结果窗的中点为收敛中心，收敛中心的像素值为收敛值，将收敛值添加到收敛图像convergenceImages中；
（3）计算收敛图像的聚集中心：（a）得到收敛中心的最小值Cmin；（b）将[0,Cmin+t]区间中的收敛中心划分为一类；（c）计算已分类收敛中心的平均值，作为聚集中心的值；（d）删除已分类的收敛中心；（e）重复a～d，直到收敛中心全部归类；
（4）得到最可靠背景模型MRBM：在聚集中心中选取wi最大的值作为某个像素的最可靠背景。

2.前景检测
（1）用wi≥theta作为条件选择可能的背景组Cb；
（2）对每个观测值x0，计算x0与Cb的最小差值d；
（3）如果d>t，则该点为前景；否则为背景。

3.背景维持
（1）如果某点为背景，更新最近聚集中心的wi为(li+1)/m；
（2）如果某点为前景：（a）以该点所在的矩形窗为起点进行MeanShift计算，可得到新的收敛中心Cnew（wi=1/m)；（b）将Cnew加入到聚集中心clusterCenters；
（3）在必要的时候，清理消极的聚集中心。

2.4 NBGModel的实现代码
值得注意的是：在实现代码中，有好几个以2结尾的私有方法，它们主要用于演示算法流程，实际上并未使用。为了优化性能而增加了不少指针操作之后的代码可读性变得很差。

NBGModel实现代码

3 NBGModel类介绍
    3.1 属性
Width——获取图像的宽度
Height——获取图像的高度
Param——获取参数设置
Mrbm——获取最可靠背景模型图像
BackgroundMask——获取背景掩码图像
ForegroundMask——获取前景掩码图像
FrameCount——获取已被检测的帧数

3.2 构造函数
public NBGModel(int width, int height)——用默认的参数初始化NBGModel，等价于NBGModel(width, height, NBGParameter.GetDefaultNBGParameter())
public NBGModel(int width, int height, NBGParameter param)——用指定的参数初始化NBGModel

3.3 方法
AddHistoryImage——添加一幅或者一组历史图像
TrainBackgroundModel——训练背景模型；如果传入了历史图像，则先添加历史图像，然后再训练背景模型
Update——更新背景模型，同时检测前景
ClearStale——清除消极的聚集中心
Dispose——释放资源

4 体会
    NBGModel的确非常有效，非常简洁，特别适用于伴随复杂运动对象的背景建模。我特意选取了PETS2009中的素材对其做了一些测试，结果也证明了NBGModel的优越性。不过需要指出的是，它需要占用大量的内存（主要因为需要保存n幅历史图像）；它的计算量比较大。
在使用的过程中，它始终需要在内存中缓存n幅历史图像，1幅最可靠背景模型图像，1幅背景掩码图像，近似m幅图像（聚集中心）；而在训练阶段，更需要临时存储m幅收敛图像。
例如：样本数目为100，典型点数目为10，图像尺寸为768x576时，所用的内存接近300M，训练背景需要大约需要33秒，而对每幅图像进行前景检测大约需要600ms。虽然可以使用并行编程来提高性能，但是并不能从根本上解决问题。
（注：测试电脑的CPU为AMD闪龙3200+，内存1.5G。）
    看来，有必要研究一种新的方法，目标是检测效果更好，内存占用低，处理更快速。目前的想法是使用《Wallflower: Principles and Practice of Background Manitenance》中的3层架构（时间轴上的像素级处理，像素间的区域处理，帧间处理），但是对每层架构都选用目前流行的处理方式，并对处理方式进行优化。时间轴上的像素级处理打算使用CodeBook方法，但是增加本文的一些思想。像素间的区域处理打算参考《基于区域相关的核函数背景建模算法》中的方法。帧间处理预计会采用全局灰度统计值作为依据。

最后，按照惯例：感谢您耐心看完本文，希望对您有所帮助。
本文所述方法及代码仅用于学习研究，不得用于商业目的。