基于图像的火焰识别调研总结

转载请注明出处https://blog.csdn.net/Hey_chaoxia/article/details/85054870

简单总结一下近期的调研结果：

一、简介

火焰的图像识别，主要围绕火焰的颜色特征、运动特征、几何特征与纹理特征来分析。这些特征可以用传统的算法计算，也可以交由卷积神经网络提取。本文将介绍火焰识别中上述四个特征的提取方法与决策方法，以及卷积神经网络方法。最后总结了基于图像的火焰识别目前存在的问题，并展望了可以尝试哪些新的方法。

二、颜色特征

火焰有着其独特的颜色特征。不同的燃烧材料会有不同的火焰颜色，在一般的火灾情景中，火焰像素点的颜色主要分布在橙黄色到白色之间。为了描述火焰像素点的颜色分布情况，可以建立一个统计学的模型，称之为火焰颜色模型。通过火焰颜色模型，可以将图像中颜色与火焰相似的区域提取出来。这是最为简单有效的提取火焰区域的方法。建立火焰颜色模型的方法有：

利用文献中提出的规则

关于火焰像素点各分量间的规律，已有很多研究团队对其进行过研究。经过他们的统计与观察，在各个颜色空间均有提出对火焰像素点的识别规则。

图1.火焰图像与RGB空间规则的输出图像

RGB空间规则：

HSV颜色空间规则：

YCrCb颜色空间规则[1]：

基于规则的方法优点在于算法简单，图像处理速度快，缺点则因规则而异。实验中，RGB空间规则的缺点在于规则过于宽松，导致分割不准确。

使用机器学习算法

很容易想到使用一个机器学习分类器作为火焰颜色模型，如K-NN、朴素贝叶斯、或是神经网络等。文献[2]尝试了使用K-NN与朴素贝叶斯构建火焰颜色模型。

除此以外，机器学习聚类算法也可以应用在构建火焰颜色模型上。如使用EM算法训练一个高斯混合模型[3]。

图2.（左）火焰像素点值在三维空间中的分布，（右）十个球形区域的中心为高斯分量的中心，球的半径代表其两倍标准差范围。

图3.从左到右依次为在RGB、HSV、YCrCb空间中，使用朴素贝叶斯建立的火焰颜色模型，在图1所示的图像上的响应。

但是，仅仅依靠颜色模型是不能完成对火焰识别工作的。因为火焰的颜色空间跨度很大，难免会与其他物体的颜色空间存在重合，比如橙黄色的灯、夕阳渲染的天空等，这些物体或物体的一部分符合火焰的颜色模型。

三、运动特征

火焰的另一个特征是火焰的运动特征。由于空气的流动，火焰的整体轮廓会随着时间而改变，呈现一种抖动的状态。与此同时，燃烧过程中火焰的内部也存在着纹理的变化。也就是说，图像中火焰的像素值将存在一定的时间变化率，这个时间变化率的检测手段有：

帧间差法

通过两帧直接相减来获取图像中像素值的变化。这是最简单的运动检测方法。但是这种方法容易受到噪声的干扰，帧间差法输出的图像也经常含有大量噪声。

背景减法/前景累积法

一般的背景减法需要选取某一帧图像作为背景，由于这种方法容易受到光照变化等因素的干扰，在各文献中也很少使用。其改进方法——动态背景减法[4]，通过构建一个相对缓慢变化的背景，对干扰的鲁棒性更高，缺点是需要调整算法参数以得到其最优性能。

前景累积法[5]将图像的帧间差值不断累积起来，而其输出前景图像的各个像素值都处于一个缓慢减少的状态。故运行过程中，运动部分（前景）像素值不断增大，静止部分（背景）像素值不断变小直到0，设置一个阈值，当像素值超过阈值时，认为这个像素是运动的像素点，从而提取出运动区域。这种算法的抗干扰能力强，无需构造背景帧，计算方式简单，但是由于前景的累积需要一个过程，所以存在一定的时延。

3.高通滤波器[3]

对某些像素点值进行监测，将这些像素点值的时间序列通过一个高通滤波器，观察滤波器的输出，即可判断像素点值时间变化率的大小。

图4.一个类似小波分解的滤波器组

以上方法均是针对固定摄像机提出的，对于摄像机的运动，需要另外的运动补偿算法。

四、几何特征

几何特征的分析一般应用于火焰模型与运动检测后。将火焰颜色模型或（与）运动检测提取出的图像区域作为输入，

轮廓粗糙度

轮廓粗糙度的描述为物体轮廓的周长与其凸壳周长之比。由于火焰的不规则性，绝大多数情况下，图像中火焰的轮廓都是凹的，其轮廓周长会比凸壳的周长更大。故可以设置一个阈值，当轮廓粗糙度高于某个阈值时，认为该区域可能是火焰区域。

图5.火焰轮廓与其凸壳

圆形度

其中Ak表示区域的面积，Pk表示区域的周长，Ck表示区域的圆形度。

在相同的周长下，圆是面积最大的几何图形。若物体形状越接近圆形，则Ck越大，反之形状越复杂Ck越小，Ck的值在0和1之间。同样是由于火焰形状的不规则，可以设置一个阈值C（如1/2.56），当Ck<C时，认为这个区域可能是火焰区域。

面积变化率

即为区域Ri在时间点t的面积值，则Gi为从t0到t时间段内Ri区域的面积变化率。

火灾发生初期，火焰在图像中的面积是不断增大的，在燃烧过程中，火焰形状的变化也会带来一定程度的面积变化，而一般物体的面积并不会频繁发生变化，所以同样可以设置一个阈值来判断某个区域是否可能是火焰区域。

几何特征要求火焰在图像中有清晰的轮廓，图像中火焰的轮廓越清晰，上述计算的特征便越有价值。图像中的噪声轮廓也会对上述特征造成影响，此时使用硬边界形式的判断将不理想，可以考虑基于机器学习的决策方法。

五、纹理特征

纹理特征的分析一般也在颜色与运动分析之后。图像中某一ROI（Region of Interest）的纹理特征的实质是其像素值在空间上的变化。

统计学特征

一阶统计量：一阶统计学特征表征各个像素值自身的属性，而不考虑像素与邻近像素之间的联系。一阶统计学特征通过区域灰度级直方图来计算，常见的一阶统计学特征有均值、方差、倾斜度等。

二阶统计量：二阶统计学特征表示像素点与其相邻的像素点之间的空间联系，使用灰度共生矩阵计算。灰度直方图是对图像上单个像素具有某个灰度进行统计的结果，而灰度共生矩阵是对图像上保持某距离的两像素分别具有某灰度的状况进行统计得到的。常见的二阶统计学特征有熵、对比度等。

文献[6]通过分析红外图像的统计学特征，可以辨别出火焰、烟雾以及其各自在地面或墙壁上的倒影。

傅里叶变换（频谱方法）

对ROI进行傅里叶变换，在得到的频率域图像中分析。傅里叶频谱适合描述图像中的二维周期或近似二维周期模式的方向性，但火焰的纹理并不是有序排列的，且傅里叶变换计算较为耗时，仅在早期的火焰识别与火灾检测文献中有使用[7]。

小波分析

图像小波分析的实现实质是使用一组高低通滤波器，分析其滤波器的输出。通过一个空间高通滤波器在ROI上的滑动，则输出图像中，像素值变化率大的点响应较大，像素值变化平缓的点响应接近于0。

图6.二阶小波滤波器组

如使用上图的二阶小波滤波器组，为了表征某一ROI像素值的空间变化率的大小，可以将该ROI分解得到的HH、HL、LH三个子图像相加。文献[3]取三个子图像的平方和相加。

当图像中的火焰完全趋向于白色时（多半为光照不佳的拍摄场合），火焰区域的纹理细节丢失较多，此时使用上述方法的效果不佳。

六、决策

对于火焰的识别往往不是通过一两种特征就能完成的，对已经提取的多个特征，需要一个合适的决策方法。

1．IF-THEN规则

计算图像的某一ROI的特征，每当一个特征满足条件则进入下一个判断，若全部条件均满足，则该ROI作为目标成功识别，若其中任一个条件不满足，则弃置该ROI。

这种方法的缺点在于，若条件设置不当，算法对于火焰的判断可能会过于严格，此时很容易丢失目标，甚至完全无法检测。

2．投票机制

对ROI的每个特征值设置权值与之绑定，随后计算所有特征的加权和，若加权和超过某一个阈值，则该ROI作为目标成功识别。

人工设置各权值十分麻烦，且无法保证算法效果，若能与优化算法相结合，得到最优权值阈值，算法性能将得到一定程度的提升。

3．机器学习分类器

将计算得到的各特征值交由一个有监督的机器学习分类器判断，如朴素贝叶斯分类器，神经网络等。要注意的是，参与分类的特征并不是越多越好，应尽量选择能对分类切实起到帮助的特征（如信息增益较高的特征）。

这种方法的缺点是必须使用一个与实际应用场景符合的数据集，若要构建一个数据集，合理地提取各特征值并逐一标注的工程量较大。

由于从上述四种特征中提取的特征量可能很多，人工的决策方法可能达不到良好的效果，很多文献中都将提取出的特征向量输入一个机器学习算法中，如贝叶斯分类器等。

七、卷积神经网路

使用卷积神经网络来完成火焰识别时，因为卷积神经网络的卷积层可以在训练中学习到颜色、几何与纹理特征，可以直接输入整幅图片判断，而无需寻找火焰区域，划定ROI，计算各特征后再进行决策。

文献[8]中，使用GoogleNet网络模型，将输出层维数由1000修改为2，训练一个针对火焰的二分类卷积神经网络，经过多次调整后识别准确率达到了86%，误报率约0.05%。文献[9]将图像按32*32分块训练CNN分类器，使用时对图像按块识别，从而达到了目标识别的效果。文献[10]先训练了一个图像块分类器，提出CNN的全连接层，将其作为一个特征提取器，对于每一幅输入图像，用该特征提取器在图像上滑动，得到一副特征图像，再用12*12的窗口在特征图像上滑动，使用提出的全连接层将窗口分为正常、火焰、烟雾三类。

当前使用卷积神经网络进行火焰识别的论文中，仅能检测静止图像，没有考虑前后帧间的关联。

八、总结与展望

经过前人的研究与不断尝试，基于图像的火焰识别积累了很多理论与方法，实际应用场景中，应通过实验制定最适合其环境的算法。

值得注意的是，不管使用哪种方法，当火焰处在相对远的地方时，由于在火焰在图像中占的像素数较少，识别将变得困难，当超过一定距离时，将完全无法识别。仅有火焰模型可能会有响应。由于距离的增加，火焰的抖动在视频中可见度将变小，在运动检测算法中的响应也会变小。同时，距离的增加会导致细节的丢失，轮廓细节的丢失将导致火焰轮廓看上去更为规则，纹理细节的丢失将导致火焰区域内像素值的变化率变小，这会使得基于几何特征与纹理特征的算法失效。图像中的目标变小时，卷积神经网络的效果也会变差。

当摄像机固定在运动平台上时，若忽略火焰的运动特征，则仅需对单帧图像分析，而不用考虑前后帧间的关联，这意味着摄像头的运动对于识别来说没有特别的影响。若要考虑火焰的运动特征，则必须考虑前后帧的关联，此时平台的运动会导致图像中出现大量的噪声。这种情况下可以尝试使用光流法对运动进行补偿。

九、参考文献

[1]Turgay Çelik, Hasan Demirel,Fire detection in video sequences using a generic color model,Fire Safety Journal,Volume 44, Issue 2,2009,pp.147-158,

[2]D. Y. T. Chino, L. P. S. Avalhais, J. F. Rodrigues and A. J. M. Traina, "BoWFire: Detection of Fire in Still Images by Integrating Pixel Color and Texture Analysis," 2015 28th SIBGRAPI Conference on Graphics, Patterns and Images, Salvador, 2015, pp.95-102.
[3]B.U.Toreyin, Y.Dedeoglu, U.Gudukbay, A.E.Cetin, Computer vision based method for real-time fire and flame detection, Pattern recognition letters, 2006, 27,1,pp.49 -58

[4] Collins, R.T., Lipton, A.J., Kanade, T., 1999. A system for video surveillance and monitoring. In: Proc. American Nuclear Society (ANS) Eighth International Topical Meeting on Robotics and Remote Systems, Pittsburgh, pp.

[5]Chunyu Yu*, Zhibin Mei, Xi Zhang, A real-time video fire flame and smoke detection algorithm, Procedia Engineering 62 2013, pp.891 – 898

[6]Jong-Hwan Kim, Seongsik Jo, and Brian Y. Lattimer, “Feature Selection for Intelligent Firefighting Robot Classification of Fire, Smoke, and Thermal Reflections Using Thermal Infrared Images,” Journal of Sensors, vol. 2016, Article ID 8410731, 13 pages, 2016. https://doi.org/10.1155/2016/8410731.

[7]Fastcom Technology SA., 2002. Boulevard de Grancy 19A, CH-1006 Lausanne, Switzerland, Method and Device for Detecting Fires Based on Image Analysis. Patent Cooperation Treaty Application No. PCT/ CH02/00118, PCT Publication No. WO02/069292.

[8]K. Muhammad, J. Ahmad, I. Mehmood, S. Rho and S. W. Baik, "Convolutional Neural Networks Based Fire Detection in Surveillance Videos," in IEEE Access, vol. 6, pp.18174-18183, 2018.

[9]Qingjie Zhang, Jiaolong Xu, Liang Xu and Haifeng Guo,Deep Convolutional Neural Networks for Forest Fire Detection,IFMEITA,2016

[10]S. Frizzi, R. Kaabi, M. Bouchouicha, J. Ginoux, E. Moreau and F. Fnaiech, "Convolutional neural network for video fire and smoke detection," IECON 2016 - 42nd Annual Conference of the IEEE Industrial Electronics Society, Florence, 2016, pp. 877-882.