数字图像课程工程大作业分析

试题分析：
在连续的视频中对火焰及水柱的轨迹检测，效果如图。

**
提示：
1、火焰可利用亮度和颜色
2、水柱的轨迹需要先用背景差分获得水柱的连通域，然后利用连通域上的像素点进行曲线的拟合，水枪的位置视为已知，即可以手动活动坐标。**

1、火焰检测

我们先截一张图，观察HSV三个通道图长什么样子：

观察之后决定从S通道着手，首先确定火焰的位置是固定不变的（总是在右下角）
对S通道的图片进行二值化获得二值图，再通过限制像素位置，排除干扰：

对灰度图进行二值化，发现限制200时，字的影响消失

//识别并标出火焰
//输入 原图像 输出：原图像上框出框框（火）
void find_fire(Mat& srcMat, Mat& outputMat)
{Mat gray_srcMat;Mat dstMat, binMat;cvtColor(srcMat, gray_srcMat, COLOR_BGR2GRAY);Mat fire_Mat = Mat::zeros(gray_srcMat.size(), gray_srcMat.type());cvtColor(srcMat, dstMat, COLOR_BGR2HSV);vector<Mat> channels;split(dstMat, channels);//将S通道的图像复制，然后处理Mat S_Mat;channels.at(1).copyTo(S_Mat);int row_num = srcMat.rows;           //行数int col_num = srcMat.cols;         //列数//双重循环，遍历右下角像素值for (int i = row_num * 0.75;i < row_num;i++)    //行循环{for (int j = col_num * 0.75;j < col_num;j++)    //列循环{//-------【开始处理每个像素】---------------if ((gray_srcMat.at<uchar>(i, j) >= 150 && S_Mat.at<uchar>(i, j) >= 120)){fire_Mat.at<uchar>(i, j) = 255;}//-------【处理结束】---------------}}//膨胀Mat element = getStructuringElement(MORPH_RECT, Size(15, 15));    //返回的是内核矩阵Mat firedstImage;dilate(fire_Mat, fire_Mat, element);//通过findContours函数寻找连通域vector<vector<Point>> contours;vector<Vec4i> hierarchy;findContours(fire_Mat, contours, RETR_LIST, CHAIN_APPROX_NONE);//绘制轮廓for (int i = 0; i < contours.size(); i++) {RotatedRect rbox = minAreaRect(contours[i]);drawContours(srcMat, contours, i, Scalar(0, 255, 255), 1, 8);Point2f vtx[4];rbox.points(vtx);for (int j = 0; j < 4; ++j) {cv::line(outputMat, vtx[j], vtx[j < 3 ? j + 1 : 0], Scalar(255, 255, 255), 2, LINE_AA);}}
}

2、水柱检测

利用最简单的背景差分（帧差法），获得图像：

框出来的地方是误差，我们对其进行排除

//输入：图片 输出：去除干扰后的图
void clear_other_disturb(Mat& srcMa)
{//通过观察、发现0-180列为干扰，320-480列且0-90行为干扰for (int i = 0;i < 90;i++)    //行循环{for (int j = 320;j < srcMa.cols;j++)    //列循环{//-------【开始处理每个像素】---------------srcMa.at<uchar>(i, j) = 0;//-------【处理结束】---------------}}for (int i = 0;i < srcMa.rows;i++)   //行循环{for (int j = 0;j < 180;j++) //列循环{//-------【开始处理每个像素】---------------srcMa.at<uchar>(i, j) = 0;//-------【处理结束】---------------}}
}

二值化一下：

接下来选择拟合的点：
连通域中的像素坐标：

//输入：二值化图片  输出：点集 （每列最多只有一个点，符合函数一一映射的关系）
void find_point(Mat& binMat, std::vector<cv::Point>& key_point)
{//第一个点肯定是水枪位置//遍历：170列到430列//       30行到230行//遍历方式：遍历每列，从上往下遍历（小到大），找到的第一个为白的点记录下来，如果遍历完这一列并没有发现白色点，则不作记录//注意这里的循环方式与其他地方的相反for (int i = 170;i < 430;i++)    //列循环{for (int j =30;j < 230;j++) //行循环{if (binMat.at<uchar>(j, i) == 255){//行列与坐标系对应关系//行rows: Y(height)//列cols : X(width)//注意!注意!注意!//在Mat类型变量访问时下标是反着写的key_point.push_back(cv::Point(i,j));break;}}}//打印出来让我看看int N= key_point.size();for (int n = 0;n < N;n++){cout << "point"<< key_point[n].x<<" "<< key_point[n].y << endl;}//画出来Mat image = cv::Mat::zeros(binMat.rows, binMat.cols, CV_8UC3);for (int i = 0; i < key_point.size(); i++){cv::circle(image, key_point[i], 5, cv::Scalar(0, 0, 255), 2, 8, 0);}imshow("tu", image);
}

将选出的点画出来：

将像素点选取出来之后，接下来就是用最小二乘法拟合曲线，具体内容讲解请看：
https://blog.csdn.net/guduruyu/article/details/72866144

//输入：待拟合的点集，拟合出来的曲线的点
bool polynomial_curve_fit(std::vector<cv::Point>& key_point, int n, cv::Mat& A)
{//Number of key pointsint N = key_point.size();//构造矩阵Xcv::Mat X = cv::Mat::zeros(n + 1, n + 1, CV_64FC1);for (int i = 0; i < n + 1; i++){for (int j = 0; j < n + 1; j++){for (int k = 0; k < N; k++){X.at<double>(i, j) = X.at<double>(i, j) +std::pow(key_point[k].x, i + j);}}}//构造矩阵Ycv::Mat Y = cv::Mat::zeros(n + 1, 1, CV_64FC1);for (int i = 0; i < n + 1; i++){for (int k = 0; k < N; k++){Y.at<double>(i, 0) = Y.at<double>(i, 0) +std::pow(key_point[k].x, i) * key_point[k].y;}}A = cv::Mat::zeros(n + 1, 1, CV_64FC1);//求解矩阵Acv::solve(X, Y, A, cv::DECOMP_LU);return true;
}

最终代码：

#include <opencv2/opencv.hpp>
#include "opencv2/features2d.hpp"
#include <iostream>
#include "windows.h"
#include <stdio.h>
#include <time.h>
#include <math.h>
#include<opencv2/imgproc/types_c.h>
//#include "My_ImageProssing_base.h"
#define WINDOW_NAME1 "【程序窗口1】"
#define WINDOW_NAME2 "【程序窗口2】"
using namespace cv;
using namespace std;
RNG g_rng(12345);//识别并标出火焰
//输入 原图像 输出：原图像上框出框框（火）
void find_fire(Mat& srcMat, Mat& outputMat)
{Mat gray_srcMat;Mat dstMat, binMat;cvtColor(srcMat, gray_srcMat, COLOR_BGR2GRAY);Mat fire_Mat = Mat::zeros(gray_srcMat.size(), gray_srcMat.type());cvtColor(srcMat, dstMat, COLOR_BGR2HSV);vector<Mat> channels;split(dstMat, channels);//将S通道的图像复制，然后处理Mat S_Mat;channels.at(1).copyTo(S_Mat);int row_num = srcMat.rows;           //行数int col_num = srcMat.cols;         //列数//双重循环，遍历右下角像素值for (int i = row_num * 0.75;i < row_num;i++)    //行循环{for (int j = col_num * 0.75;j < col_num;j++)    //列循环{//-------【开始处理每个像素】---------------if ((gray_srcMat.at<uchar>(i, j) >= 150 && S_Mat.at<uchar>(i, j) >= 120)){fire_Mat.at<uchar>(i, j) = 255;}//-------【处理结束】---------------}}//膨胀Mat element = getStructuringElement(MORPH_RECT, Size(15, 15));    //返回的是内核矩阵Mat firedstImage;dilate(fire_Mat, fire_Mat, element);//通过findContours函数寻找连通域vector<vector<Point>> contours;vector<Vec4i> hierarchy;findContours(fire_Mat, contours, RETR_LIST, CHAIN_APPROX_NONE);//绘制轮廓for (int i = 0; i < contours.size(); i++) {RotatedRect rbox = minAreaRect(contours[i]);drawContours(srcMat, contours, i, Scalar(0, 255, 255), 1, 8);Point2f vtx[4];rbox.points(vtx);for (int j = 0; j < 4; ++j) {cv::line(outputMat, vtx[j], vtx[j < 3 ? j + 1 : 0], Scalar(255, 255, 255), 2, LINE_AA);}}
}
//--------------------------------------------工程大作业---------------------------------------------------//输入：二值化图片  输出：点集 （每列最多只有一个点，符合函数一一映射的关系）
void find_point(Mat& binMat, std::vector<cv::Point>& key_point)
{//第一个点肯定是水枪位置//遍历：170列到430列//       30行到230行//遍历方式：遍历每列，从上往下遍历（小到大），找到的第一个为白的点记录下来，如果遍历完这一列并没有发现白色点，则不作记录//注意这里的循环方式与其他地方的相反for (int i = 170;i < 430;i++)    //列循环{for (int j =30;j < 230;j++) //行循环{if (binMat.at<uchar>(j, i) == 255){//行列与坐标系对应关系//行rows: Y(height)//列cols : X(width)//注意!注意!注意!//在Mat类型变量访问时下标是反着写的key_point.push_back(cv::Point(i,j));break;}}}//打印出来让我看看int N= key_point.size();for (int n = 0;n < N;n++){cout << "point"<< key_point[n].x<<" "<< key_point[n].y << endl;}//画出来Mat image = cv::Mat::zeros(binMat.rows, binMat.cols, CV_8UC3);for (int i = 0; i < key_point.size(); i++){cv::circle(image, key_point[i], 5, cv::Scalar(0, 0, 255), 2, 8, 0);}//imshow("tu", image);
}//输入：待拟合的点集，拟合出来的曲线的点
bool polynomial_curve_fit(std::vector<cv::Point>& key_point, int n, cv::Mat& A)
{//Number of key pointsint N = key_point.size();//构造矩阵Xcv::Mat X = cv::Mat::zeros(n + 1, n + 1, CV_64FC1);for (int i = 0; i < n + 1; i++){for (int j = 0; j < n + 1; j++){for (int k = 0; k < N; k++){X.at<double>(i, j) = X.at<double>(i, j) +std::pow(key_point[k].x, i + j);}}}//构造矩阵Ycv::Mat Y = cv::Mat::zeros(n + 1, 1, CV_64FC1);for (int i = 0; i < n + 1; i++){for (int k = 0; k < N; k++){Y.at<double>(i, 0) = Y.at<double>(i, 0) +std::pow(key_point[k].x, i) * key_point[k].y;}}A = cv::Mat::zeros(n + 1, 1, CV_64FC1);//求解矩阵Acv::solve(X, Y, A, cv::DECOMP_LU);return true;
}//输入：图片 输出：去除干扰后的图
void clear_other_disturb(Mat& srcMa)
{//通过观察、发现0-180列为干扰，320-480列且0-90行为干扰for (int i = 0;i < 90;i++)    //行循环{for (int j = 320;j < srcMa.cols;j++)    //列循环{//-------【开始处理每个像素】---------------srcMa.at<uchar>(i, j) = 0;//-------【处理结束】---------------}}for (int i = 0;i < srcMa.rows;i++)   //行循环{for (int j = 0;j < 180;j++) //列循环{//-------【开始处理每个像素】---------------srcMa.at<uchar>(i, j) = 0;//-------【处理结束】---------------}}
}
int main()
{//实例化的同时初始化VideoCapture capture("D:\\opencv_picture_test\\videos\\大作业.avi");     //类似于 int a=1;//如果视频打开失败//计数器int cnt = 0;Mat frame;Mat rgb_mat;       Mat rgb_mat1;Mat bgMat1;        //第0帧图像Mat bgMat2;      //之后每帧图像while (1){capture >> frame;//图像保护if (!frame.data){cout << "src image load failed!" << endl;break;}//将彩色图保存下来，用于最后画图的底布rgb_mat = frame.clone();rgb_mat1= frame.clone();//转灰度图，用于之后的找水柱cvtColor(frame, frame, COLOR_BGR2GRAY);if (cnt == 0){//第一帧，获得背景图像frame.copyTo(bgMat1);//找火find_fire(rgb_mat, rgb_mat);imshow("output", rgb_mat);waitKey(20);}else if (cnt<=100) //水柱还没有出现，我们不找水柱，防止误判（其实是有误判的），此时我们只绘制火焰{//找火find_fire(rgb_mat, rgb_mat);imshow("output", rgb_mat);waitKey(20);}else{//获取本次场景的图像frame.copyTo(bgMat2);//====================================进行处理================================================Mat result = bgMat1.clone();//【1】背景图像和当前图像相减absdiff(bgMat1, bgMat2, result);//【2】接下来是去除干扰clear_other_disturb(result);//【3】二值化一下threshold(result, result, 100, 255, THRESH_BINARY);//imshow("result", result);//【4】找点std::vector<cv::Point> points;find_point(result, points);//【5】找到点之后就是拟合曲线，这里采用【https://blog.csdn.net/guduruyu/article/details/72866144】的思路cv::Mat A;//这里使用3次函数，效果很好polynomial_curve_fit(points, 3, A);std::cout << "A = " << A << std::endl;std::vector<cv::Point> points_fitted;for (int x = 170; x < 430; x++){double y = A.at<double>(0, 0) + A.at<double>(1, 0) * x +A.at<double>(2, 0) * std::pow(x, 2) + A.at<double>(3, 0) * std::pow(x, 3);points_fitted.push_back(cv::Point(x, y));}//【6】在彩色图上绘制水柱cv::polylines(rgb_mat, points_fitted, false, cv::Scalar(0, 255, 255), 1, 8, 0);find_fire(rgb_mat1, rgb_mat);imshow("output", rgb_mat);//====================================处理结束================================================waitKey(20);}cnt++;}waitKey(0);return 0;
}

本文章代码可以随意使用！

数字图像课程工程大作业分析相关推荐

华南理工大学计算机操作系统课程设计大作业银行家死锁避免算法模拟,2016春操作系统大作业银行家死锁避免算法模拟.doc...
文档介绍: 2016春操作系统大作业银行家死锁避免算法模拟20160501华南理工大学"计算机操作系统"课程设计大作业计算机科学与技术专业:春2015班级:号:2015047420 ...
北京交通大学Python课程设计大作业（四）——典籍词频统计
北京交通大学Python课程设计大作业(四)--典籍词频统计文章目录北京交通大学Python课程设计大作业(四)--典籍词频统计一.词频统计任务介绍二.典籍词频统计python源代码如下三. ...
android大作业闹钟的功能,定时闹钟课程设计大作业.doc
定时闹钟课程设计大作业微型计算机控制技术大作业设计题目: 定时闹钟课程设计院系:计算机科学与信息工程学院学生姓名: 曹紫莹学号: 201103010036 专业班级: 计算机科学与技术 ...
Java课程设计大作业学生管理系统的设计与开发（Java+Mysql）
文章目录项目目标项目截图展示项目Java源程序项目数据库文件信息项目结构图设计系统功能结构图: 软件架构设计项目目标这篇文章是Java语言得课程设计大作业记录. 项目由 ...
打怪游戏Java课程设计_java 课程设计大作业写的一个RPG游戏（代码+文档）
[实例简介] java 课程设计大作业写的一个RPG游戏(代码+文档) java 课程设计大作业写的一个RPG游戏(代码+文档) [实例截图] [核心代码] Rebellion-master ├─ ...
Android课程设计大作业-音乐播放器
Android课程设计大作业-音乐播放器一.**主要实现界面效果** 1)登录界面 2)音乐列表界面 3)音乐播放界面二.**系统设计** 1)使用Service播放音乐 2) 前台界面(Acti ...
合肥学院C语言大作业,C语言实践课程综合大作业..doc
C语言实践课程综合大作业. 昆明理工大学 <程序设计基础>课程综合设计实践教学课题报告课程名称: C语言程序设计综合大作业课题名称:数学计算工具程序设计组长:学号 20131040 ...
简易抽奖系统（Java课程设计/大作业）
简易抽奖系统(Java课程设计/大作业) package 简易抽奖系统; import java.awt.*; import java.awt.event.ActionEvent; import ja ...
HDU嵌入式实验课程大作业分析报告
目录作业要求设计原理与思路扩展任务说明课程感受友情链接工程链接作业要求体能测试记录仪设计基于课程发放的实验板,设计一个带有计时和数据采集功能的体能测试记录仪. 基本设计内容功能1: ...

数字图像课程工程大作业分析

1、火焰检测

2、水柱检测

数字图像课程工程大作业分析相关推荐

最新文章

热门文章