QT 大作业实现对图片与视频的处理

一、软件设计任务概述

本次的实验在实验八的基础上进行整合，删除冗余的函数和操作按钮，修改不必要的跳转函数，优化处理，完成对视频、图像的操作。

本次的实验平台搭建用QT Create 和Opencv 一同完成。在对图片处理的过程中，只调用QT的库函数对图片的像素的Rgb进行处理，在对视频的处理上，调用Opencv 的库函数操作。在本次的实验分成两部分进行：一、对图片进行处理；二、完成对视频的处理。具体要求如下：

图像处理：对图像进行灰度化、二值化(阈值可调)、均值滤波、伽马变换(针对彩图)、边缘检测、高斯模糊、加水印、图片导出保存等功能。
视频处理：对每帧视频帧进行灰度化、二值化、边缘检测、缩放、局部马赛克等操作。

二、可行性研究、需求分析及分工

2.1、可行性研究

在实验八的基础上可知，Qt调用C/C++库函数可以完成对图像（QImage）的像素点的处理，所有在接下里的二值化等需求也是可行的，在查阅了相关的资料后得知，opencv可以对视频经行切片处理，获得帧，从而对视频经行转帧播放，同时在对帧即图像可以处理，所有视频的灰度化等是可行的。

2.２、需求分析

对图片的处理是对像素点的处理，根据之前的方法知道，没有另外的需求。对视频的处理需要在QT中加入Opencv的库函数，调用　VideoCapture capture 来对视频进行分析和操作。

三、实现的过程与步骤

3.1、基本界面的搭建

注意点在于：

1.对mainToolBar的引入是不可以直接的，因为在工具库中是没有这个工具的，所以在项目外打开 .ui 文件在文件中加入下列代码实现对mainToolBar 的添加。

<widget class="QToolBar" name="mainToolBar"><property name="toolButtonStyle"><enum>Qt::ToolButtonIconOnly</enum></property><attribute name="toolBarArea"><enum>TopToolBarArea</enum></attribute><attribute name="toolBarBreak"><bool>false</bool></attribute></widget>

2.在之前实践的基础上，将减少不必要的操作，放入工具栏和两个Dock栏（左侧的是对图片的处理，右侧的是对视频的处理），在中间打破centralwidget布局，放入三个label，两个用来显示图片，在打开图片时隐藏一个（originMovieLabel），打开视频是，隐藏另外两个（originLabel、showLabel）。隐藏和显示的代码如下：

ui->originMovieLabel->setVisible(false);

运行效果如下：

3.2、警告窗口

在本次的作用要求中，对提示警告窗进行了详细的制作，在其中加入图片和图标，和主窗口对应，相关代码和运行效果如下：

代码如下：

QMessageBox *msgBox=new QMessageBox();
msgBox->setWindowTitle(tr("关于本软件对话框"));
msgBox->setIconPixmap(QPixmap(":/img/img/warning.png"));
QIcon icon(":/img/img/need_icon.ico");
msgBox->setInformativeText(tr("没有图片"));
msgBox->setStyleSheet("QLabel{""min-width: 200px;""min-height: 100px; ""}");
msgBox->setWindowIcon(icon);
msgBox->show();

3.3、图像处理

在对图像处理中梳理其核心为对其与周边像素的处理，在此出对本软件的部分实现算法做一份介绍，如：灰度处理、均值滤波、二值化、边缘检测、伽马处理。

3.3.1、读入文件

调用QFileDialog读入文件，获得文件的地址信息，打开文件。如果打开失败，弹出提醒弹窗，读入成功，在originLabel中显示。

3.3.2、灰度处理

获得originLabel中的图片，对Ｑpixmap对象转变为QImage对象，获得图像的像素，获得其RGB的值，然后通过灰度公式对其进行计算，得出最后的RGB值，然后重新赋值给这个像素点，将像素点放回到图像从而得到最后的处理图像，显示在showlabel中。（这里用的是加权的计算方法）运行结果（图4-5）和代码如下：

QImage MainWindow::grayscale1(){QImage *origin =new QImage();、/*警告模块，参考上述3.2的代码内容*/*origin =ui->originLabel->pixmap()->toImage();QImage *newImage = new QImage(origin->width(), origin->height(), QImage::Format_ARGB32);for(int y = 0; y<newImage->height(); y++){//获取一行像素的首地址QRgb * line = (QRgb *)origin->scanLine(y);for(int x = 0; x<newImage->width(); x++){//提取像素//灰度转换的一种方法（R G B 求平均值）int average = (qRed(line[x])*0.299 + qGreen(line[x])*0.587 + qBlue(line[x])*0.114);newImage->setPixel(x,y, qRgb(average, average, average));}}return *newImage;}

3.3.3、二值化处理

同上，获得图像的像素点，设置阈值，将图像灰度化处理，比较像素点灰度值与阈值的关系，大于设为黑色，即RGB（0，0，0）；反正着设为RGB（255，255，255），组合显示。运行效果（图4-6）和代码如下：

QImage MainWindow::bianry1(QImage origin){/*警告模块，参考上述3.2的代码内容*/QImage *newImage=new QImage(origin.width(), origin.height(), QImage::Format_ARGB32);for(int y = 0; y<newImage->height(); y++){//获取一行像素的首地址QRgb * line = (QRgb *)origin.scanLine(y);for(int x = 0; x<newImage->width(); x++){//提取像素int rgb_r=qRed(line[x]);if(rgb_r<=int(num)){newImage->setPixel(x,y, qRgb(255,255,255));}else{newImage->setPixel(x,y, qRgb(0,0,0));}}}return *newImage;}

3.3.４、均值滤波（阈值可调）

同上，先获得像素点，然后根据所提供的阈值将所在的矩形（其为中心）的所有像素的RGB的值都相加，同时统计加入了几个像素点。计算出其平均值后再赋值，找下一个像素点重复上述的操作，以此达到对均值滤波的效果。此处的注意点在于对边界的判定和对像素点个数的判定。代码运行与截图（4-7）如下：（注意：此处代码有误，bug点应该在对便捷判断的地方，两层循环的里面的if ，自行改正啦，不然运行会出黑边）

QImage MainWindow::average1(){
QImage *origin =new QImage();/*警告模块，参考上述4.2的代码内容*/*origin =ui->originLabel->pixmap()->toImage();QImage *newImage = new QImage(origin->width(), origin->height(), QImage::Format_ARGB32);qDebug()<<num;for(int y = 0; y<newImage->height(); y++){//获取一行像素的首地址QRgb * line = (QRgb *)origin->scanLine(y);for(int x = 0; x<newImage->width(); x++){//1.设法提去周边的数组int sum=0;double rgb_r=0;double rgb_b=0;double rgb_g=0;for(int y1=y-int(num/2);y1<(y+int(num/2));y1++){for(int x1=x-int(num/2);x1<(x+int(num/2));x1++){if(x1<0||y1<0||x1>x||y1>y) {break;}else{rgb_r=rgb_r+qRed(line[x1]);rgb_g=rgb_g+qGreen(line[x1]);rgb_b=rgb_b+qBlue(line[x1]);sum++;}}}//2.计算平均值//3.放回数值          newImage->setPixel(x,y,qRgb(int(rgb_r/sum),int(rgb_g/sum),int(rgb_b/sum)));}}//4.打印照片return *newImage;}

3.3.５、边缘检测算法

本算法的实现采用canny算法，其先对图像进行灰度的处理，在进行高斯平滑算法处理，降低其噪点的存在，再计算梯度强度和方向，对图像非最大值进行抑制，双阀值检测与抑制孤立低阈值点，减少早点的存在，使图片的效果更加清晰，最后得出边缘检测的图。本处的代码较多，不做展示，详情看源码文件。运行截图如下：

相关整合代码如下：提供参照文档

QImage MainWindow::By1(QImage image){QImage *img =new QImage();*img=image;QImage img_gray=image;// QImage img_guass;//**********高斯模糊开始int k=5;//高斯滤波器规模double kernel[10][10];generic_guess(kernel,k,1.4);QImage * t_img=new QImage(img_gray.width()+k-1,img_gray.height()+k-1,QImage::Format_ARGB32);QImage *img_guass=new QImage(img_gray.width(),img_gray.height(),QImage::Format_ARGB32);//lefttopfor(int i=0;i<k/2;++i){for(int j=0;j<k/2;++j){t_img->setPixel(i,j,img_gray.pixel(0,0));}}//righttopfor(int i=0;i<k/2;++i){for(int j=0;j<k/2;++j){t_img->setPixel(i,j,img_gray.pixel(img_gray.width()-1,0));}}//rightbottomfor(int i=img_gray.width()+k/2;i<t_img->width();++i){for(int j=0;j<k/2;++j){t_img->setPixel(i,j,img_gray.pixel(img_gray.width()-1,img_gray.height()-1));}}//leftbottomfor(int i=0;i<k/2;++i){for(int j=img_gray.height()+k/2;j<t_img->height();++j){t_img->setPixel(i,j,img_gray.pixel(0,img_gray.height()-1));}}//topfor(int i=0;i<img_gray.width();++i){for(int j=0;j<k/2;++j){t_img->setPixel(i+k/2,j,img_gray.pixel(i,0));}}//rightfor(int i=t_img->width()-k/2;i<t_img->width();++i){for(int j=0;j<img_gray.height();++j){t_img->setPixel(i,j+k/2,img_gray.pixel(img_gray.width()-1,j));}}//bottomfor(int i=0;i<img_gray.width();++i){for(int j=t_img->height()-k/2;j<t_img->height();++j){t_img->setPixel(i+k/2,j,img_gray.pixel(i,img_gray.height()-1));}}//leftfor(int i=0;i<k/2;++i){for(int j=0;j<img_gray.height();++j){t_img->setPixel(i,j+k/2,img_gray.pixel(0,j));}}for(int i=0;i<img_gray.width();++i){for(int j=0;j<img_gray.height();++j){t_img->setPixel(i+k/2,j+k/2,img_gray.pixel(i,j));}}for(int i=k/2;i<t_img->width()-k/2;++i){for(int j=k/2;j<t_img->height()-k/2;++j){double temp=0;for(int ti=0;ti<k;++ti){for(int tj=0;tj<k;++tj){temp+=kernel[ti][tj]*qRed(t_img->pixel(i-k/2+ti,j-k/2+tj));}}img_guass->setPixel(i-k/2,j-k/2,qRgb(temp,temp,temp));}}
//**************高斯模糊结束、end
//**************计算梯度强度和方向开始double** gradx=new double*[img->width()];for(int i=0;i<img->width();++i)gradx[i]=new double[img->height()];double** grady=new double*[img->width()];for(int i=0;i<img->width();++i)grady[i]=new double[img->height()];double** grad=new double*[img->width()];for(int i=0;i<img->width();++i)grad[i]=new double[img->height()];double** dir=new double*[img->width()];for(int i=0;i<img->width();++i)dir[i]=new double[img->height()];int k1=3;//sobel算子规模double kernelx[3][3]={-1,0,1,-2,0,2,-1,0,1};double kernely[3][3]={1,2,1,0,0,0,-1,-2,-1};QImage *t_img1=new QImage(img_gray.width()+k1-1,img_gray.height()+k1-1,QImage::Format_ARGB32);//lefttopfor(int i=0;i<k1/2;++i){for(int j=0;j<k1/2;++j){t_img1->setPixel(i,j,img_gray.pixel(0,0));}}//righttopfor(int i=0;i<k1/2;++i){for(int j=0;j<k1/2;++j){t_img1->setPixel(i,j,img_gray.pixel(img_gray.width()-1,0));}}//rightbottomfor(int i=img_gray.width()+k1/2;i<t_img1->width();++i){for(int j=0;j<k1/2;++j){t_img1->setPixel(i,j,img_gray.pixel(img_gray.width()-1,img_gray.height()-1));}}//leftbottomfor(int i=0;i<k1/2;++i){for(int j=img_gray.height()+k1/2;j<t_img1->height();++j){t_img1->setPixel(i,j,img_gray.pixel(0,img_gray.height()-1));}}//topfor(int i=0;i<img_gray.width();++i){for(int j=0;j<k1/2;++j){t_img1->setPixel(i+k1/2,j,img_gray.pixel(i,0));}}//rightfor(int i=t_img1->width()-k1/2;i<t_img1->width();++i){for(int j=0;j<img_gray.height();++j){t_img1->setPixel(i,j+k1/2,img_gray.pixel(img_gray.width()-1,j));}}//bottomfor(int i=0;i<img_gray.width();++i){for(int j=t_img1->height()-k1/2;j<t_img1->height();++j){t_img1->setPixel(i+k1/2,j,img_gray.pixel(i,img_gray.height()-1));}}//leftfor(int i=0;i<k1/2;++i){for(int j=0;j<img_gray.height();++j){t_img1->setPixel(i,j+k1/2,img_gray.pixel(0,j));}}for(int i=0;i<img_gray.width();++i){for(int j=0;j<img_gray.height();++j){t_img1->setPixel(i+k1/2,j+k1/2,img_gray.pixel(i,j));}}for(int i=k1/2;i<t_img1->width()-k1/2;++i){for(int j=k1/2;j<t_img1->height()-k1/2;++j){double tempx=0;double tempy=0;for(int ti=0;ti<k1;++ti){for(int tj=0;tj<k1;++tj){tempx+=kernelx[ti][tj]*qRed(t_img1->pixel(i-k1/2+ti,j-k1/2+tj));tempy+=kernely[ti][tj]*qRed(t_img1->pixel(i-k1/2+ti,j-k1/2+tj));}}gradx[i-k1/2][j-k1/2]=tempx;//errorgrady[i-k1/2][j-k1/2]=tempy;grad[i-k1/2][j-k1/2]=sqrt(pow(tempx,2)+pow(tempy,2));double theta=atan(tempy/tempx)+90;if (theta >= 0 && theta < 45)dir[i-k1/2][j-k1/2] = 2;else if (theta >= 45 && theta < 90)dir[i-k1/2][j-k1/2] = 3;else if (theta >= 90 && theta < 135)dir[i-k1/2][j-k1/2] = 0;elsedir[i-k1/2][j-k1/2] = 1;}}bool calcu=true;
//***********************计算梯度强度和方向结束
//***********************非极大值抑制开始if(!calcu){QMessageBox::critical(this,u8"提示",u8"未计算边缘强度和方向");}QColor c1(255,255,255);QColor c(0,0,0);QRgb edge = qRgb(c.red(),c.green(),c.blue());QRgb notedge = qRgb(c1.red(),c1.green(),c1.blue());QImage *img_nms=new QImage(img_guass->width(),img_guass->height(),QImage::Format_ARGB32);double temp=0;for(int i=0;i<img_nms->width();++i){for(int j=0;j<img_nms->height();++j){temp+=grad[i][j];}}temp/=img_nms->width()*img_nms->height();double highthresh =temp;double lowthresh=highthresh;double N,NE,E,SW,W,SE,S,NW;double grad1=0,grad2=0,tantheta=0;for(int i=1;i<img_nms->width()-1;++i){for(int j=1;j<img_nms->height();++j){N=grad[i][j-1];NE=grad[i+1][j-1];E=grad[i+1][j];SW=grad[i-1][j+1];W=grad[i-1][j];SE=grad[i+1][j+1];S=grad[i][j+1];NW=grad[i-1][j-1];if(dir[i][j]==0){tantheta=abs(grady[i][j]/gradx[i][j]);grad1=E*(1-tantheta)+NE*tantheta;grad2=W*(1-tantheta)+SW*tantheta;}else if(dir[i][j]==1){tantheta=abs(gradx[i][j]/grady[i][j]);grad1=N*(1-tantheta)+NE*tantheta;grad2=S*(1-tantheta)+SW*tantheta;}else if(dir[i][j]==2){tantheta=abs(gradx[i][j]/grady[i][j]);grad1=N*(1-tantheta)+NW*tantheta;grad2=S*(1-tantheta)+SE*tantheta;}else if(dir[i][j]==3){tantheta=abs(grady[i][j]/gradx[i][j]);grad1=W*(1-tantheta)+NW*tantheta;grad2=E*(1-tantheta)+SE*tantheta;}else{grad1=highthresh;grad2=highthresh;}if(grad[i][j]>grad1&&grad[i][j]>grad2){img_nms->setPixel(i,j,edge);//black边缘//                gradcp[i][j]=highthresh;}else{img_nms->setPixel(i,j,notedge);//whitegrad[i][j]=0;}}}
//************非极大值抑制结束
//************双阈值检测开始QImage *img_dt=new QImage(img_nms->width(),img_nms->height(),QImage::Format_ARGB32);double** gradcp=new double*[img->width()];for(int i=0;i<img->width();++i)gradcp[i]=new double[img->height()];for(int i=0;i<img_dt->width();++i){for(int j=0;j<img_dt->height();++j){if(grad[i][j]>highthresh){//强边缘gradcp[i][j]=highthresh;img_dt->setPixel(i,j,edge);}else if(grad[i][j]>lowthresh){//弱边缘gradcp[i][j]=lowthresh;img_dt->setPixel(i,j,edge);}else{//非边缘gradcp[i][j]=0;img_dt->setPixel(i,j,notedge);//抑制}}}//************双阈值检测结束
//************抑制孤立低阈值点开始QImage *img_st=new QImage(img_dt->width(),img_dt->height(),QImage::Format_ARGB32);int frac[8][2]={{1,0},{1,1},{0,1},{-1,1},{-1,0},{-1,-1},{0,-1},{1,-1}};for(int i=1;i<img_st->width()-1;++i){for(int j=1;j<img_st->height()-1;++j){if(gradcp[i][j]==highthresh){//强边缘img_st->setPixel(i,j,edge);}else if(gradcp[i][j]==lowthresh){//弱边缘for(int p=0;p<8;++p){if(gradcp[i+frac[p][0]][j+frac[p][1]]==highthresh){img_st->setPixel(i,j,edge);//边缘break;}img_st->setPixel(i,j,notedge);//非边缘}}else//非边缘img_st->setPixel(i,j,notedge);}}
//*******最终结果如下return *img_st;/*}return *img;*/
}

如各位所见，代码量很大，而且...不是自己纯原创的

参考文档：边缘检测之Canny算法_Qt实现（C++）

3.3.6、伽马转变

伽马转变是在图像处理中，将漂白或曝光过头或不足的照片经行修正，根据伽马变换的公式与其图像可知：gamma值小于1时，会拉伸图像中灰度级较低的区域，同时会压缩灰度级较高的部分；gamma值大于1时，会拉伸图像中灰度级较高的区域，同时会压缩灰度级较低的部分。获得图像的像素后，将其每一个RGB的值经行一次公式的运行后放回，得到相关的图片。运行截图与代码如下：

QImage MainWindow::gamma1(){QImage *image=new QImage();/*警告模块，参考上述3.2的代码内容*/*image=ui->originLabel->pixmap()->toImage();double d=num;QColor color;int height = image->height();int width = image->width();for (int i=0;i<width;i++){for(int j=0;j<height;j++){color = QColor(image->pixel(i,j));double r = color.red();double g = color.green();double b = color.blue();int R = qBound(0,(int)qPow(r,d),255);int G = qBound(0,(int)qPow(g,d),255);int B = qBound(0,(int)qPow(b,d),255);image->setPixel(i,j,qRgb(R,G,B));}}return *image;}

4.3.7、保存图片

获得showlabel中的图片信息，调用QPixmap的save()函数，使得可以保存图片，同时读取系统时间，将其作为命名的标题。保存地址为程序编译的地址。相关代码如下：

void MainWindow::save(){QImage *image =new QImage();/*警告模块，参考上述3.2的代码内容*/*image = ui->showLabel->pixmap()->toImage();QPixmap p =QPixmap::fromImage(*image);//文件命名系统QTime current_time =QTime::currentTime();int hour = current_time.hour();//当前的小时int minute = current_time.minute();//当前的分int second = current_time.second();//当前的秒QString filename=QString::number(hour)+"_"+QString::number(minute)+"_"+QString::number(second)+"_"+QString::number(num)+".jpg";//保存图片p.save(filename,Q_NULLPTR,100);qDebug()<<"ok";}

3.4、视频处理

在本处的视频处理中，引入openｃｖ作为对视频的处理。将视频读入后，获得其每一帧的图像，然后处理

3.4.1、安装OpenCV

在安装过程中注意其的报错，有可能就因为网络问题出现无法下载相关的库文件，在写函数的时候使无法发现的，但在运行的时候才会发现库文件的确实，最容易出错的为：opencv_ffmpeg_64.dll、ffmpeg_version.cmake、opencv_ffmpeg.dll ．