1.Grabcut介绍

1.1Grabcut概述

Graph cuts是一种十分有用和流行的能量优化算法，在计算机视觉领域普遍应用于前背景分割（Image segmentation）、立体视觉（stereo vision）、抠图（Image matting）等。此类方法把图像分割问题与图的最小割（min cut）问题相关联。

OpenCV中的GrabCut该算法利用了图像中的纹理（颜色）信息和边界（反差）信息，只要少量的用户交互操作即可得到比较好的分割结果.

1.2GrabCut和Graph Cut有何不同？

（1）Graph Cut的目标和背景的模型是灰度直方图，Grab Cut取代为RGB三通道的混合高斯模型GMM；

（2）Graph Cut的能量最小化（分割）是一次达到的，而Grab Cut为一个不断进行分割估计和模型参数学习的交互迭代过程；

（3）Graph Cut需要用户指定目标和背景的一些种子点，但是Grab Cut只需要提供背景区域的像素集就可以了。也就是说你只需要框选目标，那么在方框外的像素全部当成背景，这时候就可以对GMM进行建模和完成良好的分割了。即Grab Cut允许不完全的标注（incomplete labelling）。
GrabCut是graph cut的改进版，是迭代的graph cut。该算法利用了图像中的纹理（颜色）信息和边界（反差）信息，只要小量的用户交互操作即可得到比较好的分割效果。

1.3基本步骤

1、输入一个矩形。矩形外的所有区域肯定是背景。矩形框内的东西是未知的。同样用户确定前景和背景的任何操作都不会被程序改变。
        2、计算机会对我们的输入图像做一个初始化标记。它会标记前景和背景像素。
        3、使用一个高斯混合模型（GMM）对前景和背景建模
        4、根据我们的输入，GMM会学习并创建新的像素分布。对那些分类未知的像素（可能是前景也可能是背景），可以根据他们与已知分类（如背景）的像素关系来进行分类（就想在做聚类操作）。
        5、这样就会根据像素的分布创建一幅图。图中的节点就是像素点。除了像素点做节点之外还有两个节点：Source_node和Sink_node。所有的前景像素都和Source_node相连。所有的背景像素都和sink_node相连。
        6、将像素连接到Source_node/end_node的边的权重由他们属于同一类的概率决定。两个像素之间的权重由边的信息或者两个像素的相似性来决定。如果两个像素的颜色有很大的不同，那么它们之间的边的权重就会很小。
        7、使用mincut算法对上面的图进行分割。它会根据最低成本方程将图像分为Source_node和Sink_node。成本方程就是被剪掉的所有边的权重之和。在裁剪之后，所有连接到Source_node的像素被认为是前景，所有连接到Sink_node的像素被认为是背景。
        8、继续这个过程直到分类收敛。

1.4API介绍

void grabCut( InputArray img, InputOutputArray mask, Rect rect,InputOutputArray bgdModel, InputOutputArray fgdModel,int iterCount, int mode = GC_EVAL );

参数说明：

img: 输入图像，必须是8位3通道图像，在处理过程中不会被修改
mask: 掩码图像，用来确定哪些区域是背景，前景，可能是背景，可能是前景等。mask既可以作为输入也可以作为输出。作为输入时，mode要选择GC_INIT_WITH_MASK (=1)；
GCD_BGD (=0), 背景； GCD_FGD (=1)，前景;

GCD_PR_BGD (=2)，可能是背景; GCD_PR_FGD(=3)，可能是前景。
如果没有手工标记GCD_BGD 或者GCD_FGD,那么结果只会有GCD_PR_BGD和GCD_PR_FGD
rect: 包含前景的矩形，格式为（x, y, w, h）
bdgModel,fgdModel: 算法内部使用的数组，只需要创建两个大小为（1，65），数据类型为np.float64的数组

iterCount: 算法迭代的次数
mode: 用来指示grabCut函数进行什么操作：
cv.GC_INIT_WITH_RECT (=0)，用矩形窗初始化GrabCut；
cv.GC_INIT_WITH_MASK (=1)，用掩码图像初始化GrabCut。

算法调用流程：
（1）读取一张图片，用矩形标记出前景部分。
（2）调用grabCut（），获得分割结果。
（3）由于grabCut函数返回的分割结果，包含四种值：确定属于背景像素、可能属于背景像素、确定属于前景像素、可能属于前景像素。所以，根据需要，从返回结果中提取需要值。
（4）根据需要从结果提取需要的值（矩阵）后，通过掩码，对图片进行分割。

2.案例分析

2.1矩形输入

#include<opencv2/opencv.hpp>
#include<iostream>
#include<math.h>using namespace std;
using namespace cv;Rect rect;
Mat src, image;
const char* winTitle="input image";
void onMouse(int event, int x, int y, int flags, void* param);
void showImage();
int main()
{src = imread("F:\\testImage\\test.png");if (src.empty()){printf("could not load image……\n");return -1;}namedWindow(winTitle, WINDOW_AUTOSIZE);setMouseCallback(winTitle, onMouse, 0);imshow(winTitle, src);waitKey(0);return 0;
}void onMouse(int event, int x, int y, int flag, void* param)
{switch (event){case EVENT_LBUTTONDOWN:rect.x = x;rect.y = y;rect.width = 1;rect.height = 1;break;case EVENT_MOUSEMOVE:if (flag & EVENT_FLAG_LBUTTON){rect = Rect(Point(rect.x, rect.y), Point(x, y));showImage();}break;case EVENT_LBUTTONUP:break;default:break;}
}void showImage()
{Mat result;src.copyTo(result);rectangle(result, rect, Scalar(0, 0, 255), 2, 8);imshow(winTitle, result);
}

然后我们吧矩形框里的作为前景，矩形框外面的作为背景。

#include<opencv2\opencv.hpp>
using namespace cv;
void onMouse(int event, int x, int y, int flags, void* userdata);
Rect rect;
Mat src, roiImg, result;
void showImg();
int main(int arc, char** argv) {src = imread("F://testImage//flouwer.png");namedWindow("input", WINDOW_AUTOSIZE);imshow("input", src);setMouseCallback("input", onMouse);//定义输出结果，结果为：GC_BGD =0（背景）,GC_FGD =1（前景）,GC_PR_BGD = 2（可能的背景）, GC_PR_FGD = 3（可能的前景）     Mat result = Mat::zeros(src.size(), CV_8UC1);// GrabCut 抠图//两个临时矩阵变量，作为算法的中间变量使用Mat bgModel, fgModel;char c = waitKey(0);if (c == 'g') {grabCut(src, result, rect, bgModel, fgModel, 1, GC_INIT_WITH_RECT);//比较result的值为可能的前景像素才输出到result中compare(result, GC_PR_FGD, result, CMP_EQ);// 产生输出图像Mat foreground(src.size(), CV_8UC3, Scalar(255, 255, 255));//将原图像src中的result区域拷贝到foreground中src.copyTo(foreground, result);imshow("output", foreground);}waitKey(0);return 0;
}void showImg() {src.copyTo(roiImg);rectangle(roiImg, rect, Scalar(0, 0, 255), 2);imshow("input", roiImg);
}
//鼠标选择矩形框
void onMouse(int event, int x, int y, int flags, void* userdata) {switch (event){case EVENT_LBUTTONDOWN://鼠标左键按下事件rect.x = x;rect.y = y;rect.width = 1;rect.height = 1;break;case EVENT_MOUSEMOVE://鼠标移动事件if (flags && EVENT_FLAG_LBUTTON) {rect = Rect(Point(rect.x, rect.y), Point(x, y));showImg();}break;case EVENT_LBUTTONUP://鼠标弹起事件if (rect.width > 1 && rect.height > 1) {showImg();}break;default:break;}
}

C++OpenCV系统学习（17）——图像分割与抠图（4）Grabcut相关推荐

C++OpenCV系统学习（17）——图像分割与抠图（6）——视频背景替换
1.关键知识点分割算法选择背景融合-高斯模糊遮罩层生成 1.1分割算法的选择 GMM/Kmeans:对视频的第一帧做trainning,对其他帧只做预言不做trainning. .基于色彩的处理 ...
OpenCV系统学习（基本了解完）
1.下载安装.http://blog.csdn.net/poem_qianmo/article/details/19809337 2.框架架构http://blog.csdn.net/poem_qia ...
C++OpenCV系统学习（3）——图像混合、调整亮度与对比度
1.图像混合 1.1线性混合 f0和f1分别表示两张图像,g(x)是混合后的图像. 1.2相关API addWeight(src1,alpha,src2,beta,gamma,dst,dtype), ...
城市道路积水识别监测系统 OpenCv深度学习
城市道路积水识别监测系统利用OpenCv深度学习模型以及yolo网络架构,对城市道路积水识别检测如果发现道路积水立即抓拍预警.YOLO网络仅使用卷积层, 属于全卷积网络.这在减少了参数变量的同时, 加 ...
Opencv C++ 学习视频整理源代码（1）
0.代码基本框架 #include <opencv2/opencv.hpp> #include <opencv2/tracking.hpp> #include <iost ...
使用深度学习的图像分割（综述）
文章目录前言摘要 1.引言 2.深度神经网络的概述 2.1卷积神经网络(CNNs) 2.2递归神经网络(RNNs)和LSTM 2.3编码器-解码器和自动编码器模型 2.4生成式对抗性网络(GANs ...
汇总 |计算机视觉系统学习资料下载
微信公众号推荐关注公众号后台回复「资料」,即可下载计算机视觉干货资料,涉及相机标定.三维重建. 立体视觉.SLAM.深度学习.点云后处理.姿态估计.多视图几何.多传感器融合等方向 [计算机视觉 ...
汇总|3D视觉系统学习资料下载
微信公众号推荐关注公众号后台回复 3D视觉即可下载 3D视觉相关资料干货,涉及相机标定. 三维重建.立体视觉.SLAM.深度学习.点云后处理.多视图几何等方向 [3D视觉工坊简介] 公众号[3 ...
基于深度学习的图像分割
摘要遥感图像分割是利用遥感技术获取的高分辨率图像进行像素级别的分类,将图像中的不同物体或不同地物提取出来的过程.这个过程对于遥感应用具有重要意义,因为它能够提取出地物和地表特征,如河流.道路.建筑. ...

C++OpenCV系统学习（17）——图像分割与抠图（4）Grabcut