OpenCV学习(21) Grabcut算法详解
grab cut算法是graph cut算法的改进。在理解grab cut算之前,应该学习一下graph cut算法的概念及实现方式。
我搜集了一些graph cut资料:http://yunpan.cn/QGDVdBXwkXutH
grab cut算法详细描述见资料中的pdf文件:“GrabCut” — Interactive Foreground Extraction using Iterated Graph Cuts
grab cut算法是一种基于图论的图像分割方法,首先要定义一个Gibbs能量函数,然后求解这个函数的min-cut,这个min-cut就是前景背景的分割像素集合。
1. 能量函数的定义
在grab cut算法中,能量函数定义为:
其中U函数部分表示能量函数的区域数据项,V函数表示能量函数的光滑项(边界项)。
我们使用混合多高斯模型D(x)表示某个像素属于前景或背景的概率,这里K=5,表示第i个单高斯函数对概率贡献的权重系数,所以有, 为第i单高斯函数。为第i个单高斯函数的均值,为第i个单高斯函数的协方差。
单高斯函数g公式为:
区域数据项U函数为:
这里n表示图像中的第n个像素。【注:这儿的,是对前面的D(x)取负对数】:
grab cut算法的输入图像是RGB 3通道的图像,对于输入图像,我们用两个混合多高斯模型来分别表示前景和背景。
光滑项V函数为:
C是相邻颜色对的集合,是一个常量值50,
这些公式直接理解有点困难,下面我们结合程序看看grabcut算法中,如何计算能量公式,以及如何分段。
1、首先定义混合多高斯模型
class GMM
{
public:
static const int componentsCount = 5; //对应K=5
GMM( Mat& _model );
double operator()( const Vec3d color ) const;
double operator()( int ci, const Vec3d color ) const;
int whichComponent( const Vec3d color ) const;
void initLearning();
void addSample( int ci, const Vec3d color );
void endLearning();
private:
void calcInverseCovAndDeterm( int ci );
Mat model;
double* coefs; //权重系数
double* mean; //均值
double* cov; //协方差
double inverseCovs[componentsCount][3][3];
double covDeterms[componentsCount];
double sums[componentsCount][3]; //所有样本bgr三个颜色分量的和,用来计算权重系数
double prods[componentsCount][3][3]; //所有样本bgr颜色的行列式值,用来计算协方差
int sampleCounts[componentsCount]; //每个单高斯函数的样本数
int totalSampleCount; //样本总数
};
从上面混合多高斯公式可以知道,只要确定了三个参数:权重系数、均值、协方差,就可以根据当前像素点的bgr值确定当前像素属于前景和背景的概率D(x),所以在GMM类中,我们定义三个指针,分别表示权重系数,均值和协方差。因为当前像素用bgr值表示,所以均值其实为3个double数,再加上K=5(5个单高斯函数组成的多高斯混合函数),总共15双精度值,而权重系数则为5个双精度值,cov公共3*3*5=45个双精度值。
double* coefs; //权重系数
double* mean; //均值
double* cov; //协方差
在GMM的构造函数中,我们会创建一个1维的矩阵,总共65个双精度数,权重系数指向矩阵数据头,均值指向第6个双精度数,协方差指向第21个双精度数。
_model.create( 1, modelSize*componentsCount, CV_64FC1 );
_model.setTo(Scalar(0));
coefs = model.ptr<double>(0);
mean = coefs + componentsCount;
cov = mean + 3*componentsCount;
2.初始化GMM变量
我们定义了两个变量
GMM bgdGMM( bgdModel ), fgdGMM( fgdModel );
分别表示和前景的混合多高斯模型。
首先我们根据选定的四边形框来初始化mask图像,四边形框外的像素是背景,值为GC_BGD ,四边形内的像素可能是前景,值为GC_PR_FGD。
/*
Initialize mask using rectangular.
设置mask的初始值,四边形框内圈定的像素值为GC_PR_FGD
*/
void gGrabCut::initMaskWithRect( Mat& mask, Size imgSize, Rect rect )
{
mask.create( imgSize, CV_8UC1 );
mask.setTo( GC_BGD );
rect.x = max(0, rect.x);
rect.y = max(0, rect.y);
rect.width = min(rect.width, imgSize.width-rect.x);
rect.height = min(rect.height, imgSize.height-rect.y);
(mask(rect)).setTo( Scalar(GC_PR_FGD) );
}
之后,我们会根据mask图像,读入样本数据。前景GMM的样本数据放在变量fgdSamples中,背景GMM的样本数据放入变量bgdSamples中。fgdSamples和bgdSamples中存放得都是一些bgr颜色值。
Mat bgdLabels, fgdLabels;
vector<Vec3f> bgdSamples, fgdSamples;
Point p;
for( p.y = 0; p.y < img.rows; p.y++ )
{
for( p.x = 0; p.x < img.cols; p.x++ )
{
if( mask.at<uchar>(p) == GC_BGD || mask.at<uchar>(p) == GC_PR_BGD )
bgdSamples.push_back( (Vec3f)img.at<Vec3b>(p) );
else // GC_FGD | GC_PR_FGD
fgdSamples.push_back( (Vec3f)img.at<Vec3b>(p) );
}
}
之后我们会根据kmeans聚类算法,计算得到当前像素属于前景或背景混合多高斯变量中的第几个单高斯函数,结果放在bgdSamples, fgdSamples中,值为0-4。
//一行是一个数据样本,3列是b,g,r三个属性
Mat _bgdSamples( (int)bgdSamples.size(), 3, CV_32FC1, &bgdSamples[0][0] );
//GMM::componentsCount聚类的个数
//KMEANS_PP_CENTERS是采用Arthur & Vassilvitskii (2007) k-means++: The Advantages of Careful Seeding获取初始化种子点
kmeans( _bgdSamples, GMM::componentsCount, bgdLabels,
TermCriteria( CV_TERMCRIT_ITER, kMeansItCount, 0.0), 0, kMeansType );
Mat _fgdSamples( (int)fgdSamples.size(), 3, CV_32FC1, &fgdSamples[0][0] );
kmeans( _fgdSamples, GMM::componentsCount, fgdLabels,
TermCriteria( CV_TERMCRIT_ITER, kMeansItCount, 0.0), 0, kMeansType );
下面我们计算得到均值、协方差和权重系数:
权重系数为属于某个单高斯函数的采样像素数量除以所有采样像素的数量。每个单高斯函数的均值为所有属于该函数的采样像素颜色和除以属于该函数的颜色采样数量。协方差的公式比较复杂,大家看看下面代码中c[0]-c[9]的计算就ok了。注意其中的函数calcInverseCovAndDeterm用来计算协方差矩阵的行列式值以及逆矩阵,这些值在计算能量公式的数据项函数U时候使用。
//计算得到均值、协方差以及权重系数
void GMM::endLearning()
{
const double variance = 0.01;
for( int ci = 0; ci < componentsCount; ci++ )
{
int n = sampleCounts[ci];
if( n == 0 )
coefs[ci] = 0;
else
{
coefs[ci] = (double)n/totalSampleCount;
double* m = mean + 3*ci;
m[0] = sums[ci][0]/n; m[1] = sums[ci][1]/n; m[2] = sums[ci][2]/n;
double* c = cov + 9*ci;
c[0] = prods[ci][0][0]/n - m[0]*m[0]; c[1] = prods[ci][0][1]/n - m[0]*m[1]; c[2] = prods[ci][0][2]/n - m[0]*m[2];
c[3] = prods[ci][1][0]/n - m[1]*m[0]; c[4] = prods[ci][1][1]/n - m[1]*m[1]; c[5] = prods[ci][1][2]/n - m[1]*m[2];
c[6] = prods[ci][2][0]/n - m[2]*m[0]; c[7] = prods[ci][2][1]/n - m[2]*m[1]; c[8] = prods[ci][2][2]/n - m[2]*m[2];
double dtrm = c[0]*(c[4]*c[8]-c[5]*c[7]) - c[1]*(c[3]*c[8]-c[5]*c[6]) + c[2]*(c[3]*c[7]-c[4]*c[6]);
if( dtrm <= std::numeric_limits<double>::epsilon() )
{
// Adds the white noise to avoid singular covariance matrix.
c[0] += variance;
c[4] += variance;
c[8] += variance;
}
calcInverseCovAndDeterm(ci);
}
}
}
下面我们开始计算能量公式中光滑性函数V:
(注:=1),
const double gamma = 50;
const double lambda = 9*gamma;
const double beta = calcBeta( img );
Mat leftW, upleftW, upW, uprightW;
calcNWeights( img, leftW, upleftW, upW, uprightW, beta, gamma );
我们会在beta函数计算公式中的beta值,其中4*img.cols*img.rows - 3*img.cols - 3*img.rows + 2为邻接距离的数量。
/*
计算光滑性函数中的beta值
Calculate beta - parameter of GrabCut algorithm.
beta = 1/(2*avg(sqr(||color[i] - color[j]||)))
*/
static double calcBeta( const Mat& img )
{
double beta = 0;
for( int y = 0; y < img.rows; y++ )
{
for( int x = 0; x < img.cols; x++ )
{
Vec3d color = img.at<Vec3b>(y,x);
if( x>0 ) // left
{
Vec3d diff = color - (Vec3d)img.at<Vec3b>(y,x-1);
beta += diff.dot(diff);
}
if( y>0 && x>0 ) // upleft
{
Vec3d diff = color - (Vec3d)img.at<Vec3b>(y-1,x-1);
beta += diff.dot(diff);
}
if( y>0 ) // up
{
Vec3d diff = color - (Vec3d)img.at<Vec3b>(y-1,x);
beta += diff.dot(diff);
}
if( y>0 && x<img.cols-1) // upright
{
Vec3d diff = color - (Vec3d)img.at<Vec3b>(y-1,x+1);
beta += diff.dot(diff);
}
}
}
if( beta <= std::numeric_limits<double>::epsilon() )
beta = 0;
else //除以邻接距离的数量
beta = 1.f / (2 * beta/(4*img.cols*img.rows - 3*img.cols - 3*img.rows + 2) );
return beta;
}
我们通过caclNWeights函数计算非终端顶点的权重值,计算公式依据V函数,权重结果放在四个矩阵leftW, upleftW, upW, uprightW中,最后,我们根据像素和权重值构建图,并用max-flow算法解得min-cut,求解的结果放在mask图像中,前景部分的值为GC_PR_FGD,背景部分的值为GC_PR_BGD
Mat leftW, upleftW, upW, uprightW;
calcNWeights( img, leftW, upleftW, upW, uprightW, beta, gamma );
for( int i = 0; i < iterCount; i++ )
{
GCGraph<double> graph;
assignGMMsComponents( img, mask, bgdGMM, fgdGMM, compIdxs );
learnGMMs( img, mask, compIdxs, bgdGMM, fgdGMM );
constructGCGraph(img, mask, bgdGMM, fgdGMM, lambda, leftW, upleftW, upW, uprightW, graph );
estimateSegmentation( graph, mask );
}
OpenCV学习(21) Grabcut算法详解相关推荐
- GrabCut算法详解:从GMM模型说起
GrabCut算法详解:从GMM模型说起 最近正在学习CG,争取有时间就看点论文写写代码. GrabCut在OpenCv里面是有内置函数的,不过我还是用C++纯手工实现了一边原汁原味的论文,githu ...
- 【强化学习】Sarsa算法详解以及用于二维空间探索【Python实现】
Sarsa算法 Sarsa算法,是基于Q-Learning算法.改动其实很小. 本文工作基于之前的Q-Learning的项目,如果有疑问可以看下面两个问题: [强化学习]Q-Learning算法详解以 ...
- [联邦学习] FedAvg聚合算法详解及代码实现
该文章首发于若绾 [联邦学习] FedAvg聚合算法详解及代码实现,转载请标注出处. 论文原文:Communication-Efficient Learning of Deep Networks fr ...
- Grabcut算法详解
grab cut算法是graph cut算法的改进.在理解grab cut算之前,应该学习一下graph cut算法的概念及实现方式. 我搜集了一些graph cut资料:http://yunpan. ...
- 【强化学习】Actor-Critic算法详解
https://morvanzhou.github.io/tutorials/machine-learning/reinforcement-learning/6-1-actor-critic/ htt ...
- 【强化学习】Q-Learning算法详解以及Python实现【80行代码】
强化学习 在文章正式开始前,请不要被强化学习的tag给吓到了,这也是我之前所遇到的一个困扰.觉得这个东西看上去很高级,需要一个完整的时间段,做详细的学习.相反,强化学习的很多算法是很符合直观思维的. ...
- 【强化学习】Q-Learning算法详解
1 Q-Learning算法简介 1.1 行为准则 我们做很多事情都有自己的行为准则,比如小时候爸妈常说:不写完作业就不准看电视.所以我们在写作业这种状态下,写的好的行为就是继续写作业,知道写完他,我 ...
- 【python教程入门学习】线性回归算法详解
本节我们会认识第一个机器学习算法 -- 线性回归算法(Linear Regression),它是机器学习算法中较为简单,且容易理解的算法模型,你可以把它看做您的第一个"Hello World ...
- Opencv学习----位图(bitmap)原理详解三---位图解析度
2.3 解析度 分辨率是位图的一个属性,在视觉上查看或打印位图时是必需的,因为像素本身没有明确的尺寸.分辨率通常以每英寸像素数指定,但可以是任何其他测量单位.由于历史原因,大多数打印过程保留每英寸像素 ...
最新文章
- 为什么要使用 Service Mesh?
- MySQL复合条件连接查询
- Tomcat Instance in Eclipse and in local folder
- NGINX内容缓存配置
- oel6mysql_OEL6.5_X86平台部署Oracle 11gR2 RAC并配置ACFS
- hdu 5964:平行四边形 【计算几何】
- mysql mvcc机制rc_Mysql中MVCC的使用及原理
- 【算法学习】【图像增强】基于拉普拉斯算子的图像锐化
- Android UI 调试常用工具(Dump view UI hierarchy for Automator)
- 自制Unity小游戏TankHero-2D(2)制作敌方坦克
- Keras中的深度学习的模型:序列模型(Sequential)和通用模型(Model)
- 手机浏览器唤起微信实现分享
- 5464: Star Arrangements
- agx上搭建ros2
- 贵州省那些大学有计算机专业,贵州大学的计算机专业全国排名第几?
- 全新2009高校BBS上充满温馨的100个调情小笑话
- 三维空间中绘制点、线、面、UV贴图,万能的BufferGeometry(three.js实战4)
- 学校网站建设制作:学校站群系统需要哪些栏目规划设计?
- 深度学习 从零开始 —— 神经网络(七又二分之一)卷积优化结构,阿猫阿狗识别,优化步骤结果
- Jenkins中Changelog插件使用