我的数学之美（一）——RANSAC算法详解

博客分类：
图像识别、机器学习、数据挖掘

算法CC++C#J#

给定两个点p1与p2的坐标，确定这两点所构成的直线，要求对于输入的任意点p3，都可以判断它是否在该直线上。初中解析几何知识告诉我们，判断一个点在直线上，只需其与直线上任意两点点斜率都相同即可。实际操作当中，往往会先根据已知的两点算出直线的表达式（点斜式、截距式等等），然后通过向量计算即可方便地判断p3是否在该直线上。

生产实践中的数据往往会有一定的偏差。例如我们知道两个变量X与Y之间呈线性关系，Y=aX+b，我们想确定参数a与b的具体值。通过实验，可以得到一组X与Y的测试值。虽然理论上两个未知数的方程只需要两组值即可确认，但由于系统误差的原因，任意取两点算出的a与b的值都不尽相同。我们希望的是，最后计算得出的理论模型与测试值的误差最小。大学的高等数学课程中，详细阐述了最小二乘法的思想。通过计算最小均方差关于参数a、b的偏导数为零时的值。事实上，在很多情况下，最小二乘法都是线性回归的代名词。

遗憾的是，最小二乘法只适合与误差较小的情况。试想一下这种情况，假使需要从一个噪音较大的数据集中提取模型（比方说只有20%的数据时符合模型的）时，最小二乘法就显得力不从心了。例如下图，肉眼可以很轻易地看出一条直线（模式），但算法却找错了。

RANSAC算法的输入是一组观测数据（往往含有较大的噪声或无效点），一个用于解释观测数据的参数化模型以及一些可信的参数。RANSAC通过反复选择数据中的一组随机子集来达成目标。被选取的子集被假设为局内点，并用下述方法进行验证：

有一个模型适应于假设的局内点，即所有的未知参数都能从假设的局内点计算得出。
用1中得到的模型去测试所有的其它数据，如果某个点适用于估计的模型，认为它也是局内点。
如果有足够多的点被归类为假设的局内点，那么估计的模型就足够合理。
然后，用所有假设的局内点去重新估计模型（譬如使用最小二乘法），因为它仅仅被初始的假设局内点估计过。
最后，通过估计局内点与模型的错误率来评估模型。
上述过程被重复执行固定的次数，每次产生的模型要么因为局内点太少而被舍弃，要么因为比现有的模型更好而被选用。

整个过程可参考下图：

关于算法的源代码，Ziv Yaniv曾经写一个不错的C++版本，我在关键处增补了注释：

C代码

#include <math.h>
#include "LineParamEstimator.h"
LineParamEstimator::LineParamEstimator(double delta) : m_deltaSquared(delta*delta) {}
/*****************************************************************************/
/*
* Compute the line parameters [n_x,n_y,a_x,a_y]
* 通过输入的两点来确定所在直线，采用法线向量的方式来表示，以兼容平行或垂直的情况
* 其中n_x,n_y为归一化后，与原点构成的法线向量，a_x,a_y为直线上任意一点
*/
void LineParamEstimator::estimate(std::vector<Point2D *> &data,
std::vector<double> &parameters)
{
parameters.clear();
if(data.size()<2)
return;
double nx = data[1]->y - data[0]->y;
double ny = data[0]->x - data[1]->x;// 原始直线的斜率为K，则法线的斜率为-1/k
double norm = sqrt(nx*nx + ny*ny);
parameters.push_back(nx/norm);
parameters.push_back(ny/norm);
parameters.push_back(data[0]->x);
parameters.push_back(data[0]->y);
}
/*****************************************************************************/
/*
* Compute the line parameters [n_x,n_y,a_x,a_y]
* 使用最小二乘法，从输入点中拟合出确定直线模型的所需参量
*/
void LineParamEstimator::leastSquaresEstimate(std::vector<Point2D *> &data,
std::vector<double> &parameters)
{
double meanX, meanY, nx, ny, norm;
double covMat11, covMat12, covMat21, covMat22; // The entries of the symmetric covarinace matrix
int i, dataSize = data.size();
parameters.clear();
if(data.size()<2)
return;
meanX = meanY = 0.0;
covMat11 = covMat12 = covMat21 = covMat22 = 0;
for(i=0; i<dataSize; i++) {
meanX +=data[i]->x;
meanY +=data[i]->y;
covMat11 +=data[i]->x * data[i]->x;
covMat12 +=data[i]->x * data[i]->y;
covMat22 +=data[i]->y * data[i]->y;
}
meanX/=dataSize;
meanY/=dataSize;
covMat11 -= dataSize*meanX*meanX;
covMat12 -= dataSize*meanX*meanY;
covMat22 -= dataSize*meanY*meanY;
covMat21 = covMat12;
if(covMat11<1e-12) {
nx = 1.0;
ny = 0.0;
}
else { //lamda1 is the largest eigen-value of the covariance matrix
//and is used to compute the eigne-vector corresponding to the smallest
//eigenvalue, which isn't computed explicitly.
double lamda1 = (covMat11 + covMat22 + sqrt((covMat11-covMat22)*(covMat11-covMat22) + 4*covMat12*covMat12)) / 2.0;
nx = -covMat12;
ny = lamda1 - covMat22;
norm = sqrt(nx*nx + ny*ny);
nx/=norm;
ny/=norm;
}
parameters.push_back(nx);
parameters.push_back(ny);
parameters.push_back(meanX);
parameters.push_back(meanY);
}
/*****************************************************************************/
/*
* Given the line parameters [n_x,n_y,a_x,a_y] check if
* [n_x, n_y] dot [data.x-a_x, data.y-a_y] < m_delta
* 通过与已知法线的点乘结果，确定待测点与已知直线的匹配程度；结果越小则越符合，为
* 零则表明点在直线上
*/
bool LineParamEstimator::agree(std::vector<double> &parameters, Point2D &data)
{
double signedDistance = parameters[0]*(data.x-parameters[2]) + parameters[1]*(data.y-parameters[3]);
return ((signedDistance*signedDistance) < m_deltaSquared);
}

#include <math.h>
#include "LineParamEstimator.h"LineParamEstimator::LineParamEstimator(double delta) : m_deltaSquared(delta*delta) {}
/*****************************************************************************/
/** Compute the line parameters  [n_x,n_y,a_x,a_y]* 通过输入的两点来确定所在直线，采用法线向量的方式来表示，以兼容平行或垂直的情况* 其中n_x,n_y为归一化后，与原点构成的法线向量，a_x,a_y为直线上任意一点*/
void LineParamEstimator::estimate(std::vector<Point2D *> &data, std::vector<double> &parameters)
{parameters.clear();if(data.size()<2)return;double nx = data[1]->y - data[0]->y;double ny = data[0]->x - data[1]->x;// 原始直线的斜率为K，则法线的斜率为-1/kdouble norm = sqrt(nx*nx + ny*ny);parameters.push_back(nx/norm);parameters.push_back(ny/norm);parameters.push_back(data[0]->x);parameters.push_back(data[0]->y);
}
/*****************************************************************************/
/** Compute the line parameters  [n_x,n_y,a_x,a_y]* 使用最小二乘法，从输入点中拟合出确定直线模型的所需参量*/
void LineParamEstimator::leastSquaresEstimate(std::vector<Point2D *> &data, std::vector<double> &parameters)
{double meanX, meanY, nx, ny, norm;double covMat11, covMat12, covMat21, covMat22; // The entries of the symmetric covarinace matrixint i, dataSize = data.size();parameters.clear();if(data.size()<2)return;meanX = meanY = 0.0;covMat11 = covMat12 = covMat21 = covMat22 = 0;for(i=0; i<dataSize; i++) {meanX +=data[i]->x;meanY +=data[i]->y;covMat11   +=data[i]->x * data[i]->x;covMat12  +=data[i]->x * data[i]->y;covMat22  +=data[i]->y * data[i]->y;}meanX/=dataSize;meanY/=dataSize;covMat11 -= dataSize*meanX*meanX;covMat12 -= dataSize*meanX*meanY;covMat22 -= dataSize*meanY*meanY;covMat21 = covMat12;if(covMat11<1e-12) {nx = 1.0;ny = 0.0;}else {      //lamda1 is the largest eigen-value of the covariance matrix //and is used to compute the eigne-vector corresponding to the smallest//eigenvalue, which isn't computed explicitly.double lamda1 = (covMat11 + covMat22 + sqrt((covMat11-covMat22)*(covMat11-covMat22) + 4*covMat12*covMat12)) / 2.0;nx = -covMat12;ny = lamda1 - covMat22;norm = sqrt(nx*nx + ny*ny);nx/=norm;ny/=norm;}parameters.push_back(nx);parameters.push_back(ny);parameters.push_back(meanX);parameters.push_back(meanY);
}
/*****************************************************************************/
/** Given the line parameters  [n_x,n_y,a_x,a_y] check if* [n_x, n_y] dot [data.x-a_x, data.y-a_y] < m_delta* 通过与已知法线的点乘结果，确定待测点与已知直线的匹配程度；结果越小则越符合，为* 零则表明点在直线上*/
bool LineParamEstimator::agree(std::vector<double> &parameters, Point2D &data)
{double signedDistance = parameters[0]*(data.x-parameters[2]) + parameters[1]*(data.y-parameters[3]); return ((signedDistance*signedDistance) < m_deltaSquared);
}

RANSAC寻找匹配的代码如下：

C代码

/*****************************************************************************/
template<class T, class S>
double Ransac<T,S>::compute(std::vector<S> &parameters,
ParameterEsitmator<T,S> *paramEstimator ,
std::vector<T> &data,
int numForEstimate)
{
std::vector<T *> leastSquaresEstimateData;
int numDataObjects = data.size();
int numVotesForBest = -1;
int *arr = new int[numForEstimate];// numForEstimate表示拟合模型所需要的最少点数，对本例的直线来说，该值为2
short *curVotes = new short[numDataObjects]; //one if data[i] agrees with the current model, otherwise zero
short *bestVotes = new short[numDataObjects]; //one if data[i] agrees with the best model, otherwise zero
//there are less data objects than the minimum required for an exact fit
if(numDataObjects < numForEstimate)
return 0;
// 计算所有可能的直线，寻找其中误差最小的解。对于100点的直线拟合来说，大约需要100*99*0.5=4950次运算，复杂度无疑是庞大的。一般采用随机选取子集的方式。
computeAllChoices(paramEstimator,data,numForEstimate,
bestVotes, curVotes, numVotesForBest, 0, data.size(), numForEstimate, 0, arr);
//compute the least squares estimate using the largest sub set
for(int j=0; j<numDataObjects; j++) {
if(bestVotes[j])
leastSquaresEstimateData.push_back(&(data[j]));
}
// 对局内点再次用最小二乘法拟合出模型
paramEstimator->leastSquaresEstimate(leastSquaresEstimateData,parameters);
delete [] arr;
delete [] bestVotes;
delete [] curVotes;
return (double)leastSquaresEstimateData.size()/(double)numDataObjects;
}

/*****************************************************************************/
template<class T, class S>
double Ransac<T,S>::compute(std::vector<S> &parameters, ParameterEsitmator<T,S> *paramEstimator , std::vector<T> &data, int numForEstimate)
{std::vector<T *> leastSquaresEstimateData;int numDataObjects = data.size();int numVotesForBest = -1;int *arr = new int[numForEstimate];// numForEstimate表示拟合模型所需要的最少点数，对本例的直线来说，该值为2short *curVotes = new short[numDataObjects];  //one if data[i] agrees with the current model, otherwise zeroshort *bestVotes = new short[numDataObjects];  //one if data[i] agrees with the best model, otherwise zero//there are less data objects than the minimum required for an exact fitif(numDataObjects < numForEstimate) return 0;// 计算所有可能的直线，寻找其中误差最小的解。对于100点的直线拟合来说，大约需要100*99*0.5=4950次运算，复杂度无疑是庞大的。一般采用随机选取子集的方式。computeAllChoices(paramEstimator,data,numForEstimate,bestVotes, curVotes, numVotesForBest, 0, data.size(), numForEstimate, 0, arr);//compute the least squares estimate using the largest sub setfor(int j=0; j<numDataObjects; j++) {if(bestVotes[j])leastSquaresEstimateData.push_back(&(data[j]));}// 对局内点再次用最小二乘法拟合出模型paramEstimator->leastSquaresEstimate(leastSquaresEstimateData,parameters);delete [] arr;delete [] bestVotes;delete [] curVotes;   return (double)leastSquaresEstimateData.size()/(double)numDataObjects;
}

在模型确定以及最大迭代次数允许的情况下，RANSAC总是能找到最优解。经过我的实验，对于包含80%误差的数据集，RANSAC的效果远优于直接的最小二乘法。

RANSAC可以用于哪些场景呢？最著名的莫过于图片的拼接技术。优于镜头的限制，往往需要多张照片才能拍下那种巨幅的风景。在多幅图像合成时，事先会在待合成的图片中提取一些关键的特征点。计算机视觉的研究表明，不同视角下物体往往可以通过一个透视矩（3X3或2X2）阵的变换而得到。RANSAC被用于拟合这个模型的参数（矩阵各行列的值），由此便可识别出不同照片中的同一物体。可参考下图：

另外，RANSAC还可以用于图像搜索时的纠错与物体识别定位。下图中，有几条直线是SIFT匹配算法的误判，RANSAC有效地将其识别，并将正确的模型（书本）用线框标注出来：

大小: 23.1 KB

大小: 117.6 KB

大小: 1.7 MB

大小: 1.9 MB

大小: 1.9 MB

大小: 105.8 KB

查看图片附件

分享到：

我的数学之美系列一真理有时可能变得黯淡 ... | JAVA网络爬虫的实现

2011-03-14 12:53
浏览 64407
评论(0)
分类:编程语言
查看更多

参考知识库

算法与数据结构知识库 18424 关注 | 2320 收录

发表评论

您还没有登录,请您登录后再发表评论