OpenCV在未知相机内参数情况下的立体图像矫正方法

很多时候我们不知道摄像机的内参数矩阵，并且我们也不太关注内参数到底是多少，因为我们仅仅关心如何得到两幅图像的稠密匹配，或者两幅图像的差别——例如我们只想计算两幅图像的视差图，或者说得到两幅立体图像对的深度图就足够了。既然不知道摄像机的内参数，那么就只能借助对极约束来达到目的了。通过计算两幅图像的基础矩阵F，然后利用对极约束矫正极线为平行线的方法，可以很好的实现这个目标，该方法也被称为Hartly方法，在OpenCV中由cv::stereoRectifyUncalibrated函数实现。

立体图像的极线矫正需要三个步骤：

（1）提取特征点并匹配，参考http://blog.sina.com.cn/s/blog_4298002e01013w4z.html

（2）计算基本矩阵F，参考http://blog.sina.com.cn/s/blog_4298002e01013w9a.html

（3）极线矫正。

Hartly方法的函数原型如下：

//! computes the rectification transformation for an uncalibrated stereo camera (zero distortion is assumed)
CV_EXPORTS_W bool stereoRectifyUncalibrated( const Mat& points1, const Mat& points2,
                                             const Mat& F, Size imgSize,
                                             CV_OUT Mat& H1, CV_OUT Mat& H2,
                                             double threshold=5 );

该函数输入参数为两幅图像的匹配特征点，基本矩阵F以及图像的尺寸，返回的参数是两幅图像各自对应的单应变换矩阵H1和H2。只需要对两幅图像按照H1和H2做单应变换，即可得到矫正后图像。假设I为图像，变换如下：

I_recty = H*I

需要说明一点，该函数的前两个参数Mat& points1, Mat& points2与cv::findFundamentalMat的前两个参数并不是相同的数据结构。它们虽然可以是同一个匹配点集，但是他们的数据结构是完全不同的！cv::findFundamentalMat中传入的匹配点集要求是2xN或者Nx2的矩阵，但是cv::stereoRectifyUncalibrated中要求传入的匹配点集必须是1x2N或者2Nx1的矩阵！在很多文档中都说他们的参数是一样的，这其实是一个天大的错误，如果用计算F的匹配点集直接传给图像矫正函数，程序将直接崩溃。正确的做法是利用cv::Mat的构造函数，直接从vector<Point2f>构造一个cv::Mat传入。

cv::stereoRectifyUncalibrated函数默认原始图像是没有径向畸变的，因此在矫正图像之前，最好先对原始图像做径向矫正。

另外需要注意的一点，函数返回的单应变换矩阵H1和H2都是double类型，也即CV_64F类型，若不是该类型的矩阵，与之相乘会报错。下面是示例代码：

// 假设前面我们已经得到两幅图像的匹配特征点，并计算出了基本矩阵F，同时得到了匹配特征点的inlier

// Mat m_matLeftImage;
// Mat m_matRightImage;

// vector<Point2f> m_LeftInlier;
// vector<Point2f> m_RightInlier;

// Mat m_Fundamental;

// 计算图像矫正的单应变换矩阵

Mat m_LeftH;
Mat m_RightH;

stereoRectifyUncalibrated(Mat(m_LeftInlier), Mat(m_RightInlier), m_Fundamental,
Size(m_matLeftImage.cols, m_matLeftImage.rows),
m_LeftH, m_RightH);

// 任意指定一个内参数矩阵K，不会影响计算结果，此处设为单位阵。

Mat K = Mat::eye(3, 3, CV_64F); // 注意一定是double类型
Mat invK = K.inv(DECOMP_SVD);
Mat LeftR = invK*m_LeftH*K; // 根据单应变换矩阵计算左图摄像机在空间中的变换矩阵R1
Mat RightR = invK*m_RightH*K; // 计算右图摄像机在空间中的变换矩阵R2
Mat LeftMap1, LeftMap2;
Mat RightMap1, RightMap2;

Mat Distort; // 径向畸变为0，设为空矩阵
Size UndistSize(m_matLeftImage.cols, m_matLeftImage.rows);

// 计算左右两幅图像的映射矩阵

initUndistortRectifyMap(K, Distort, LeftR, K, UndistSize, CV_32FC1, LeftMap1, LeftMap2);
initUndistortRectifyMap(K, Distort, RightR, K, UndistSize, CV_32FC1, RightMap1, RightMap2);

// 把原始图像投影到新图像上，得到矫正图像

Mat m_LeftRectyImage;
Mat m_RightRectyImage;

remap(m_matLeftImage, m_LeftRectyImage, LeftMap1, LeftMap2, INTER_LINEAR);
remap(m_matRightImage, m_RightRectyImage, RightMap1, RightMap2, INTER_LINEAR);

// 显示结果

cvNamedWindow( "left image", 1);
cvShowImage("left image", &(IplImage(m_LeftRectyImage)));
cvNamedWindow( "right image", 1);
cvShowImage("right image", &(IplImage(m_RightRectyImage)));
cvWaitKey( 0 );
cvDestroyWindow( "left image" );
cvDestroyWindow( "right image" );

程序计算的结果如下图所示：

原始图像对：

极线矫正后的图像：

得到上面的矫正图像之后，就可以计算视差或者进行稠密匹配了。下面以视差计算的应用为例，分别用GC和SGBM算法计算视差，结果如下图：

SGBM算法：

GC算法：

OpenCV在未知相机内参数情况下的立体图像矫正方法相关推荐

机器视觉-相机内参数和外参数
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 1.相机内参数是与相机自身特性相关的参数,比如相机的焦距.像素大小 ...
计算机视觉-相机内参数和外参数
1.相机内参数是与相机自身特性相关的参数,比如相机的焦距.像素大小等: 相机外参数是在世界坐标系中的参数,比如相机的位置.旋转方向等. 相机标定(或摄像机标定): 一句话就是世界坐标到像素坐标的映射, ...
发送端未知信道状态信息情况下MIMO系统容量仿真
在发送端与接收端天线个数不同的情况下,MIMO系统的容量 clear all; close all; M=1000;%循环次数 n_bins=round(M/10);%round函数用于舍入到最接近的 ...
python设计一个节假日字典_python实现在无须过多援引的情况下创建字典的方法
本文实例讲述了python实现在无须过多援引的情况下创建字典的方法.分享给大家供大家参考.具体实现方法如下: 1.使用itertools模块 import itertools the_key = [' ...
[css] 写出div在不固定高度的情况下水平垂直居中的方法？
[css] 写出div在不固定高度的情况下水平垂直居中的方法? 我知道的有两种方法<!DOCTYPE html> <html><head><meta char ...
[css] 写出在不固定宽高的元素在固定高度的情况下水平垂直居中的方法
[css] 写出在不固定宽高的元素在固定高度的情况下水平垂直居中的方法 flex布局:还有就是可以用定位也可以实现等等: flex:父div:{display:flex: justify-conten ...
mysql 并发避免锁表_Yii+MYSQL锁表防止并发情况下重复数据的方法
本文实例讲述了Yii+MYSQL锁表防止并发情况下重复数据的方法.分享给大家供大家参考,具体如下: lock table 读锁定如果一个线程获得在一个表上的read锁,那么该线程和所有其他线程只能从 ...
并发产生mysql锁表_Yii+MYSQL锁表防止并发情况下重复数据的方法
本文实例讲述了Yii+MYSQL锁表防止并发情况下重复数据的方法.分享给大家供大家参考,具体如下: lock table 读锁定如果一个线程获得在一个表上的read锁,那么该线程和所有其他线程只能从 ...
浅析不同情况下Docker的逃逸方法
火线Zone社区(https://zone.huoxian.cn/) 一.Docker逃逸 1.docker daemon api未授权访问漏洞原理:在使用docker swarm的时候,节点上会开 ...

OpenCV在未知相机内参数情况下的立体图像矫正方法

OpenCV在未知相机内参数情况下的立体图像矫正方法相关推荐

最新文章

热门文章