双摄像头立体成像(三)-畸变矫正与立体校正
双摄像头立体成像(三)-畸变矫正与立体校正
畸变矫正是上一篇博文的遗留问题,当畸变系数和内外参数矩阵标定完成后,就应该进行畸变的矫正,以达到消除畸变的目的,此其一。
数学原理
- 畸变矫正(compensate lens distortion)
畸变矫正的方法就是用上一篇博文给出的公式对像素位置进行重新映射。这里重新写出重新映射的公式。
先矫正径向畸变,
再矫正切向畸变,
- 立体矫正(stereo rectify)
立体矫正能够有效降低立体匹配的计算量,立体矫正的具体作用见下图,
立体矫正前,
立体矫正后,
立体矫正的算法原理没有详细了解,此处从略。
OpenCV相关函数说明
- 畸变矫正函数 undistort()
undistort() 是独立的一个畸变矫正函数,一次性可以完成映射矩阵的求解和重新映射。下面我们还会看到把这两步分开来做的函数。
调用方法,
- src-输入未经过矫正的图像
- dst-经过矫正后输出的图像
- cameraMatrix-标定而得到的摄像机矩阵
- distCoeffs-标定得到的摄像机畸变矩阵
- newCameraMatrix-输入矫正后的摄像机矩阵(可以省略)
- 立体标定函数 stereoCalibrate()
stereoCalibrate() 是用来标定一个立体摄像头的,也就是同时标定两个摄像头。标定的结果除了能够求出两个摄像头的内外参数矩阵,跟能够得出两个摄像头的位置关系R,T。
调用方法,
double stereoCalibrate(InputArrayOfArrays objectPoints, InputArrayOfArrays imagePoints1,InputArrayOfArrays imagePoints2, InputOutputArray cameraMatrix1,InputOutputArray distCoeffs1, InputOutputArray cameraMatrix2, InputOutputArray distCoeffs2, Size imageSize, OutputArray R,OutputArray T, OutputArray E, OutputArray F, TermCriteria criteria=TermCriteria(TermCriteria::COUNT+TermCriteria::EPS, 30, 1e-6), intflags=CALIB_FIX_INTRINSIC )
- objectPoints- vector<point3f> 型的数据结构,存储标定角点在世界坐标系中的位置
- imagePoints1- vector<vector<point2f>> 型的数据结构,存储标定角点在第一个摄像机下的投影后的亚像素坐标
- imagePoints2- vector<vector<point2f>> 型的数据结构,存储标定角点在第二个摄像机下的投影后的亚像素坐标
- cameraMatrix1-输入/输出型的第一个摄像机的相机矩阵。如果
CV_CALIB_USE_INTRINSIC_GUESS , CV_CALIB_FIX_ASPECT_RATIO ,CV_CALIB_FIX_INTRINSIC , or CV_CALIB_FIX_FOCAL_LENGTH
其中的一个或多个标志被设置,该摄像机矩阵的一些或全部参数需要被初始化 - distCoeffs1-第一个摄像机的输入/输出型畸变向量。根据矫正模型的不同,输出向量长度由标志决定
- cameraMatrix2-输入/输出型的第二个摄像机的相机矩阵。参数意义同第一个相机矩阵相似
- distCoeffs2-第一个摄像机的输入/输出型畸变向量。根据矫正模型的不同,输出向量长度由标志决定
- imageSize-图像的大小
- R-输出型,第一和第二个摄像机之间的旋转矩阵
- T-输出型,第一和第二个摄像机之间的平移矩阵
- E-输出型,基本矩阵
- F-输出型,基础矩阵
- term_crit-迭代优化的终止条件
flag-
- CV_CALIB_FIX_INTRINSIC 如果该标志被设置,那么就会固定输入的cameraMatrix和distCoeffs不变,只求解
$R,T,E,F$R,T,E,F
$.
- CV_CALIB_USE_INTRINSIC_GUESS 根据用户提供的cameraMatrix和distCoeffs为初始值开始迭代
- CV_CALIB_FIX_PRINCIPAL_POINT 迭代过程中不会改变主点的位置
- CV_CALIB_FIX_FOCAL_LENGTH 迭代过程中不会改变焦距
- CV_CALIB_SAME_FOCAL_LENGTH 强制保持两个摄像机的焦距相同
- CV_CALIB_ZERO_TANGENT_DIST 切向畸变保持为零
- CV_CALIB_FIX_K1,...,CV_CALIB_FIX_K6 迭代过程中不改变相应的值。如果设置了 CV_CALIB_USE_INTRINSIC_GUESS 将会使用用户提供的初始值,否则设置为零
- CV_CALIB_RATIONAL_MODEL 畸变模型的选择,如果设置了该参数,将会使用更精确的畸变模型,distCoeffs的长度就会变成8
- CV_CALIB_FIX_INTRINSIC 如果该标志被设置,那么就会固定输入的cameraMatrix和distCoeffs不变,只求解
- 立体校正函数 stereoRectify()
stereoRectify() 的作用是为每个摄像头计算立体校正的映射矩阵。所以其运行结果并不是直接将图片进行立体矫正,而是得出进行立体矫正所需要的映射矩阵。
调用方法,
void stereoRectify(InputArray cameraMatrix1, InputArray distCoeffs1, InputArray cameraMatrix2,InputArray distCoeffs2, Size imageSize, InputArray R, InputArray T,OutputArray R1, OutputArray R2, OutputArray P1, OutputArray P2, OutputArray Q, int flags=CALIB_ZERO_DISPARITY, double alpha=-1, Size newImageSize=Size(), Rect* validPixROI1=0, Rect* validPixROI2=0 )
- cameraMatrix1-第一个摄像机的摄像机矩阵
- distCoeffs1-第一个摄像机的畸变向量
- cameraMatrix2-第二个摄像机的摄像机矩阵
- distCoeffs1-第二个摄像机的畸变向量
- imageSize-图像大小
- R- stereoCalibrate() 求得的R矩阵
- T- stereoCalibrate() 求得的T矩阵
- R1-输出矩阵,第一个摄像机的校正变换矩阵(旋转变换)
- R2-输出矩阵,第二个摄像机的校正变换矩阵(旋转矩阵)
- P1-输出矩阵,第一个摄像机在新坐标系下的投影矩阵
- P2-输出矩阵,第二个摄像机在想坐标系下的投影矩阵
- Q-4*4的深度差异映射矩阵
- flags-可选的标志有两种零或者 CV_CALIB_ZERO_DISPARITY ,如果设置 CV_CALIB_ZERO_DISPARITY 的话,该函数会让两幅校正后的图像的主点有相同的像素坐标。否则该函数会水平或垂直的移动图像,以使得其有用的范围最大
- alpha-拉伸参数。如果设置为负或忽略,将不进行拉伸。如果设置为0,那么校正后图像只有有效的部分会被显示(没有黑色的部分),如果设置为1,那么就会显示整个图像。设置为0~1之间的某个值,其效果也居于两者之间。
- newImageSize-校正后的图像分辨率,默认为原分辨率大小。
- validPixROI1-可选的输出参数,
Rect
型数据。其内部的所有像素都有效 - validPixROI2-可选的输出参数,
Rect
型数据。其内部的所有像素都有效
- 映射变换计算函数 initUndistortRectifyMap()
该函数功能是计算畸变矫正和立体校正的映射变换。
调用方法,
void initUndistortRectifyMap(InputArray cameraMatrix, InputArray distCoeffs, InputArray R,InputArray newCameraMatrix, Size size, int m1type, OutputArray map1, OutputArray map2)
- cameraMatrix-摄像机参数矩阵
- distCoeffs-畸变参数矩阵
- R- stereoCalibrate() 求得的R矩阵
- newCameraMatrix-矫正后的摄像机矩阵(可省略)
- Size-没有矫正图像的分辨率
- m1type-第一个输出映射的数据类型,可以为 CV_32FC1 或 CV_16SC2
- map1-输出的第一个映射变换
- map2-输出的第二个映射变换
- 几何变换函数 remap()
调用方法,
void remap(InputArray src, OutputArray dst, InputArray map1, InputArray map2, int interpolation,int borderMode=BORDER_CONSTANT, const Scalar& borderValue=Scalar())
- src-原图像
- dst-几何变换后的图像
- map1-第一个映射,无论是点(x,y)或者单纯x的值都需要是
CV_16SC2
,CV_32FC1
, 或CV_32FC2
类型 - map2-第二个映射,y需要是
CV_16UC1
,CV_32FC1
类型。或者当map1是点(x,y)时,map2为空。 - interpolation-插值方法,但是不支持最近邻插值
- 剩下两个我也没看懂,但是一般示例程序中不会设置
基于OpenCV的仿真
- 仿真程序
子函数calibrate()
和calcChessboardCorners()
分别是用来表达相机和计算objectPoints的。函数体如下,
1 static void calcChessboardCorners(Size boardSize, float squareSize, vector<Point3f>& corners) 2 { 3 corners.resize(0); 4 for (int i = 0; i < boardSize.height; i++) //height和width位置不能颠倒 5 for (int j = 0; j < boardSize.width; j++) 6 { 7 corners.push_back(Point3f(j*squareSize, i*squareSize, 0)); 8 } 9 }
- 仿真结果
双摄像头立体成像(三)-畸变矫正与立体校正相关推荐
- 双目摄像头立体成像(二)畸变矫正与立体校正
一.立体校正的原因 **原因一:**当畸变系数和内外参数矩阵标定完成后,就应该进行畸变矫正,以达到消除畸变的目的. **原因二:**在立体成像原理中提到,要通过两幅图像估计物点的深度信息,就必须在两幅 ...
- StereoRectify()函数定义及用法畸变矫正与立体校正
畸变矫正是上一篇博文的遗留问题,当畸变系数和内外参数矩阵标定完成后,就应该进行畸变的矫正,以达到消除畸变的目的,此其一. 在该系列第一部分的博文中介绍的立体成像原理中提到,要通过两幅图像估计物点的深度 ...
- 双摄像头立体成像(一)-成像原理
刚刚拿到毕设题目,基于双摄像头的3D-Reconstruction.毕竟是毕设,先不论难易与否,还是毕业最重要.所以数字图像处理的学习博客暂时告一段落,恰巧前些天由于身体原因好长时间没有更新,停了这么 ...
- 双眼可以测距和建立立体环境,双摄像头可以吗?
编辑丨3D视觉工坊 点击进入->3D视觉工坊学习交流群 观点一 作者|robot9野生程序猿 https://www.zhihu.com/question/23418797/answer/395 ...
- 手机双摄像头原理及产业解析----转载
这个文章写得很好,特此转载,并致谢! 原文见于: https://blog.csdn.net/piaoxuezhong/article/details/79053974#comments 前记:本篇是 ...
- Camera--(7)手机双摄像头原理及产业解析
本篇是对手机双摄原理及应用现状,未来布局的汇总. 为什么会出现双摄像头手机? 智能手机市场一直都是群雄争霸,竞争非常激烈.随着时代的发展,各大手机厂商的竞争焦点从以前的硬件军备竞赛逐渐延伸到影音娱乐领 ...
- 智能手机双摄像头产业链、工艺、及原理
智能手机双摄像头产业链.工艺.及原理 http://www.tbqw.com/art/116192.html 栏目:科技数码 发布时间:2017/03/16 来源:光电与显示 编辑:TPD ...
- camera (14)---智能手机双摄像头原理解析:RGB +Depth
智能手机双摄像头原理解析:RGB +Depth 智能手机摄像头中:普通彩色相机(RGB) + 深度相机(Depth)的技术原理. 首先来解释一下什么是深度相机吧. 深度相机 顾名思义,深度相机就是可以 ...
- 相机标定的来龙去脉(详解标定原理、畸变矫正原理、使用经验)
目录 1.相机标定的意义 2.坐标系的变换 2.1.小孔成像的原理 2.2.各个坐标系的定义 2.2.1.像素坐标系 2.2.2.图像坐标系 2.2.3.相机坐标系 2.3.相机的内参和外参 3.图像 ...
最新文章
- 怎么修改nginx的access.log的时间格式
- 【Java 网络编程】TCP 连接 断开 机制 ( 三次握手 | 四次挥手 )
- MyBatis-10MyBatis注解方式之Provider注解
- 【前端开发系列】—— 利用选择器添加内容
- 服务器应用服务为何卡顿?原来是内存耗尽惹的祸!
- 有驾照不等于会开车,教你开车技巧27招
- 什么不用 iframe 做微前端
- 自动化测试——unittest编写接口测试用例
- CSP202006-2 稀疏向量(100分)【map】
- (最简单的)在VS中调用存储过程
- python 实例对象 浅拷贝_Python 对象的深拷贝与浅拷贝 -- (转)
- JavaScript技巧总结和本地存储(一)
- 简单循迹小车实验心得_循迹小车实训报告
- 林记seo告诉你seo教程菜鸟seo一个月到底能赚多少钱
- HDU 2246 神题?一千多行
- 腾讯视频下载的qlv格式知否怎么转换成MP4
- Hyperledger Fabric 2.3环境配置搭建指南及BUG记录
- Culling技术的一些介绍
- 核酸检测软件开发方案(软件工程作业)
- 京东金融的贷款规模创新高