SLAM学习 | 单目相机标定（附代码实测可用）

1 针孔相机模型
2 张正友标定法
3 VS2013下配置openCV
4 标定过程与结果
5 经验总结与注意事项

概要： 这篇文章介绍如何解决做SLAM过程中遇到的相机标定问题。关于针孔相机模型及其畸变的问题，高博在其《视觉SLAM十四讲》第五章中有详细的介绍。书中提到的相机内部参数包括内参矩阵和畸变系数，其中内参矩阵有4个待定参数，畸变分为径向畸变和切向畸变，径向畸变用k表示，一般用2-3个即可，切向畸变用p表示，一般用2个表示，相机标定的目的就是为了估计这些参数。本文使用张正友标定法进行相机标定，并进行相关实验。
关键字： 单目相机; 张正友标定法

1 针孔相机模型

针孔相机模型在《视觉SLAM十四讲》中有详细介绍，我在这里不打算再赘述，这里只介绍其中最关键的一张图：

图1 针孔相机模型

相机在成像过程中涉及四种坐标系，分别是：世界坐标系、相机坐标系、归一化成像平面坐标系和像素坐标系。这其中的相机坐标系和归一化成像平面坐标系的XYZ三轴方向已经在图1中给出，相机坐标系的三轴方向是：

X、Y、Z三轴分别指向相机右侧、下侧和沿着光轴指向正前方

尤其需要注意的是，ORB-SLAM2中的相机坐标也是按照图1给出的，相机校正过程中计算得到的内参矩阵也是在这一坐标系下得出的。

2 张正友标定法

在SLAM领域，绝大部分情况下都是用的张正友标定法来做相机标定。“张正友标定”是指张正友教授1998年提出的单平面棋盘格的摄像机标定方法。文中提出的方法介于传统标定法和自标定法之间，但克服了传统标定法需要的高精度标定物的缺点，而仅需使用一个打印出来的棋盘格就可以。同时也相对于自标定而言，提高了精度，便于操作。因此张氏标定法被广泛应用于计算机视觉方面。

文章引用如下：

Zhang Z. A flexible new technique for camera calibration[J]. IEEE Transactions on pattern analysis and machine intelligence, 2000, 22.

网上有很多实现张正友标定法的公开代码，这里选用其中用C++实现的一种，实测可以使用。记录如下：

#include "opencv2/core/core.hpp"
#include "opencv2/imgproc/imgproc.hpp"
#include "opencv2/calib3d/calib3d.hpp"
#include "opencv2/highgui/highgui.hpp"
#include <iostream>
#include <fstream>using namespace cv;
using namespace std;void main()
{ifstream fin("calibration_MI9_image.txt"); /* 标定所用图像文件的路径 */ofstream fout("calibration_MI9_result.txt");  /* 保存标定结果的文件 *///读取每一幅图像，从中提取出角点，然后对角点进行亚像素精确化 cout << "开始提取角点………………"<<endl;int image_count = 0;  /* 图像数量 */Size image_size;  /* 图像的尺寸 */Size board_size = Size(4, 6);    /* 标定板上每行、列的角点数 */     // 注意！这里得参数因图像而异vector<Point2f> image_points_buf;  /* 缓存每幅图像上检测到的角点 */vector<vector<Point2f>> image_points_seq; /* 保存检测到的所有角点 */string filename;//int count = -1;//用于存储角点个数。while (getline(fin, filename)){image_count++;// 用于观察检验输出cout << "image_count = " << image_count << ", and image_name = " << filename << endl;/* 输出检验*///cout << "-->count = " << count << endl;Mat imageInput = imread(filename);if (image_count == 1)  //读入第一张图片时获取图像宽高信息{image_size.width = imageInput.cols;image_size.height = imageInput.rows;cout << "image_size.width = " << image_size.width << endl;cout << "image_size.height = " << image_size.height << endl;}/* 提取角点 */if (0 == findChessboardCorners(imageInput, board_size, image_points_buf)){cout << "can not find chessboard corners!\n"; //找不到角点exit(1);}else{Mat view_gray;cvtColor(imageInput, view_gray, CV_RGB2GRAY);/* 亚像素精确化 */find4QuadCornerSubpix(view_gray, image_points_buf, Size(5, 5)); //对粗提取的角点进行精确化image_points_seq.push_back(image_points_buf);  //保存亚像素角点/* 在图像上显示角点位置 */drawChessboardCorners(view_gray, board_size, image_points_buf, true); //用于在图片中标记角点imshow("Camera Calibration", view_gray);//显示图片waitKey(500);//暂停0.5S  }}int total = image_points_seq.size();cout << "total = " << total << endl;int CornerNum = board_size.width*board_size.height;  //每张图片上总的角点数for (int ii = 0; ii<total; ii++){if (0 == ii%CornerNum)// 24 是每幅图片的角点个数。此判断语句是为了输出 图片号，便于控制台观看 {int i = -1;i = ii / CornerNum;int j = i + 1;cout << "--> 第 " << j << "图片的数据 --> : " << endl;}if (0 == ii % 3) // 此判断语句，格式化输出，便于控制台查看{cout << endl;}else{cout.width(10);}//输出所有的角点cout << " -->" << image_points_seq[ii][0].x;cout << " -->" << image_points_seq[ii][0].y;}cout << "角点提取完成！\n";//以下是摄像机标定cout << "开始标定………………";/*棋盘三维信息*/Size square_size = Size(10, 10);  /* 实际测量得到的标定板上每个棋盘格的大小 */vector<vector<Point3f>> object_points; /* 保存标定板上角点的三维坐标 *//*内外参数*/Mat cameraMatrix = Mat(3, 3, CV_32FC1, Scalar::all(0)); /* 摄像机内参数矩阵 */vector<int> point_counts;  // 每幅图像中角点的数量Mat distCoeffs = Mat(1, 5, CV_32FC1, Scalar::all(0)); /* 摄像机的5个畸变系数：k1,k2,p1,p2,k3 */vector<Mat> tvecsMat;  /* 每幅图像的旋转向量 */vector<Mat> rvecsMat; /* 每幅图像的平移向量 *//* 初始化标定板上角点的三维坐标 */int i, j, t;for (t = 0; t<image_count; t++){vector<Point3f> tempPointSet;for (i = 0; i<board_size.height; i++){for (j = 0; j<board_size.width; j++){Point3f realPoint;/* 假设标定板放在世界坐标系中z=0的平面上 */realPoint.x = i*square_size.width;realPoint.y = j*square_size.height;realPoint.z = 0;tempPointSet.push_back(realPoint);}}object_points.push_back(tempPointSet);}/* 初始化每幅图像中的角点数量，假定每幅图像中都可以看到完整的标定板 */for (i = 0; i<image_count; i++){point_counts.push_back(board_size.width*board_size.height);}/* 开始标定 */calibrateCamera(object_points, image_points_seq, image_size, cameraMatrix, distCoeffs, rvecsMat, tvecsMat, 0);cout << "标定完成！\n";//对标定结果进行评价cout << "开始评价标定结果………………\n";double total_err = 0.0; /* 所有图像的平均误差的总和 */double err = 0.0; /* 每幅图像的平均误差 */vector<Point2f> image_points2; /* 保存重新计算得到的投影点 */cout << "\t每幅图像的标定误差：\n";fout << "每幅图像的标定误差：\n";for (i = 0; i<image_count; i++){vector<Point3f> tempPointSet = object_points[i];/* 通过得到的摄像机内外参数，对空间的三维点进行重新投影计算，得到新的投影点 */projectPoints(tempPointSet, rvecsMat[i], tvecsMat[i], cameraMatrix, distCoeffs, image_points2);/* 计算新的投影点和旧的投影点之间的误差*/vector<Point2f> tempImagePoint = image_points_seq[i];Mat tempImagePointMat = Mat(1, tempImagePoint.size(), CV_32FC2);Mat image_points2Mat = Mat(1, image_points2.size(), CV_32FC2);for (int j = 0; j < tempImagePoint.size(); j++){image_points2Mat.at<Vec2f>(0, j) = Vec2f(image_points2[j].x, image_points2[j].y);tempImagePointMat.at<Vec2f>(0, j) = Vec2f(tempImagePoint[j].x, tempImagePoint[j].y);}err = norm(image_points2Mat, tempImagePointMat, NORM_L2);total_err += err /= point_counts[i];std::cout << "第" << i + 1 << "幅图像的平均误差：" << err << "像素" << endl;fout << "第" << i + 1 << "幅图像的平均误差：" << err << "像素" << endl;}std::cout << "总体平均误差：" << total_err / image_count << "像素" << endl;fout << "总体平均误差：" << total_err / image_count << "像素" << endl << endl;std::cout << "评价完成！" << endl;//保存定标结果   std::cout << "开始保存定标结果………………" << endl;Mat rotation_matrix = Mat(3, 3, CV_32FC1, Scalar::all(0)); /* 保存每幅图像的旋转矩阵 */fout << "相机内参数矩阵：" << endl;fout << cameraMatrix << endl << endl;fout << "畸变系数：\n";fout << distCoeffs << endl << endl << endl;for (int i = 0; i<image_count; i++){fout << "第" << i + 1 << "幅图像的旋转向量：" << endl;fout << tvecsMat[i] << endl;/* 将旋转向量转换为相对应的旋转矩阵 */Rodrigues(tvecsMat[i], rotation_matrix);fout << "第" << i + 1 << "幅图像的旋转矩阵：" << endl;fout << rotation_matrix << endl;fout << "第" << i + 1 << "幅图像的平移向量：" << endl;fout << rvecsMat[i] << endl << endl;}std::cout << "完成保存" << endl;fout << endl;return;
}

注意，上述代码中一般来说有3处需要根据自己的情况修改：

1-main函数开头的一句话：

ifstream fin("calibration_MI9_image.txt"); /* 标定所用图像文件的路径 */<font>

中的calibration_MI9_image.txt是将拍摄黑白格得到的图像名按行排列在一个txt文件中，该文件名以及文件的内容都需要根据自己的实际内容修改。

2-main函数开头的一句话：

ofstream fout("calibration_MI9_result.txt");  /* 保存标定结果的文件 */

中的calibration_MI9_result.txt是相机校正的结果所存放在的一个txt文件中，该文件名需要根据自己的实际内容修改，文件内容由代码产生，无需用户处理。

3-main函数开头的一句话：

Size board_size = Size(4, 6);    /* 标定板上每行、列的角点数 */     // 注意！这里得参数因图像而异

其中的4和6分别是打印的黑白格点图中横竖角点的数目。例如在图2中，横竖角点的数目分别是4和6（只有两块黑色方格对角分布构成的才算角点），因此图2中一共有24个角点：

图2 黑白格点图中的角点

3 VS2013下配置openCV

由于选用的相机标定代码是C++写的，因此选择在Windows系统下配置VS2013和openCV。关于Windows系统下配置VS2013和openCV的资料和博客网上非常多，就不再赘述了，这里就只记录几点我在配环境时踩过的坑。

1-在往系统中添加环境变量时记得把64位和32位的都添加进去；
2-在VS软件中需要配置的地方有：(1)属性-VC++目录-包含目录，(2)属性-VC++目录-库目录，(3)属性-链接器-输入-附加依赖项；
3-保险起见，在配置“属性-链接器-输入-附加依赖项”时，最好不要把debug版本的lib和release版本的lib同时添加进去，因为在大多数情况下我们只会用到debug版本。即使要添加，也应该将所有的debug版本的lib和release版本的lib分开写，千万不能一个XXX.lib，一个XXXd.lib交替着写（根据我的经验，交替写会报出莫名其妙的错误）；
4-VS的版本和openCV中cv文件夹的版本是这样对应的：VS2010—vc10，VS2012—vc11，VS2013—vc12，不同的VS版本应该选用不同的vc文件夹；
5-其他……想起来再说。

4 标定过程与结果

首先，从不同角度拍摄黑白格点图，并依次命名，如图3所示：

图3 从不同角度拍摄黑白格点图并依次命名

然后，将这些图片的名字集中到一个txt文件中，如图4所示：

图4 将这些图片的名字集中到一个txt文件中

最后，就可以运行代码了。效果如图5和图6所示：

图5 对某一张拍摄图像的标记图6 运行过程及结果命令行显示

最终得到的结果可以在同路径下对应txt文件中查看，如图7所示：

图7 运行结果的txt文件部分内容

从图7中可以看出，张正友标定法不仅可以得到相机的内参，包括内参矩阵和畸变系数，也就是图中红色方框标记出来的部分；还可以得到相机的外参，包括旋转矩阵和旋转向量，也就是图7中txt文件没有完全显示出来的下文。

最后，得到相机的内参后，将其带入SLAM的配置文件，就可以进行后续的工作了。

5 经验总结与注意事项

相机标定的过程虽然简单（事实上确实很简单，别人把代码都给出来了），但是我也是踩了不少坑（事实上我经常踩坑，就相机标定这个事儿也是别人5分钟我要弄上个两天才好）。因此在这里把遇到的一些坑和解决方案记录下来。

1-VS2013下配置openCV时，一定要注意在配置“属性-链接器-输入-附加依赖项”时，debug版本的lib和release版本的lib不能交叉添加；
2-黑白格数量不要太多，形成4*6个交叉点是比较合适的；
3-确保打印机墨盒存量足够，不要打出来的黑色格子不够黑；往板子上贴的之后要平整；
4-拍摄时务必注意不要在格纸上有反光；
5-拍摄角度要不同，但是也别过于倾斜，会造成算法识别不出来。

SLAM学习 | 单目相机标定（附代码实测可用）相关推荐

基于OpenCV的单目相机标定与三维定位
相机是产生图像数据的硬件,广泛应用于消费电子.汽车.安防等领域.围绕着相机衍生出一系列的研究与应用领域,包括传统的图像处理和基于深度学习的智能应用等.目前大火的自动驾驶中相机也是重要的硬件组成,如环视 ...
一文图解单目相机标定算法
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达有一天,蟹老板找底下的员工川建国同学: 等蟹老板走后,然后转头问旁边的学霸李雷同学: 李雷同学整理了下 ...
单目相机标定实现--张正友标定法
文章目录一:相机坐标系,像素平面坐标系,世界坐标系,归一化坐标系介绍 1:概述公式二:实现 1:整体流程 4:求出每张图像的单应性矩阵并用LMA优化 5:求解理想无畸变情况下的摄像机的内参数和外 ...
单目相机标定分辨率1920X1080 利用libuvc
单目相机标定分辨率1920X1080 利用libuvc libuvc 安装开始标定之前一直使用 usb_cam 但是默认分辨率是 640X480,调节到1920X1080后运行出错,干脆用lib ...
matlab单目相机标定
文章目录 1.标定图片 2.标定 3.获取标定结果使用matlab进行相机参数标定非常方便,相机畸变模型请参考另一篇文章相机内参与畸变模型,单目相机标定的结果就是得到相机内参与畸变系数. 1.标定图 ...
3.OpenCV可视化（Viz）——单目相机标定模拟
单目相机标定模拟基于OpenCV中的Viz模块,虚拟一个相机,设置相机的内参数.然后在相机视野下放置标定板,通过相机标定算法,最终再获取相机内参数. 当然最终相机标定还是存在误差,我猜测主要原因是标 ...
【计算机视觉】OpenCV实现单目相机标定
文章目录单目相机标定(基于Python OpenCV) 1.上期填坑 2.单目相机标定 2.1 数据采集 2.2 角点提取 2.3 参数求解 2.4 参数评估(重投影误差) 2.5 相机位姿(棋盘位 ...
matlab单目相机标定步骤,matlab相机标定
本文是一篇关于相机标定意义和原理的个人总结,包含了 OpenCV 和 Matlab 中常用的相机标定函数的注解. 相机标定是机器视觉的基础, 标定结果的好坏直接决定了机器...... 图片数量一定程 ...
单目相机标定（使用OpenCV）
关于相机标定的理论知识和使用Matlab软件进行相机标定请看这篇博文:单目相机标定(使用Matlab) 这次因为项目原因需要给海康工业相机进行标定了,下载Matlab软件有些麻烦(主要是我电脑内存小. ...

SLAM学习 | 单目相机标定（附代码实测可用）

SLAM学习 | 单目相机标定（附代码实测可用）

1 针孔相机模型

2 张正友标定法

3 VS2013下配置openCV

4 标定过程与结果

5 经验总结与注意事项

SLAM学习 | 单目相机标定（附代码实测可用）相关推荐

最新文章

热门文章