5. 相机与模型

5.1 相机模型

理论参考博客:

1.《视觉SLAM十四讲》相机位姿与相机外参的区别与联系

2.《视觉SLAM十四讲》学习笔记：第5讲相机与图像

5.2 图像

理论参考博客:

1.视觉SLAM十四讲学习笔记-第五讲-图像和实践

5.3 实践

5.3.1 Open CV的基本使用方法

例程中演示了对图像读取,显示,像素遍历,复制,赋值等.

代码及注释如下:

#include <iostream>
#include <chrono>//时间相关的库using namespace std;#include <opencv2/core/core.hpp>
#include <opencv2/highgui/highgui.hpp>int main(int argc, char **argv) {// 读取argv[1]指定的图像cv::Mat image;image = cv::imread(argv[1]); //cv::imread函数读取指定路径下的图像// 判断图像文件是否正确读取if (image.data == nullptr) { //数据不存在,可能是文件不存在cerr << "文件" << argv[1] << "不存在." << endl;return 0;}// 文件顺利读取, 首先输出一些基本信息cout << "图像宽为" << image.cols << ",高为" << image.rows << ",通道数为" << image.channels() << endl;cv::imshow("image", image);      // 用cv::imshow显示图像cv::waitKey(0);                  // 暂停程序,等待一个按键输入// 判断image的类型if (image.type() != CV_8UC1 && image.type() != CV_8UC3) {//单通道灰度,三通道彩色// 图像类型不符合要求cout << "请输入一张彩色图或灰度图." << endl;return 0;}// 遍历图像, 请注意以下遍历方式亦可使用于随机像素访问// 使用 std::chrono 来给算法计时chrono::steady_clock::time_point t1 = chrono::steady_clock::now();for (size_t y = 0; y < image.rows; y++) {  //高对应行// 用cv::Mat::ptr获得图像的行指针unsigned char *row_ptr = image.ptr<unsigned char>(y);  // row_ptr是第y行的头指针for (size_t x = 0; x < image.cols; x++) {  //宽对应行// 访问位于 x,y 处的像素unsigned char *data_ptr = &row_ptr[x * image.channels()]; // data_ptr 指向待访问的像素数据// 输出该像素的每个通道,如果是灰度图就只有一个通道for (int c = 0; c != image.channels(); c++) {unsigned char data = data_ptr[c]; // data为I(x,y)第c个通道的值}}}chrono::steady_clock::time_point t2 = chrono::steady_clock::now();chrono::duration<double> time_used = chrono::duration_cast < chrono::duration < double >> (t2 - t1);cout << "遍历图像用时：" << time_used.count() << " 秒。" << endl;// 关于 cv::Mat 的拷贝// 直接赋值并不会拷贝数据cv::Mat image_another = image;// 修改 image_another 会导致 image 发生变化image_another(cv::Rect(0, 0, 100, 100)).setTo(0); // 将左上角100*100的块置零,左上角100*100变黑色cv::imshow("image", image);cv::waitKey(0);// 使用clone函数来拷贝数据cv::Mat image_clone = image.clone();image_clone(cv::Rect(0, 0, 100, 100)).setTo(255);//左上角100*100变白色cv::imshow("image", image);cv::imshow("image_clone", image_clone);cv::waitKey(0); // 暂停程序,等待一个按键输入// 对于图像还有很多基本的操作,如剪切,旋转,缩放等,限于篇幅就不一一介绍了,请参看OpenCV官方文档查询每个函数的调用方法.cv::destroyAllWindows();//关闭所有打开窗口return 0;
}

编译运行,执行如下代码,(PS:图片存储位置需要替换!)

./imageBasics/imageBasics /home/lmf37/桌面/slambook2/ch5/imageBasics/ubuntu.png

执行结果如下:
(除了可以看到一张图片,还输出了图片的宽度\高度信息)

5.3.2 图像去畸变

由透镜形状引起的畸变叫做径向畸变，包括桶形畸变和枕形畸变
图像中一条直线，往里弯是桶形，往外弯是枕形【但个人习惯感觉桶形畸变是鼓起来，枕形相反,可不过也不用纠结,桶和枕名字取得很形象,遇到看图就明白了☺】
组装过程导致的成像平面与透镜不平行，带来的是切向畸变

去畸变的思路是这样的：

创建一个和原来一样大的图片区域
遍历这个新图片的所有像素（u v）
通过畸变参数，计算(u,v)处畸变后的坐标
把原图上的畸变后的坐标处的像素值赋值给新图片（涉及到插值）
遍历完成后，新图片就是去畸变的了

编译之后直接运行就好，注意修改代码中的图片路径
（与上边的实验不同，这里使用的路径是在程序里写好的）

代码及注释如下:

#include <opencv2/opencv.hpp>
#include <string>using namespace std;string image_file = "/home/lmf37/桌面/slambook2/ch5/imageBasics/distorted.png";   // 请确保路径正确int main(int argc, char **argv) {// 本程序实现去畸变部分的代码。尽管我们可以调用OpenCV的去畸变，但自己实现一遍有助于理解。// 畸变参数double k1 = -0.28340811, k2 = 0.07395907, p1 = 0.00019359, p2 = 1.76187114e-05;// 内参double fx = 458.654, fy = 457.296, cx = 367.215, cy = 248.375;cv::Mat image = cv::imread(image_file, 0);   // 图像是灰度图，CV_8UC1int rows = image.rows, cols = image.cols;cv::Mat image_undistort = cv::Mat(rows, cols, CV_8UC1);   // 去畸变以后的图// 计算去畸变后图像的内容for (int v = 0; v < rows; v++) {for (int u = 0; u < cols; u++) {// 按照公式，计算点(u,v)对应到畸变图像中的坐标(u_distorted, v_distorted)double x = (u - cx) / fx, y = (v - cy) / fy;double r = sqrt(x * x + y * y);double x_distorted = x * (1 + k1 * r * r + k2 * r * r * r * r) + 2 * p1 * x * y + p2 * (r * r + 2 * x * x);double y_distorted = y * (1 + k1 * r * r + k2 * r * r * r * r) + p1 * (r * r + 2 * y * y) + 2 * p2 * x * y;double u_distorted = fx * x_distorted + cx;double v_distorted = fy * y_distorted + cy;// 赋值 (最近邻插值)if (u_distorted >= 0 && v_distorted >= 0 && u_distorted < cols && v_distorted < rows) {image_undistort.at<uchar>(v, u) = image.at<uchar>((int) v_distorted, (int) u_distorted);} else {image_undistort.at<uchar>(v, u) = 0;}}}// 画图去畸变后图像cv::imshow("distorted", image);cv::imshow("undistorted", image_undistort);cv::waitKey();return 0;
}

**但是!!!**,不幸的报错了☹,之前调试是通过的,不知道为什么又报错了,错误如下:

OpenCV Error: Assertion failed (size.width>0 && size.height>0) in imshow, file /home/lmf37/SLAM/opencv-3.4.0/modules/highgui/src/window.cpp, line 331
terminate called after throwing an instance of 'cv::Exception'what():  /home/lmf37/SLAM/opencv-3.4.0/modules/highgui/src/window.cpp:331: error: (-215) size.width>0 && size.height>0 in function imshow

检查了一下是上面路径写的不对(尴尬,自己强调的事情,转身又掉坑里,不熟练掌握~)

//错误
string image_file = "./home/lmf37/桌面/slambook2/ch5/imageBasics/distorted.png/distorted.png";
//正确
string image_file = "/home/lmf37/桌面/slambook2/ch5/imageBasics/distorted.png";

执行结果如下:

5.4 3D视觉

5.4.1 双目视觉

代码及注释如下:

#include <opencv2/opencv.hpp>
#include <vector>
#include <string>
#include <Eigen/Core>
#include <pangolin/pangolin.h>
#include <unistd.h>
//unistd.h为Linux/Unix系统中内置头文件，包含了许多系统服务的函数原型，例如read函数、write函数和getpid函数等。其作用相当于windows操作系统的"windows.h"，是操作系统为用户提供的统一API接口，方便调用系统提供的一些服务。
using namespace std;
using namespace Eigen;// 文件路径
string left_file = "/home/lmf37/桌面/slambook2/ch5/stereo/left.png";
string right_file = "../stereo/right.png";// 在pangolin中画图，已写好，无需调整,定义绘制点云的函数，需要传入4维向量构成的点云集
void showPointCloud(const vector<Vector4d, Eigen::aligned_allocator<Vector4d>> &pointcloud);int main(int argc, char **argv) {// 内参double fx = 718.856, fy = 718.856, cx = 607.1928, cy = 185.2157;// 基线 （就是两个相机光轴间的距离，单位是m）double b = 0.573;// 读取图像（以灰度图形式）cv::Mat left = cv::imread(left_file, 0);cv::Mat right = cv::imread(right_file, 0);cv::Ptr<cv::StereoSGBM> sgbm = cv::StereoSGBM::create(//SGBM是立体匹配算法中的半全局块匹配，得到的视差图相比于BM算法来说，减少了很多不准确的匹配点，尤其是在深度不连续区域，速度上SGBM要慢于BM算法；0, 96, 9, 8 * 9 * 9, 32 * 9 * 9, 1, 63, 10, 100, 32);    // 神奇的参数cv::Mat disparity_sgbm, disparity;sgbm->compute(left, right, disparity_sgbm);//由左右视图按照SGBM匹配方式计算得到视差图disparity_sgbm.convertTo(disparity, CV_32F, 1.0 / 16.0f);//将16位符号整形的视差Mat转换为32位浮点型Mat// 生成点云vector<Vector4d, Eigen::aligned_allocator<Vector4d>> pointcloud;  //定义4维形式的点云向量容器// 如果你的机器慢，请把后面的v++和u++改成v+=2, u+=2for (int v = 0; v < left.rows; v++)   //遍历左视图for (int u = 0; u < left.cols; u++) {if (disparity.at<float>(v, u) <= 0.0 || disparity.at<float>(v, u) >= 96.0) continue;Vector4d point(0, 0, 0, left.at<uchar>(v, u) / 255.0); // 前三维为xyz,第四维为颜色// 根据双目模型计算 point 的位置,计算的是左视图点的相机位置double x = (u - cx) / fx;          //该公式计算的是归一化在相机Zc=1平面的相机坐标double y = (v - cy) / fy;double depth = fx * b / (disparity.at<float>(v, u));//由视差，双目的基计算像素点对应的实际距离（深度信息）point[0] = x * depth;    //由深度信息获取真实相机坐标系下的Xcpoint[1] = y * depth;   //由深度信息获取真实相机坐标系下的Ycpoint[2] = depth;         //相机坐标系下的Zcpointcloud.push_back(point);   //获得的是相机坐标系下的点云位置}cv::imshow("disparity", disparity / 96.0);  //把视差值限定在0-96cv::waitKey(0);// 画出点云showPointCloud(pointcloud);return 0;
}void showPointCloud(const vector<Vector4d, Eigen::aligned_allocator<Vector4d>> &pointcloud) {if (pointcloud.empty()) {cerr << "Point cloud is empty!" << endl;  //确保点云容器非空return;}pangolin::CreateWindowAndBind("Point Cloud Viewer", 1024, 768);glEnable(GL_DEPTH_TEST);glEnable(GL_BLEND);glBlendFunc(GL_SRC_ALPHA, GL_ONE_MINUS_SRC_ALPHA);pangolin::OpenGlRenderState s_cam(pangolin::ProjectionMatrix(1024, 768, 500, 500, 512, 389, 0.1, 1000),  //相机参数pangolin::ModelViewLookAt(0, -0.1, -1.8, 0, 0, 0, 0.0, -1.0, 0.0)  //观测视角);pangolin::View &d_cam = pangolin::CreateDisplay().SetBounds(0.0, 1.0, pangolin::Attach::Pix(175), 1.0, -1024.0f / 768.0f).SetHandler(new pangolin::Handler3D(s_cam));while (pangolin::ShouldQuit() == false) {glClear(GL_COLOR_BUFFER_BIT | GL_DEPTH_BUFFER_BIT);d_cam.Activate(s_cam);glClearColor(1.0f, 1.0f, 1.0f, 1.0f);glPointSize(2);glBegin(GL_POINTS);for (auto &p: pointcloud) { //pointcloud容器中的每一个元素从前往后枚举出来，并用 p 来表示glColor3f(p[3], p[3], p[3]);       //点的颜色glVertex3d(p[0], p[1], p[2]);   //点的相机坐标}glEnd();pangolin::FinishFrame();usleep(5000);   // sleep 5 ms}return;
}

执行结果如下:

视觉SLAM十四讲学习笔记——ch5 相机与图像相关推荐

视觉SLAM十四讲学习笔记-第七讲-视觉里程计-三角测量和实践
专栏汇总视觉SLAM十四讲学习笔记-第一讲_goldqiu的博客-CSDN博客视觉SLAM十四讲学习笔记-第二讲-初识SLAM_goldqiu的博客-CSDN博客视觉SLAM十四讲学习笔记-第 ...
视觉SLAM十四讲学习笔记-第七讲-视觉里程计-对极几何和对极约束、本质矩阵、基础矩阵
专栏系列文章如下: 专栏汇总视觉SLAM十四讲学习笔记-第一讲_goldqiu的博客-CSDN博客视觉SLAM十四讲学习笔记-第二讲-初识SLAM_goldqiu的博客-CSDN博客视觉SLA ...
视觉SLAM十四讲学习笔记-第六讲学习笔记总结（1）---非线性优化原理
第六讲学习笔记如下: 视觉SLAM十四讲学习笔记-第六讲-非线性优化的状态估计问题_goldqiu的博客-CSDN博客视觉SLAM十四讲学习笔记-第六讲-非线性优化的非线性最小二乘问题_ ...
视觉SLAM十四讲学习笔记-第四讲---第五讲学习笔记总结---李群和李代数、相机
第四讲---第五讲学习笔记如下: 视觉SLAM十四讲学习笔记-第四讲-李群与李代数基础和定义.指数和对数映射_goldqiu的博客-CSDN博客视觉SLAM十四讲学习笔记-第四讲-李代数求导与扰动模 ...
视觉SLAM十四讲学习笔记---前三讲学习笔记总结之SLAM的作用、变换和位姿表示
经过半年学习SLAM相关知识,对SLAM系统有了一些新的认识,故回看以前的学习记录,做总结和校正. 前三讲学习笔记如下: 视觉SLAM十四讲学习笔记-第一讲_goldqiu的博客-CSDN博客视觉S ...
视觉SLAM十四讲学习笔记-第七讲-视觉里程计-特征点法和特征提取和匹配实践
专栏系列文章如下: 视觉SLAM十四讲学习笔记-第一讲_goldqiu的博客-CSDN博客视觉SLAM十四讲学习笔记-第二讲-初识SLAM_goldqiu的博客-CSDN博客视觉SLAM十四讲学习 ...
视觉SLAM十四讲学习笔记-第六讲-非线性优化的实践-高斯牛顿法和曲线拟合
专栏系列文章如下: 视觉SLAM十四讲学习笔记-第一讲_goldqiu的博客-CSDN博客视觉SLAM十四讲学习笔记-第二讲-初识SLAM_goldqiu的博客-CSDN博客视觉SLAM十四讲学习 ...
视觉SLAM十四讲学习笔记-第六讲-非线性优化的非线性最小二乘问题
专栏系列文章如下: 视觉SLAM十四讲学习笔记-第一讲_goldqiu的博客-CSDN博客视觉SLAM十四讲学习笔记-第二讲-初识SLAM_goldqiu的博客-CSDN博客视觉SLAM十四讲学习 ...
视觉SLAM十四讲学习笔记-第六讲-非线性优化的状态估计问题
专栏系列文章如下: 视觉SLAM十四讲学习笔记-第一讲_goldqiu的博客-CSDN博客视觉SLAM十四讲学习笔记-第二讲-初识SLAM_goldqiu的博客-CSDN博客视觉SLAM十四讲学习 ...
视觉SLAM十四讲学习笔记-第四讲-Sophus实践、相似变换群与李代数
专栏系列文章如下: 视觉SLAM十四讲学习笔记-第一讲_goldqiu的博客-CSDN博客视觉SLAM十四讲学习笔记-第二讲-初识SLAM_goldqiu的博客-CSDN博客视觉SLAM十四讲学习 ...

视觉SLAM十四讲学习笔记——ch5 相机与图像

文章目录

5. 相机与模型

5.1 相机模型

5.2 图像

5.3 实践

5.3.1 Open CV的基本使用方法

5.3.2 图像去畸变

5.4 3D视觉

5.4.1 双目视觉

视觉SLAM十四讲学习笔记——ch5 相机与图像相关推荐

最新文章

热门文章