Pinhole Camera Model

如上图所示, 现实世界中的3D object成像在相机的成像平面image plane中, 由针孔成像的对称性, 可以画出image plane的对称虚平面virtual image plane
为了简化, 下面都使用 virtual image plane代替 image plane, 毕竟这个平面内部的像素坐标值在两个平面都是一样的;
接下来就是初中几何相似性的原理:

数学表达

如上图所示, 现实世界坐标P(X,Y,Z), 映射到成像平面中作为为p(x,y), f为焦距focal length, O为相机光心;
由三角形相似性可知:

$$
\frac{X}{Z}=\frac{x}{f}
\quad \frac{Y}{Z}=\frac{y}{f}
$$

从而有:

$$
x = f \frac{X}{Z} \\
y = f \frac{Y}{Z}
$$

进一步修正

上面推导假设相机像素在x轴和y轴上像素点大小一样的(即正方形), 但实际中这两个值往往并不相同, 这样计算得到的坐标(x,y)要重写为如下公式:

$$
x = kf \frac{X}{Z} = f_x \frac{X}{Z} \\
y = lf \frac{Y}{Z} = f_y \frac{Y}{Z}
$$

再进一步修正

上面公式还假设了相机光心(即上图c点)是100%在光轴optical axis OZ线上, 但实际上由于制造工艺限制, 往往会存在一些误差, 在x轴和y轴上分别为 cx, cy, 体现在公式就需要对坐标(x,y)再做一些平移修正, 如下公式;
fx,fy,cx,cyfx,fy,cx,cy这四个参数定义为相机的内参矩阵CC，也就是相机做好之后就不会变的参数;

$$
x = kf \frac{X}{Z} + c_x = f_x \frac{X}{Z} + c_x \\
y = lf \frac{Y}{Z} + c_y = f_y \frac{Y}{Z} + c_y
$$

继续前进

一般情况下, 变量命名通常把真实世界的坐标记为(x,y,z) ,对应上文中的(X,Y,Z), 而把成像平面上的坐标记为(u,v), 对应上文中的(x,y), 根据新的变量名, 可以改写公式;
此外, 一般深度相机获取到的数据保存时, 保存的距离坐标d其实都是真实距离乘以一个缩放因子s后再保存的, s大概是1000 . 因此在把z代入公式进行时, 要先得到z的真实的未缩放值: z=d/s;
根据上述1,2, 新的公式如下:

$$
u = f_x \frac{x}{z} + c_x \\
v = f_y \frac{y}{z} + c_y
z = \frac{d}{s}
$$

但往往实际情况是相机测量后的(u,v,d)坐标已知, 需要反推出真实世界坐标(x, y, z), 因此上述公式变形为用(u,v,d)表示(x,y,z):

$$
z = d s \\
x = \frac{(u-c_x)z}{f_x} \\
y = \frac{(v-c_y)z}{f_y} \\
$$

写成矩阵形式

$$
s \cdot \left[ \begin{array}{l}{u} \\ {v} \\ {1}\end{array}\right]=C \cdot\left(R \cdot \left[ \begin{array}{l}{x} \\ {y} \\ {z}\end{array}\right]+t\right)
$$

其中，R和t是相机的姿态。R代表旋转矩阵，t代表位移矢量。

使用PCL把点云画出来

备注: 代码copy了高博的PCL点云代码, 其中的数据data部分, 可以从高博的github地址下载:

https://github.com/gaoxiang12/rgbd-slam-tutorial-gx/tree/master/part%20II/data

// C++ 标准库
#include <iostream>
#include <string>
using namespace std;// OpenCV 库
#include <opencv2/core/core.hpp>
#include <opencv2/highgui/highgui.hpp>// PCL 库
#include <pcl/io/pcd_io.h>
#include <pcl/point_types.h>// 定义点云类型
typedef pcl::PointXYZRGBA PointT;
typedef pcl::PointCloud<PointT> PointCloud; // 相机内参
const double camera_factor = 1000;
const double camera_cx = 325.5;
const double camera_cy = 253.5;
const double camera_fx = 518.0;
const double camera_fy = 519.0;// 主函数
int main( int argc, char** argv )
{// 读取./data/rgb.png和./data/depth.png，并转化为点云// 图像矩阵cv::Mat rgb, depth;// 使用cv::imread()来读取图像// API: http://docs.opencv.org/modules/highgui/doc/reading_and_writing_images_and_video.html?highlight=imread#cv2.imreadrgb = cv::imread( "./data/rgb.png" );// rgb 图像是8UC3的彩色图像// depth 是16UC1的单通道图像，注意flags设置-1,表示读取原始数据不做任何修改depth = cv::imread( "./data/depth.png", -1 );// 点云变量// 使用智能指针，创建一个空点云。这种指针用完会自动释放。PointCloud::Ptr cloud ( new PointCloud );// 遍历深度图for (int m = 0; m < depth.rows; m++)for (int n=0; n < depth.cols; n++){// 获取深度图中(m,n)处的值ushort d = depth.ptr<ushort>(m)[n];// d 可能没有值，若如此，跳过此点if (d == 0)continue;// d 存在值，则向点云增加一个点PointT p;// 计算这个点的空间坐标p.z = double(d) / camera_factor;p.x = (n - camera_cx) * p.z / camera_fx;p.y = (m - camera_cy) * p.z / camera_fy;// 从rgb图像中获取它的颜色// rgb是三通道的BGR格式图，所以按下面的顺序获取颜色p.b = rgb.ptr<uchar>(m)[n*3];p.g = rgb.ptr<uchar>(m)[n*3+1];p.r = rgb.ptr<uchar>(m)[n*3+2];// 把p加入到点云中cloud->points.push_back( p );}// 设置并保存点云cloud->height = 1;cloud->width = cloud->points.size();cout<<"point cloud size = "<<cloud->points.size()<<endl;cloud->is_dense = false;pcl::io::savePCDFile( "./pointcloud.pcd", *cloud );// 清除数据并退出cloud->points.clear();cout<<"Point cloud saved."<<endl;return 0;
}

SLAM入门-相机成像原理与公式推导相关推荐

计算机视觉：相机成像原理：世界坐标系、相机坐标系、图像坐标系、像素坐标系之间的转换(转载)
版权声明:本文为博主原创文章,未经博主允许不得转载. https://blog.csdn.net/chentravelling/article/details/53558096 0.前言最近整理了& ...
【自动驾驶】16.计算机视觉：相机成像原理：世界坐标系、相机坐标系、图像坐标系、像素坐标系之间的转换
本篇博客为转载,我对其中的细节添加了一些说明. 原文链接:https://blog.csdn.net/chentravelling/article/details/53558096 0.前言最近整理 ...
【图像处理】相机成像原理
这里对于相机成像原理做一个简单的介绍. 如下图所示,在最左端的顶点为相机,它的镜头正对着地面上的点O,横向视场角为a,纵向视场角为θ,它所看到的区域就是就是如下所示的四边形,存在一定的投影变换. 而地 ...
ORB-SLAM2从理论到代码实现（四）：相机成像原理、基本矩阵、本质矩阵、单应矩阵、三角测量详解
由于ORBmatcher.cc中有三角化和重投影等内容,所有我先写相机成像等多视图几何内容. 1. 相机的成像原理假设空间中有一点P,它在世界坐标系中的坐标为,在相机坐标系中的坐标为,在图片中的像素 ...
相机成像原理_【亲子科学小实验】相机原理和小孔成像的秘密
大家出去旅游的时候,都会带着照相机,拍下美景的同时,也给我们留下了永恒的回忆.但是,大家知不知道记录美好瞬间的照相机是如何工作成像的呢?下面就和小编一起来探究成像原理吧. 相机原理和小孔成像材料放 ...
相机成像原理_数码相机的工作原理
数码相机也被称为数字相机.数码相机可以说是更广义的电子影像处理技术中的一类,其光学成像系统和常规的照相机并无差别,然而影像记录的方式却完全不同.常规相机使用的是化学光感材料,而数码相机使用的是一组光电 ...
相机成像原理_【科研进展】动态虚拟相机：探索三维视觉成像新方法
由于微信公众号试行乱序推送,您可能没办法准时收到"爱光学"的文章.为了让您第一时间看到"爱光学"的新鲜推送, 请您: 1. 将"爱光学"点亮 ...
相机成像原理_照相机、摄影机的成像原理
电影让不同时空下的你我相遇写在开头后面将要学习的焦距.景深以及镜头的运动相比影像中的画框.构图.景别.角度这几个概念理解起来更有难度,为了更好地理解它们的含义,也为了"知其然,知其所以然 ...
【camera】2.相机成像原理和数学模型
相机模型中的坐标系: Ow-xyx:世界坐标系,物体位置,单位:m Oc-xyz:相机坐标系,光心为原点,单位:m Oi-xy:图像坐标系,光心为图像中心,单位:mm Op-xy:像素坐标系,原点为图 ...
视觉SLAM学习--相机成像模型及标定
相机模型1:B站热心网友的视频讲解,比较清楚链接:https://www.bilibili.com/video/BV1Rh411o7Jb/?spm_id_from=333.788.recommend ...

SLAM入门-相机成像原理与公式推导