>>>文章索引<<<

相机标定（一）-原理及内参、外参
相机标定（二）-畸变校正，张正友标定法
相机标定（三）-相机成像模型

1 人眼&相机结构

1.1 类比

类比来说，相机就是计算机的“眼睛”：

1.2 成像

本质上来说，图像是真实世界场景中在二维平面（成像平面）的投影，它记录了两类信息：

几何信息：位置、点、线等；
光度信息：强度、色彩。

2 相机成像模型

小孔成像模型（Pinhole camera model）
正交投影（Orthographic projection）
缩放正交投影（Scaled orthographic projection）
透视投影（Perspective projection）

2.1 小孔成像模型（Pinhole camera model）

数学表示，具体也可参考博客：

一般来说，我们使用右手坐标系：

小孔成像模型实际上是透视投影（perspective projection）的一种最简单的形式。假设我们要将真实世界中的三维点(X,Y,Z)T(X,Y,Z)^T(X,Y,Z)T投影为二维图像上的点p=(x,y)Tp=(x,y)^Tp=(x,y)T，则有：

{XZ=xfYZ=yf⇒{x=fXZy=fYZ(1)\begin{cases} \frac{X}{Z}=\frac{x}{f} \\ \frac{Y}{Z}=\frac{y}{f} \end{cases} \Rightarrow \begin{cases} x=f\frac{X}{Z} \\ y=f\frac{Y}{Z} \end{cases} \tag{1} {ZX=fxZY=fy⇒{x=fZXy=fZY(1)

2.2 正交投影（Orthographic projection）

3D场景距离相机无限远；
所有投影线均平行于光轴。

则有x=X,y=Yx=X, y=Yx=X,y=Y。

2.3 缩放正交投影（Scaled orthographic projection）

场景深度<<到相机的距离；
场景中所有点的Z值均相同，如Z0Z_0Z0。

这种情况相当于对垂直于相机Z轴方向上的一个平面场景进行成像，则对于场景中所有的点有：x=sX,y=sY,s=fZ0x=sX, y=sY, s=\frac{f}{Z_0}x=sX,y=sY,s=Z0f。

2.4 透视投影（Perspective projection）

3 相机参数

对于小孔成像模型中，有：

{x=fXZy=fYZ(2)\begin{cases} x=f\frac{X}{Z} \\ y=f\frac{Y}{Z} \end{cases} \tag{2} {x=fZXy=fZY(2)

3.1 相机内参

上述为理想状态下的公式，下面来分析几种特殊情况。

3.1.1 像素不是正方形

当相机传感器（CCD）上的像素不是正方形时有：

{x=kfXZy=lfYZ(3)\begin{cases} x=kf\frac{X}{Z} \\ y=lf\frac{Y}{Z} \end{cases} \tag{3} {x=kfZXy=lfZY(3)

x，y：坐标（pixel）；
k，l：缩放因子（pixel/mm）
f：焦距（mm）

令上式中：fx=kf,fy=lff_x=kf, f_y=lffx=kf,fy=lf，则有：

{x=fxXZy=fyYZ(4)\begin{cases} x=f_x\frac{X}{Z} \\ y=f_y\frac{Y}{Z} \end{cases} \tag{4} {x=fxZXy=fyZY(4)

3.1.2 相机主点（principal point）不在原点

即光轴与CCD中心有偏移。假设主点在图像上的坐标（像素）为cx,cyc_x, c_ycx,cy，则有：

{x=fxXZ+cxy=fyYZ+cy(5)\begin{cases} x=f_x\frac{X}{Z}+c_x \\ y=f_y\frac{Y}{Z}+c_y \end{cases} \tag{5} {x=fxZX+cxy=fyZY+cy(5)

那么沿着相机的Z轴，有X=Y=0X=Y=0X=Y=0，x=cx,y=cyx=c_x, y=c_yx=cx,y=cy。

3.1.3 x轴与y轴不垂直

理想情况下，x轴与y轴是相互垂直的，但一般情况下，x轴和y轴的夹角并不是90度。假设x轴和y轴之间的夹角为θ\thetaθ，则有：

{x=fxXZ−fxcotθYZ+cxy=fysinθYZ+cy(6)\begin{cases} x=f_x\frac{X}{Z}-f_x cot\theta \frac{Y}{Z}+c_x \\ y=\frac{f_y}{sin\theta}\frac{Y}{Z}+c_y \end{cases} \tag{6} {x=fxZX−fxcotθZY+cxy=sinθfyZY+cy(6)

3.1.4 内参矩阵

组合所有参数，可以得到相机的内参矩阵KKK：

K=[fx−fxcotθcx0fysinθcy001]＝[fxscx0fycy001](7)K= \begin{bmatrix} f_x & -f_xcot\theta & c_x \\ 0 & \frac{f_y}{sin\theta} & c_y \\ 0 & 0 & 1 \end{bmatrix} ＝ \begin{bmatrix} f_x & s & c_x \\ 0 & f_y & c_y \\ 0 & 0 & 1 \end{bmatrix} \tag{7} K=⎣⎡fx00−fxcotθsinθfy0cxcy1⎦⎤＝⎣⎡fx00sfy0cxcy1⎦⎤(7)

3.2 相机外参

相机外参反映了相机在世界坐标空间中的位姿，可通过一个刚性变换来表示，通常包含平移TTT和旋转RRR。

平移矩阵：

T=[TXTYTZ](8)T= \begin{bmatrix} T_X \\ T_Y \\ T_Z \end{bmatrix} \tag{8} T=⎣⎡TXTYTZ⎦⎤(8)

旋转矩阵：

R=[r11r12r13r21r22r23r31r32r33](9)R= \begin{bmatrix} r_11 & r_12 & r_13 \\ r_21 & r_22 & r_23 \\ r_31 & r_32 & r_33 \end{bmatrix} \tag{9} R=⎣⎡r11r21r31r12r22r32r13r23r33⎦⎤(9)

旋转矩阵是正交的，所以有：RTR=IR^TR=IRTR=I。

4 畸变

畸变是光学透镜固有的透视失真特性，目前所有的镜头都存在畸变，只是程度不同。畸变又分为径向畸变和切向畸变，这里只以径向畸变为例。常见的径向畸变有桶形畸变、枕形畸变等：

径向畸变可以被建模为：

具体的畸变校正过程可以参考博客。

5 相机标定

相机标定的目的就是获取前文提到的相机内参、外参和畸变系数。通常，标定方法分为两步：（1）从不同角度捕获棋盘格图像；（2）检测角点并计算相机参数。

可使用OpenCV或其他相机标定程序来完成参数计算。

参考

[1] 一个pdf，下载地址找不到了=_=

相机标定（三）-相机成像模型相关推荐

相机标定：相机模型和畸变模型
一.相机标定方案相机内参标定是确定内参和畸变参数(equidistqant畸变模型)或者(radial tangential模型)的过程. 本文首先介绍SLAM中常用的相机模型和畸变模型,随后介绍我 ...
相机标定(三)——手眼标定
相机标定(一)--内参标定与程序实现相机标定(二)--图像坐标与世界坐标转换相机标定(三)--手眼标定一.简述手眼标定目的在于实现物体在世界坐标系和机器人坐标系中的变换. 在标定时,一般在工作 ...
相机标定篇——相机标定
认为相机标定是三维重建的核心,研究生期间主要方向为结构光三维重建必要的数学知识线性方程求解 Gauss消元法:LU分解:Cholesky分解最小二乘问题-线性方法特征值分解:奇异值分解:超定线 ...
相机标定(三) —— 畸变校正
一.前言根据针孔模型,物体和成像之间参数会满足相似三角形的关系.但现实中会存在装配误差和透视失真等原因,导致这种关系无法成立,使理想成像与实际成像存在误差,这种误差即称为畸变. 畸变分为径向畸变,切 ...
相机标定 - (01) - 相机标定简介
目录 1 相机标定简介 1.1 相机标定的作用 1.2 相机标定的分类 1 相机标定简介 1.1 相机标定的作用相机标定是利用二维平面信息及少量三维空间信息解析物点与对应像点几何关系的过程,在几何测 ...
【相机标定】相机内参
相机标定相机在计算机视觉方面的一些应用一般需要相机标定.我们总是听到标定这个词,那么具体标定的是什么呢?相机的拍摄是一个三维到二维(透视投影)的过程,这个过程可以用数学模型去表述,标定便是计算这个数 ...
深度学习相机标定_相机标定
术语内参矩阵: Intrinsic Matrix 焦距: Focal Length 主点: Principal Point 径向畸变: Radial Distortion 切向畸变: Tangent ...
imu相机标定_相机+imu标定
官方上是跑在ros indigo上的,但是实测用kinetic也没问题,主要就是装依赖的时候改下名字(下面命令行里有写注释) 1 工具箱 Kalibr 安装安装依赖 sudo apt-get ins ...
深入理解相机体系三相机应用层 APP
和你一起终身学习,这里是程序员Android 经典好文推荐,通过阅读本文,您将收获以下知识点: 一.概览二.Camera Api v2 三.Camera Framework 四.Camera App ...
计算机视觉----相机标定模型
简介提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一.相机标定简介二.张友正黑白棋盘标定 1.思想 2.原理 3.模型求解三.实验内容及过程 3.1 实验要求 ...

相机标定（三）-相机成像模型