针孔相机模型和相机镜头畸变模型

一、针孔相机模型

图1. 针孔相机模型

针孔相机模型(如图1所示)存在四个坐标系：世界坐标系、摄像机坐标系、图像物理坐标系和图像像素坐标系。假设现实世界的空间点的世界坐标系的坐标为Pw(Xw,Yw,Zw)，对应的摄像机坐标系坐标为Pc(Xc,Yc,Zc)，对应的图像物理坐标系的坐标为P’(X’,Y’)，对应的图像像素坐标系的坐标为p(u,v)。f为焦距（物理成像平面到光心O的距离）。

1. 世界坐标系到摄像机坐标系：这两个坐标系之间除了旋转矩阵R，还存在平移矩阵t。其关系可表示为：

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　                                                                  （1）

2. 摄像机坐标系到图像物理坐标系：相似三角形（如图2所示）。其关系可表示为：

图2. 相似三角形

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　                                                   　                                                         （2）

变形为：

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　                                                          （3）

3. 图像物理坐标系到图像像素坐标系。如图3所示，其关系可表示为：

图3. 图像物理坐标系和图像像素坐标系

　　　　　　                                                                                     （4）

变形为：

                                                                   （5）

其中d_x表示每个像素沿着x轴的实际物理尺寸；d_y表示每个像素沿着y轴的实际物理尺寸。(u_o,v_o)表示光心对应到图像像素坐标系的坐标。

由公式(3)和(5)得到摄像机坐标系到图像像素坐标系的关系：

　　　　　　　　　　　　　　　　　　　　　　　　　　                                               （6）

由公式(1)和(6)得到世界坐标系到图像像素坐标系的关系：

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　                                                                          （7）

其中K表示相机的内参矩阵，fx, fy, uo and vo 表示相机的内参。R和t表示相机的外参。

二、相机镜头畸变模型

摄像机成像过程中存在两种不同类型的畸变。一种是由透镜的形状引起的畸变称为径向畸变。另一种是相机组装过程中透镜和成像面不能严格平行引起的畸变称为切向畸变。

径向畸变：

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　                                                                                  （8）

切向畸变：

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　                                                                                 （9）

综合以上两种畸变，得到相机的畸变模型（去畸变后的图像像素坐标系的坐标）：

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　                                                           （10）

后续可能更改和补充。

参考文献：《视觉SLAM十四讲 从理论到实践》——高翔著。