slam十四讲，第五讲中相机坐标系，像素平面坐标系，世界坐标系，归一化坐标系总结

#笔记，方便日后忘记回看，仅总结，具体推导回看十四讲
先上图：

如图，现实世界中有一个P点和一个相机（光心），描述这个P点的空间坐标首先得有一个坐标系，那么以光心为原点O建一个坐标系，叫相机坐标系。
那么就可以在相机坐标系下，设P坐标(x,y,z)和P的投影点P’(x’,y’,z’)。值得一提的是，P’(x’,y’,z’)坐落在物理成像平面和像素平面。
物理成像平面，像素平面是二维的，他们的坐标系并不一样：
物理成像平面在o’x’y’平面上；
像素平面的原点在那个黑灰色图的左上角(图片的左上角)，横轴向右称为u轴，纵轴向下称为v轴。
这样就得到了P’的像素坐标P(u,v)，称为Puv。

上面提到了相机坐标系，物理成像平面，像素平面，我都快绕蒙了（一会还有个P的世界坐标），那先讲讲他们的转换关系吧，这里只给出最终的转换公式，具体推导还是回去看十四讲吧…

其中的K是内参；R,t是外参；T可以看作是R,t的另一种表现形式（通过增加维度实现R,t整合得到的一个矩阵，目的是牺牲维度获取线性度，具体看slam十四讲的第三讲）

这样就得到了三个坐标的转换关系了，还没完，还有一个叫归一化坐标的坐标平面。在相机坐标系下，P有X, Y, Z 三个量，如果把它们投影到归一化平面 Z = 1 上，就会得到P的归一化坐标Pc(X/Z, Y/Z, 1)。
个人理解，看回去第一张图，假如把PP’连接得到一条直线，PP’与归一化平面的交点，就是我们的Pc。像素平面上的P’这个像素，其实就是PP’这条直线上所有物体的一个投影。

最后得出像素坐标与归一化坐标的转换关系：Puv = KPc

P 的归一化坐标Pc经过内参，就对应到它的像素坐标:Puv = KPc 。

至此，四个坐标系：P的相机坐标系，像素平面坐标系，世界坐标系，归一化坐标系，终于能够写完！

举个例子

已知点P的世界坐标系(Xw,Yw,Zw)，像素坐标（u,v）怎么求？
一般的做法是：
世界坐标Pw—>相机坐标Pc—>归一化平面坐标—>物理平面坐标—>像素平面坐标p（像素坐标用小p）
1.Pc = R * Pw + t
2.p = K * Pc
（一般计算不考虑归一化平面和物理平面坐标，因为已经融合到内参了）

下图详细解析这个过程：

内参K涉及相机标定
“两部分相乘得到内参”——实际上这两部分涉及归一化平面，物理平面的转换，下面来详解。

相机坐标系——>归一化平面

归一化平面与相机坐标只相差了一个Zc：

归一化平面——>物理平面

物理平面实际上在光心后面（Z轴的负半轴方向上），但实际中一般可以将其放到光心前面来考虑（Z轴的正半轴方向上）。

归一化平面与物理平面有什么不同呢？
首先，他们都是一个平面，且都是三维点投影过来成像。
唯一的不同是：归一化平面位于Z=1的位置；物理平面位于Z= f 的位置。
如图所示：

显而易见，他们仅仅相差一个倍数 f 。于是直接上相似三角形：

很显然，很直接的一个倍数关系而已，举个例子：
对于归一化平面上的坐标(x,y)、物理平面上的坐标(u,v)
u = f * x
v = f * y
写成矩阵形式：
[ u ]
[ v ] =
[ 1 ]

[ f 0 0 ] [ x ]
[ 0 f 0 ] [ y ]
[ 0 0 1] [ 1 ]

物理平面——>像素平面

这里提及一下物理平面与像素坐标的转换，十四讲中没有详细讲这个内容。
如图，Oo是像素平面坐标原点，O1是物理平面的坐标原点。

二者有一个很重要的区别：
像素平面的基本单位是像素
物理平面的基本单位是毫米(mm)

因此二者的转换需要解决两个点：
(1)基本单位的转换
(2)原点坐标的平移

转换其实也很简单。
其实就是要知道，像素平面上的一个像素，对应了实际物理尺寸（物理平面）的多少毫米。

物理尺寸，举个栗子：
dx=2mm/像素
dy=3mm/像素（dx，dy就是转换的度量）
对于物理平面上的某个点(X,Y)=(10mm , 33mm)

10mm / (2mm/像素) = 5像素
33mm / (3mm/像素) = 11像素
得：(u,v) = (5+u0 , 10+v0)

设物理平面上的点坐标为（X,Y）；像素平面上点的坐标是（u,v）
写成公式：

写成矩阵形式：

总结：

注：由于等式两边都是齐次坐标(齐次坐标乘以非零数含义不变)，1/Zc可以约去。因为最终都需要保持最后一维的数是1 。

做了缩放后的图像，相机内参如何随之变化：
https://blog.csdn.net/qq_42518956/article/details/108072343