点云，联合标定与信息融合

点云

点云是在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合，在获取物体表面每个采样点的空间坐标后，得到的是点的集合。
参考资料：
https://blog.csdn.net/hongju_tang/article/details/85008888
https://zhuanlan.zhihu.com/p/22581673
https://baike.baidu.com/item/%E7%82%B9%E4%BA%91/10823598?fr=aladdin

联合标定与信息融合

视觉激光雷达信息融合与联合标定
激光雷达点云相机图像信息融合联合标定

联合标定

标定，主要是指使用标准的计量仪器对所使用仪器的准确度（精度）进行检测是否符合标准，一般大多用于精密度较高的仪器。标定也可以认为是校准。

在图像测量过程以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是相机参数。在大多数条件下这些参数必须通过实验与计算才能得到，这个求解参数的过程就称之为相机标定（或摄像机标定）。无论是在图像测量或者机器视觉应用中，相机参数的标定都是非常关键的环节，其标定结果的精度及算法的稳定性直接影响相机工作产生结果的准确性。因此，做好相机标定是做好后续工作的前提，提高标定精度是科研工作的重点所在。
相机标定

联合标定的作用就是建立点云的point和图像pixel之间的对应关系，在数学上可建模为两坐标系变换的标定问题。

在多传感器探测系统中，要有一个统一的坐标系，因此在使用雷达和摄像头进行传感器融合前必须对两种传感器进行联合空间标定，以确保两种传感器获得的数据有一个统一的参照标准，并能互相转化。

摄像机模型

《二维和三维视觉传感集成系统联合标定方法》
世界坐标系中的坐标值 P w ( x w , y w , z w ) P_{w}(x_{w},y_{w},z_{w}) Pw(xw,yw,zw)与摄像机坐标系中的坐标值 P c ( x c , y c , z c ) P_{c}(x_{c},y_{c},z_{c}) Pc(xc,yc,zc)的换算关系为：
( x c y c z c ) = R [ x w y w z w ] + t = [ r 1 r 2 r 3 r 4 r 5 r 6 r 7 r 8 r 9 ] [ x w y w z w ] + [ t x t y t z ] \left ( \begin{matrix}x_{c} \\ y_{c}\\ z_{c}\end{matrix} \right ) = R\begin{bmatrix}x_{w}\\ y_{w}\\ z_{w}\end{bmatrix}+t=\begin{bmatrix} r_{1} & r_{2} & r_{3}\\ r_{4} & r_{5} & r_{6}\\ r_{7} & r_{8} & r_{9} \end{bmatrix}\begin{bmatrix}x_{w}\\ y_{w}\\ z_{w}\end{bmatrix}+\begin{bmatrix}t_{x}\\ t_{y}\\ t_{z}\end{bmatrix} ⎝⎛xcyczc⎠⎞=R⎣⎡xwywzw⎦⎤+t=⎣⎡r1r4r7r2r5r8r3r6r9⎦⎤⎣⎡xwywzw⎦⎤+⎣⎡txtytz⎦⎤,
其中旋转矩阵 R R R和平移向量 t t t是摄像机外参数。
摄像机坐标系在小孔模型中进行规范化投影到图像上点 m ( u , v ) m(u,v) m(u,v)为：
μ [ u v 1 ] = K [ x c y c z c ] \mu\begin{bmatrix}u\\ v\\ 1\end{bmatrix}=K\begin{bmatrix}x_{c} \\ y_{c}\\ z_{c}\end{bmatrix} μ⎣⎡uv1⎦⎤=K⎣⎡xcyczc⎦⎤,
其中 K K K是摄像机内参数矩阵， μ \mu μ为无量纲数。
再引入透镜的畸变，实现理想坐标系与实际图像坐标系的转换：
u ~ = u + ( k 1 r 2 + k 2 r 4 ) u \widetilde{u}=u+(k_{1}r^{2}+k_{2}r^{4})u u =u+(k1r2+k2r4)u
v ~ = v + ( k 1 r 2 + k 2 r 4 ) v \widetilde{v}=v+(k_{1}r^{2}+k_{2}r^{4})v v =v+(k1r2+k2r4)v
其中 r 2 = u 2 + v 2 r^{2}=u^{2}+v^{2} r2=u2+v2， k 1 、 k 2 k_{1}、k_{2} k1、k2是径向畸变系数。

激光雷达模型

O L O 1 O_{L}O_{1} OLO1间距离就相当于激光雷达摄像头的长度，这个图有点抽象，得想蛮久才能看懂。

参考资料：
相机的内外参数
相机内参数是与相机自身特性相关的参数，比如相机的焦距、像素大小等。
相机外参数是在世界坐标系中的参数，比如相机的位置、旋转方向等。
1.外参数矩阵。告诉你现实世界点(世界坐标)是怎样经过旋转和平移，然后落到另一个现实世界点(摄像机坐标)上。
2.内参数矩阵。告诉你上述那个点在1的基础上，是如何继续经过摄像机的镜头、并通过针孔成像和电子转化而成为像素点的。
3.畸变矩阵。告诉你为什么上面那个像素点并没有落在理论计算该落在的位置上，还产生了一定的偏移和变形。

信息融合

在复杂位置环境中，采用单传感器难以对环境进行适应，因而需将多种传感器得到的信息融合。二维视觉传感器能获得色彩纹理等丰富场景信息，三维激光传感器可获得深度信息。激光雷达与摄像头的优劣。激光雷达的深度信息和摄像机的RGB亮度信息具有很强的互补性，对二者进行信息融合，建立数据间的映射，构建具有真实感的三维场景是很实用的。