本发明涉及车辆、系统定位技术领域。

背景技术：

在基于车载的辅助系统中，为了对鱼眼图像的畸变进行校正，使其符合人眼的观测习惯，还原真实的场景信息，需要获取相机的参数和不同相机之间的位置关系，这一过程被称为多相机的联合标定。

在计算机视觉领域中，相机标定是进行位姿估计、三维重建、视觉导航与定位等研究的关键技术之一。针对不同的应用会对相机采用不同的布设方式，从而采用不同的相机标定方法。相机标定主要分为内参标定和外参标定两部分。针对相机外参数的标定，国内外学者根据不同的应用场景和思路对其进行了广泛研究，获得了一系列的研究成果。

(1)一种利用多个小标定板的多相机外参数标定方法：首先，利用张正友法标定各相机内参数；然后，利用全站仪测得小标定板的相对位置关系，将小标定板统一到同一坐标系下，整合为一个大标定板，分别计算各相机相对整合后标定板的位姿关系；最后统一坐标系得到多相机之间的外参数。该方法过程复杂需要依靠全站仪等专业工具，操作复杂。

(2)一种多相机视觉测量系统的全局标定方法：提出了一种基于双平面靶标的多相机全局标定方法，要求两靶标之间为刚性联接，绕同一根轴旋转，但它们之间的相对位姿关系可以是未知的。该方法不仅适用于立体视觉测量系统，也适用于基于单目视觉的多相机测量系统。该方法默认两靶标刚性连接，实际工程应用中难以实现，误差较大。

(3)基于圆点阵列的多相机外部参数标定：提出了一种基于圆点内具有数字标记的全局标定方法。其关键步骤包括：首先在标定板的某些圆内用数字做标记，并记下带有标记的圆点的物理坐标，然后通过模板匹配的方法快速找到标记有特殊数字的圆点，通过2d仿射变换将图像坐标转换成工作台物理坐标。该方法需要提前对标定板进行标记，而且易受到环境影响，精度较低。

多相机在360度全景视图中有丰富的应用，特别是在自动泊车中具有重要应用。然而多相机的安装位置和相对姿态对后端的图像拼接和姿态解算有重大影响，对系统的精度起到决定作用。

技术实现要素：

本发明的目的在于提供一种基于imu辅助的360度全景视图多相机标定方法。

为了达到上述目的，本发明的基础方案提供一种基于imu辅助的360度全景视图多相机标定方法，包括如下步骤，

步骤1，对相机和imu进行固联，组成imu辅助的360度全景视图系统；

步骤2，将imu辅助的360度全景视图系统与小车组建成实验平台；

步骤3，对imu和相机安装的相对位置关系进行标定,分为如下步骤进行：

第一步，启动系统；

第二步，通过相机获得图像数据，从而计算当前姿态信息；

第三步，在第二步同时，获取imu的数据，从而计算当前姿态信息；

第四步，将imu和相机两两进行姿态融合，得到相对姿态；

第五步，根据两两之间的相对姿态关系，得到相机和相机之间的相对姿态关系；

步骤4，完成对imu和相机安装的相对位置关系的标定。

进一步，当相机数量为单个相机时，标定方法设计步骤如下：

(1)由于单目相机可以跟踪系统的位姿，所以通过对极几何约束和随机采样一致性检测两帧图像之间的相对旋转

(2)对imu陀螺仪测量的角速度进行积分，得到imu坐标系下的相对旋转

(3)根据步骤(1)和步骤(2)，可以得到:

将式(5)用四元数表示:

权值可由下式得到:

进一步，当相机数量为三个时，多相机融合的标定方法设计步骤如下：

(1)根据惯导和单个相机的标定结果，分别进行三次，得到惯导和每个相机的两两安装关系tcnb，其中n取1、2、3，表示的是单个相机；

(2)根据公式1的两两关系，可以得到相机之间的安装关系，具体计算公式如下所示：

由(6)和(7)两个式子可得到如下(9)和(10)两个式子：

由于相机和惯导的相对姿态矩阵都可以由第一步计算出来，因此可以得到相机1和相机2之间的安装关系，同理可得到相机2和相机3之间的安装关系。

本发明的优点如下：

(1)本发明利用惯导进行姿态解算和杆臂误差的标定，得到两两相机之间的姿态关系和安装关系，从而完成整个系统的标定工作。

(2)系统将惯导和相机进行固联(固定了解即可，不需要考虑两者之间的安装关系和姿态关系)，操作方便，能够有效完成两者之间的标定工作，具有重要的工业前景和指导意义。

(3)该技术具有自成体系，抗干扰强，标定精度高等优点，在智能驾驶、自动泊车等领域都有很重要的应用价值。

附图说明

图1为本发明一种基于imu辅助的360度全景视图多相机标定方法的标定方法流程图。

具体实施方式

下面通过具体实施方式进一步详细的说明：

实施例一：

如图1所示，一种基于imu辅助的360度全景视图多相机标定方法，包括如下步骤，

包括如下步骤，

步骤1，对相机和imu进行固联，组成imu辅助的360度全景视图系统；由于相机和imu在载体运动中，容易产生松动，连接不稳定等问题，首先需要对相机和imu进行固联，保证两者之间的安装关系不会发生变化，然后在对imu和相机安装的相对位置关系进行标定，为后端导航提高有效的位置关系，相机为单目相机。

步骤2，将imu辅助的360度全景视图系统与小车组建成实验平台；

步骤3，对imu和相机安装的相对位置关系进行标定,分为如下步骤进行：

第一步，启动系统；

第二步，通过相机获得图像数据，从而计算当前姿态信息；

第三步，在第二步同时，获取imu的数据，从而计算当前姿态信息；具体如下：

对单目相机-imu外参自动标定的初始化算法进行详细的阐述，本方法可以在不知道传感器机械结构信息的情况下，标定单目相机-imu外参tcb。

因为单目相机可以跟踪系统的位姿，通过对极几何约束和随机采样一致性(randomsampleconsensus，ransac)检测两帧图像之间的相对旋转另外，可以对imu陀螺仪测量的角速度进行积分，得到imu坐标系下的相对旋转

通过图像姿态解算获得的姿态结果，imu同时获得姿态信息。多相机融合的标定方法设计步骤如下：

(1)根据惯导和单个相机的标定结果，分别进行三次，得到惯导和每个相机的两两安装关系其中n取1、2、3，表示的是单个相机。

(2)根据公式1的两两关系，可以得到相机之间的安装关系，具体计算公式如下所示：

其中两帧图像之间的相对旋转表示的是惯导的旋转矩阵，n取1、2、3分别表示的是每一个相机的旋转矩阵，rnbc，分别表示的是单个相机和imu的相对矩阵。由(6)和(7)两个式子可得到如下(9)和(10)两个式子：

第四步，将imu和相机两两进行姿态融合，得到相对姿态；

第五步，根据两两之间的相对姿态关系，得到相机和相机之间的相对姿态关系；由于相机和惯导的相对姿态矩阵都可以由第一步计算出来，因此可以得到相机1和相机2之间的安装关系。同理可得到相机2和相机3之间的安装关系。

步骤4，完成对imu和相机安装的相对位置关系的标定。

实施例二与实施例一的区别仅在于：本实施例为单相机定位方法，第三步，在第二步同时，获取imu的数据，从而计算当前姿态信息；具体如下：

对单目相机-imu外参自动标定的初始化算法进行详细的阐述，本方法可以在不知道传感器机械结构信息的情况下，标定单目相机-imu外参tcb。

因为单目相机可以跟踪系统的位姿，通过对极几何约束和随机采样一致性(randomsampleconsensus，ransac)检测两帧图像之间的相对旋转另外，可以对imu陀螺仪测量的角速度进行积分，得到imu坐标系下的相对旋转根据标定方法，可以得到:

将式(5)用四元数表示:

式中:[.]l和[.]r表示四元数的左乘矩阵和右乘矩阵变换。对于时间上连续的图像帧，可以建立线性超定方程:

式中:n表示外参旋转矩阵qbc收敛时，所使用的图像帧数量；αn-1,n为处理外点对系统干扰的权值。因为外参旋转矩阵估计值rbc可以迭代计算，使用其计算残差:

权值可由下式得到:

式中:t0为设定的阈值。式(3)的解为qn最小奇异值对应的特征向量。当外参旋转矩阵标定被充分激励时，qn的零空间会成为一维。本文使用qn的次小奇异值σ2来判断算法的收敛性。当σ2大于阈值σthr时，外参旋转矩阵标定完成，得到相对旋转矩阵。

以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。