mediarecorder添加时间戳_[Paper] 自动驾驶中相机和激光雷达的时间戳误差标定

今天介绍一篇2017年发表在IROS的论文 A low-cost system for high-rate, high-accuracy temporal calibration for LIDARs and cameras 。

为什么需要时间戳标定?

不同传感器之间的数据同步对融合算法至关重要，以著名的VINS系列文章中对IMU与摄像头的时间戳误差标定为例。

系统对两个传感器进行采样，获得相应的数据（图像、IMU数据）与对应的采样时间戳。通常，我们假设获得的采样时间戳即为传感器采样时刻对应的时间，比如相机曝光时刻（通常曝光持续几毫秒到几十毫秒，认为曝光时刻为曝光持续的中间时刻），然而，系统存在的触发延时、传输延时和没有准确同步时钟等问题，使得相机和IMU之间的时间不对齐。Online Temporal Calibration for Monocular Visual-Inertial Systems中介绍了在线的相机与imu时间戳误差标定方法。

而对于无人驾驶系统中，常常使用GPS，多线激光雷达，相机与IMU进行融合定位。汽车时速高达几十迈，传感器之间如果与几十毫秒的误差，那么对于周围环境的感知和自身的定位将会有巨大影响。

今天分析的这篇文章则介绍了相机与激光雷达的低成本、高精度的时间校准装置

可以用于校准传感器测量到HOST CPU获得数据的时间offset
提供了校准的误差上限
可以用来研究时间误差对多传感器融合的影响

雷达校准

激光雷达校准示意图如上，使用一个光电传感器来检测激光，用树莓派中断方式检测光电传感器，此时刻作为激光的测量时刻t0，通过tcp发送给host PC, 同时host PC获得激光雷达的数据时刻为t2。 host PC与树莓派通过PTP协议同步时间（PTP可以精确到200ns），从而整个系统的时间基准为树莓派的系统时间。故offset = t2-t1。

相机校准

相机校准依然使用PTP精确同步树莓派和host PC的时间，使用树莓派控制一个LED列（10个），两端LED长亮用来定位，剩下的中间8个LED对应一个6位的计数器CNT，高4个LED对应CNT的高4位，低4个LED对应CNT低2位的数字（CNT的低2位表示4个数，如此保证低4位只有一个LED亮），使用外部电路来驱动CNT周期的自增（溢出归零），同时每次溢出时会触发树莓派中断然后树莓派发送当前时刻到host PC。校准时候，相机连续曝光获得图像，通过图像的LED状态以及树莓派的零点时间可以获得相机的曝光时刻t1, host PC可以记录获得图像的时刻t2, 从而offset = t2-t1。

两样装置共享了大部分设置，成本较低（对于没有硬件触发的设备依然可用）但提供了ms级别的精度，但需要在传感器驱动中添加相应设备时间转系统时间的代码。作者在github上开源了部分传感器的时间转换代码，并上传了硬件电路。

ethz-asl/tcdgithub.com

https://github.com/ethz-asl/cuckoo_time_translatorgithub.com

ethz-asl/cuckoo_time_translatorethz-asl/cuckoo_time_translatorgithub.com