无人机在倾斜摄影时丢片的解决方案

极客睿铂

前几期睿铂给大家分享了一些倾斜相机背后的技术，主要都是的关于镜头光学方面的。但实际上倾斜摄影相机还有很多其他关键性技术有待突破，任何技术的发展都不能一蹴而就，需要根据客户的问题反馈，发现新的问题并解决问题，然后不断迭代优化，最终才能开发出贴合用户实际生产生活的核心技术。这是睿铂研发人员痛并快乐的事情，当然也是研发的乐趣所在。

睿铂旗舰产品DG4pros是睿铂目前综合性能最好，技术含量最高的一款相机，出色的性能离不开一项未列入参数列表的“隐藏参数”——拍照同步性时间。在0.6s极值曝光频率下，DG4pros的拍照时间同步性仍可达到2毫秒，这表明相机任意两个镜头之间的拍照间隔时差不会超过2毫秒。意味着当无人机按10m/s速度飞行时，任意两个镜头的位置差均不会超过1cm！下面为大家正式介绍DG4pros关键性技术之一：同步性控制技术。

为什么需要同步性控制

我们都知道作业时，无人机将一个触发信号给倾斜相机的五个镜头，五个镜头理论上应该是绝对同步曝光的，然后同步记录一个pos信息。但是实际作业过程中我们发现，无人机发出一个触发信号之后，五个镜头并不能同步曝光，为什么会出现这个现象呢？

作业完后，我们会发现五个镜头中，不同镜头采集航片的总容量一般都不一样，有的会大一些，有的会小一些。这是因为使用同一种压缩算法时，地物纹理特征的复杂程度对航片的大小造成了影响。而航片的大小，最终影响相机的曝光同步性。

不同环境的纹理

地物纹理越复杂，相机解算、压缩、存储的数据相对都会大一些，也就需要越多的时间完成这些步骤。如果存储时间到达临界点，相机就无法及时地响应快门信号，曝光动作出现滞后。

如拍照触发信号时间比相机完成拍照周期所需时间短，相机因为无法及时完成曝光动作，就会造成丢片现象。所以在作业过程中，必须要相机同步性控制技术来统一相机的拍照动作。

关于相机同步性研发

早期我们发现，无人机挂载倾斜相机工作时，五个镜头在空中的位置误差有时会很大，相机之间的位置差居然能达到60~100cm！

但我们在地面测试时，却发现相机的同步性相对还是非常高，响应及时性很好。研发人员很困惑，为什么空三解算姿态位置误差会那么大？由于当时技术条件的限制，此问题被暂时搁置。

后来，我们内业同事在研究莱卡RCD30的数据时，发现相机的空间位置十分精确，镜头位置差基本都在20cm~25cm区间范围之内，和相机的安装位置基本一致。这时，研发同事才开始怀疑相机在空中的工作情况，也许相机的拍照动作并不是同步的？

为了检验这个猜想，在DG4pros研发之初，我们在DG4pros相机上增加一个反馈计时器，记录飞机触发与相机曝光的时间差。并分别在以下四个场景中进行了测试。

A图板：颜色、纹理一致，低频数据图像

B图板：颜色不一致，纹理一致，低频数据图像

C图板：颜色一致，纹理不一致，高频数据图像
D图板：颜色、纹理都不一致，高频数据图像

多次测试结果统计表：

对于颜色丰富的场景，相机拜耳解算和存储的工作量会增加；而线条多的场景，图像高频信息太多，相机压缩的工作也会增加。

可以看到，如果相机采样频率较低，纹理简单时，相机响应及时性较好；但当相机采样频率较高，纹理复杂时，相机的响应时间差就会大幅度增加。并且随着拍照频率进一步提高，相机最终会发生丢片现象。

相机同步性控制原理

针对上述问题，睿铂为了提高相机同步性，引入反馈控制系统。该系统可测量出无人机发出触发信号的时间与每个相机曝光时间的差值“T”，如果五个镜头时间差“T”都在一个允许范围内，我们就认为五个镜头是同步工作的；若五个镜头中某个反馈值大于标准值，控制模块就会判定相机出现时间同步差，并在下一次曝光时，根据差值对该镜头进行补偿，最终控制五个镜头的拍照同步差都在标准范围内波动。

五镜头同步性控制原理

无法绝对控制补偿

可能客户朋友会有疑问，为什么不能实现绝对精准的控制，让五个镜头绝对同步曝光？

前文提到过相机在感光、拜耳运算、压缩、存储的时间都不固定，所以我们无法确定相机同步性的补偿逻辑该是前置补偿还是后置补偿？每次补偿的值该是多少？

确定这些问题需要充分考虑相机内部的工作情况，若简单粗暴的补偿很大概率会导致相机丢片。相机的工作场景千变万化，而补偿还无法准确根据相机的工况去实现镜头时间的精确控制。

睿铂倾斜相机同步性控制器

同步性控制在ppk方面的应用

控制好相机控制同步性后，在1:500、1:1000地形的测量项目中，可结合ppk降低一部分控制点的数量，提高外业作业效率。目前市面倾斜摄影相机与ppk触发有三种连接方案：

1、五镜头其中某一个镜头触发信号与ppk链接

2、五个镜头ppk打标，目前睿铂为纵横定制的JR503倾斜相机就是该工作模式

3、使用相机同步性控制技术，把求得的同步性均值反馈给ppk触发

三个方案各有优缺点：

1、优点是简单，缺点是ppk只表示某一个相机的空间位置，如果五镜头没有做同步性控制，会导致另外几个镜头位置误差比较大

2、优点也是简单，定位准确，缺点是只能针对特定的差分模块

3、优点是定位准确，通用性高，支持各种型号的差分模块，缺点是控制比较复杂，成本相对更高

同时市面目前有一种使用100HZ RTK/PPK板卡的无人机，该板卡挂载正射相机可以实现1:500地形免像控，但是该技术对于倾斜摄影是无法实现绝对的免像控。

因为五个镜头自身的拍照同步性误差已经大于差分的定位精度，所以如果没有高同步性的倾斜摄影相机，再高频率的差分也没有意义。

DG4pros同步性

可以看到中心正射相机距离倾斜相机主点距离分别为：1.63cm、4.02cm、4.68cm、7.99cm，减去实际位置差，误差值为分别为：-4.37cm、-1.98cm、-1.32cm、1.99cm，位置最大差值4.37cm。

此时无人机的飞行速度为9.8m/s，相机同步性误差4.45ms，虽然软件在进行空三运算时存在RMS误差，不可能绝对精确地解算出相机的空间位置，但通过空三解算出相机姿态信息，并以此为基础求得的同步性均值仍具有较高的参考价值。该项目在之前文章有分享，感兴趣的客户可以查看https://blog.csdn.net/Rainpoo_/article/details/96432881。

后记

2019年7月，北京地理信息开发者大会上，刘先林院士在做技术分享会时，也着重强调：五个镜头高精度的同步曝光，也有利于空三解算。

目前这种控制方式属于被动控制，只有当相机同步性误差大于逻辑阈值之后才会进行补偿。所以对于纹理变化比较大的场景，肯定会有个别点误差大于阈值，影响同步性时间。

在下一代Rie系列产品中，睿铂研发了一种全新的主动控制方式，相比现在的被动控制，相机同步性精度至少可以再提高一个数量级。

PS：关注睿铂公众号，持续获取更多产品升级、软件技巧、行业前沿技术解析、新产品发布等消息！