自动驾驶多传感器融合

12月28日，百度Apollo平台携手国内激光雷达公司禾赛科技扔下一颗名为Pandora的重磅炸弹，此举将极大地加快无人驾驶落地的进程，却也会让不少自动驾驶初创公司陷入无比尴尬的境地。

简单地说，Pandora指的是一套以激光雷达、环视摄像头模组、多传感器融合和感知识别算法为一体的自动驾驶开发者套件，它实际上是一种新型的“多传感器融合”技术。

通常，业界所说的“多传感器融合”，都是指对摄像头、激光雷达、毫米波雷达、超声波雷达等多种传感器各自分别收集到的数据所做的“数据融合”，而Pandora的做法则是“硬件层面的融合”，即在硬件层面就将摄像头、激光雷达集成到一起，然后再将采集到的数据统一输送到计算平台。

在Pandora的开发过程中，禾赛主要负责硬件产品的设计和制造，而百度Apollo负责整体系统的定义和算法的适配。但目前尚不清楚，Pandora中采用的激光雷达，是不是禾赛的混合固态Pandar40。

为什么要做Pandora，它能解决什么问题呢？

禾赛方面认为，对大多数涉足自动驾驶的公司来说，搞定一套传感器方案，这个看似简单的工作，却往往需要耗费一个小团队至少6-8个月的宝贵研发时间，才能勉强做到“不拖后腿”，而这又仅仅是“重复发明轮子”的一个过程。Pandora就是为了解决这样的研发痛点而生。

做“硬件层面的多传感器融合”，Pandora并不是第一家，硅谷激光雷达公司AEye早在2013年成立之初就这么干了；《建约车评》在12月18日报道的硅谷激光雷达初创公司Innovusion也采取了激光雷达和摄像头在硬件层面融合的方案。

禾赛科技CEO李一帆和百度Apollo主任研发架构师王亮都在这次Pandora的发布会上详细解释了硬件层面的多传感器融合对整个行业的积极意义，随后，《建约车评》也采访了地平线创始人余凯、驭势科技创始人吴甘沙、主线科技创始人张天雷、智行者科技创始人张德兆等多位业内人士，多位受访者一致认为，像Pandora这种多传感器融合方案，是“大势所趋”。

总的来说，Innovusion和禾赛这种硬件层面的多传感器融合方案，最明显的好处有以下几点：

1.提高了探测的可靠性

我们大家理解的“点云”，其实并不是激光雷达的原始数据。点云只是原始数据经过“过滤”后形成的产物，真正的原始数据可能比点云的数据多1000倍，也就是说，超过点云数据900倍的原始数据，都在传感器里“藏着掖着”，没有被输送到中央计算系统——这些数据如果被充分利用起来的话，会有助于提高系统对外部环境的感知能力。

据Innovusion创始人鲍君威介绍，硬件端的融合，恰好可以充分利用起这些数据，再加上激光雷达和摄像头分辨率的自然匹配，极大地提高了三维空间重构以及物体探测的可靠性。

2.解决了数据同步的问题

在常见的那种“数据融合”下，来自于不同的传感器并经过汇总的数据在软件层融合的过程，往往需要几十毫秒、上百毫秒的延迟——如果不同厂商做的传感器没有同步的机制，还需要额外花很大力气做同步；同步不好的话，同一个物体会由于运动造成不同传感器探测到的空间位置的不一致，给后续融合造成额外的困扰。而在硬件层面的融合，则不会存在这种问题。

3.节省计算量，降低功耗

硬件端的融合还减少了对计算量的要求，提高了运算处理的效率。

站在摄像头的角度看，跟激光雷达在硬件端融合，检测到的信息就直接是三维的，不像之前那样只能检测到二维信息，然后第三维“靠猜”了；站在激光雷达的角度，跟摄像头的融合，检测到的信息直接带有颜色，可以分类，不需要后端再处理一次了。

从产品性能的角度，节省结算量，就是提高效率；而站在用户的角度，节省计算量，就可以降低功耗、降低对硬件端的性能要求，进而降低成本。

4.帮用户节省时间

Pandora不是激光雷达和摄像头的机械式拼凑，而是一个匹配了算法和处理器的有机系统，用户可以“拿走即用”，而不是像以前那样从不同的供应商处拿到不同的传感器后还得再花个大半年时间进行匹配、调试。这就会帮用户节省很多时间，让他们把时间投入到自己更擅长、也更有价值的事情上面。

5. 降低集成难度

激光雷达和多个摄像头的一体化机械设计，使总体积明显变小，布线也简单多了，更方便主机厂的集成安装。

吴甘沙认为，Pandora所提供的前融合方案，会是一个大方向，只是当前因为激光雷达的价格太高，还不能成为主流，但2-3年后，一旦激光雷达的成本降低到1000美元以下，跟摄像头融合起来就很厉害了。

Pandora将优先为Apollo联盟成员提供技术支持和产品信息，并且，Apollo成员还可享受最佳供货期和最优购买价。这个重磅的推出，可能会吸引更多的主机厂及Tier，甚至是无人驾驶初创公司加入Apollo生态。

但并非是“你好，我好，大家好”。一旦Pandor的各种“用户体验”经过验证，将会有不少原本采用“别人家的激光雷达”的用户“倒戈”，这个时候，那些“体验不佳”的方案将会受到极大冲击。

起初，一些激光雷达公司也许会有一点危机感，但他们可能很快就发现，激光雷达和摄像头在硬件端的融合，难度并不大，他们自己也可以做。然后，相关的Tier 1也会跟进。再然后呢？

“多传感器融合”（数据融合），一直是Momenta、pony.ai及Roadstar 等诸多无人驾驶初创公司的主要技术方案，现在，激光雷达厂商和Tier 1都来做“多传感器融合”，并且，把融合“前置”到硬件层，不仅使用更方面，而且性能也更好，这......看到这样的消息，一些“多传感器融合“的技术方案供应商可能“整个人都不好了”。

左边，是来自原来的“潜在客户”Tier 1们的“降维打击”；右边，是来自那些原先只能做它的供应商的激光雷达厂商的“升维打击”，技术方案供应商，处境将无比尴尬。

让这些初创公司去投靠禾赛这样的激光雷达公司，它们当然不会甘心；相比之下，投入Tier 1的怀抱，为Tier 1做“多传感器融合”——不是它们自己那老一套的融合方案，而是类似于Pandora这种融合，可能已是“最好的结局”。

一点补充：

不过，并非所有人都对Pandora及其所代表的新技术盲目乐观。主要有以下几种声音——

1.余凯认为，Pandora这样的标品打包方案，应该会有很多无人驾驶企业感兴趣，但“估计离车规级量产版本还有很长距离”。

2.某激光雷达企业COO认为，在硬件端就将摄像头和激光雷达融合，最大的弊端在于，灵活性不足。有的用户，可能就希望摄像头和激光雷达安装在不同的地方，就希望用某一个款特定的摄像头，而“硬件层的融合”却杜绝了这种可能性。最终结果可能是，只有那些技术实力不强、没有能力自己做融合的技术会采用Pandora，而融合能力强的用户还是会自己研究传感器方案。

3.吴甘沙虽然也看好Pandora这个方向，但他也有一些疑虑。“以前的一些融合产品，如德尔福曾在2013年推出将雷达和摄像头集成到一起的驾驶辅助系统RACam，大陆也在2015年推出过一款将单线激光雷达和摄像头融合在一起的‘多功能摄像头激光雷达’（MFL）中，但也并没有做得有风生水起。”

4. 在Roadstar创始人佟显侨看来，Pandora在本质上就是个Super Sensor，和Depth Camera”没多大区别。佟显侨还是对Roadstar所采用的多传感器融合技术更有信心。

Roadstar的多传感器融合技术，既不同于Pandora的“在硬件层次融合”，也跟其他无人驾驶初创公司的“数据融合”有很大的不同——通常的“数据融合”，都是先等各传感器收集到的原始数据再经过计算处理后再融合，而Roadstar则使用独创的算法DeepFusion，对各种传感器获得的原始数据进行深度融合。

这种深度融合数据算法使深度学习所需要的训练数据大幅度减少，用4000个数据就能超过传统非深度融合学习算法15万个数据的效果。并且，由于传感器的物理特性互补，导致很多LiDAR和Camera下的Corner sense都可以别识别，导致Corner Sense降低到传统算法下的1%。如此一来，就降低了对路测里程的要求。

自动驾驶多传感器融合相关推荐

摄像头和激光雷达都被蒙蔽？UCI首次提出针对自动驾驶多传感器融合感知的攻击...
作者丨汪宁非编辑丨机器之心来自加州大学尔湾分校(UC Irvine)的研究者发现,L4 自动驾驶里用的最广泛的用来提高系统鲁棒性的多传感器融合感知(Multi-Sensor Fusion base ...
特征级融合_自动驾驶多传感器融合技术浅析
文章转自公众号:计算机视觉之路原文链接: 头条 | 自动驾驶多传感器融合技术浅析mp.weixin.qq.com 自动驾驶车上使用了多种多样的传感器,不同类型的传感器间在功用上互相补充,提高自动驾 ...
万字综述｜自动驾驶多传感器融合感知
原文地址:万字综述 | 自动驾驶多传感器融合感知翻译:种争青校稿:董亚微 00 摘要多模态融合是自动驾驶系统感知的一个基本任务,最近引起了许多研究者的兴趣.然而,由于原始数据的噪声.信息的未充分 ...
自动驾驶多模态传感器融合的综述
作者丨黄浴@知乎来源丨https://zhuanlan.zhihu.com/p/470588787 编辑丨3D视觉工坊 arXiv在2022年2月6日上传的综述论文"Multi-modal ...
自动驾驶多传感器融合定位的相机选型建议
目录 0 引言 1 明确研究内容 1.1 课题研究目的 1.2 明确技术领域 1.3 使用环境 2 了解各种相机基本知识 2.1 相机类 ...
自动驾驶——多传感器融合的学习笔记
1 多传感器融合算法的选择--使用EKF 因为Apollo使用的是EKF,所以我们也用EKF,(具体的资料可以查看issues_10957) <无人驾驶>课程的贾老师推荐的论文<EK ...
单目摄像头光学图像测距_自动驾驶汽车传感器技术解析——车载摄像头
智能驾驶汽车之眼车载摄像头是实现众多预警.识别类ADAS功能的基础.在众多ADAS功能中,视觉影像处理系统较为基础,而摄像头又是视觉影像处理系统的输入,因此车载摄像头对于智能驾驶必不可少. 摄像头可 ...
红外倒车雷达原理图_自动驾驶汽车传感器技术解析—毫米波雷达
毫米波雷达的优势在全天候工作,即不良天气.夜晚等环境下可以发挥作用,而激光雷达会受雨雪雾霾的影响:并且毫米波雷达测距远,200 米以上都轻易胜任,但是分辨率低.较难成像,无法识别图像. 由于毫米波雷达 ...
自动驾驶惯性传感器中的基本原理笔记
自动驾驶惯性传感器中的基本原理笔记前言:自动驾驶中常用的传感器有:九轴传感器.六轴传感器.查分GPS RTK.GPS.惯性导航(ins)等,因为在调试机器人过程中,产生一些的坐标系混乱问题,故此将搜 ...

自动驾驶多传感器融合

自动驾驶多传感器融合相关推荐

最新文章

热门文章