点击上方“小白学视觉”，选择加"星标"或“置顶”

重磅干货，第一时间送达

本文转自：计算机视觉life

多传感器融合面临的主要挑战是如何将收集来的大量数据集中在一起，并做出正确决策。

多传感器融合

多传感器信息融合（Multi-sensor Information Fusion，MSIF），就是利用计算机技术将来自多传感器或多源的信息和数据，在一定的准则下加以自动分析和综合，以完成所需要的决策和估计而进行的信息处理过程。

多传感器信息融合技术的基本原理就像人的大脑综合处理信息的过程一样，将各种传感器进行多层次、多空间的信息互补和优化组合处理，最终产生对观测环 境的一致性解释。

在这个过程中要充分地利用多源数据进行合理支配与使用，而信息融合的最终目标则是基于各传感器获得的分离观测信息，通过对信息多级别、多方面组合导出更多有用信息。

这不仅是利用了多个传感器相互协同操作的优势，而且也综合处理了其它信息源的数据来提高整个传感器系统的智能化。

 融合体系

在信息融合处理过程中，根据对原始数据处理方法的不同，信息融合系统的体系结构主要有三种：集中式、分布式和混合式。

1.集中式：集中式将各传感器获得的原始数据直接送至中央处理器进行融合处理，可以实现实时融合，其数据处理的精度高，算法灵活，缺点是对处理器要求高，可靠性较低，数据量大，故难于实现。

2.分布式：每个传感器对获得的原始数据先进行局部处理，包括对原始数据的预处理、分类及提取特征信息，并通过各自的决策准则分别作出决策，然后将结果送入融合中心进行融合以获得最终的决策。分布式对通信带宽需求低、计算速度快、可靠性和延续性好，但跟踪精度没有集中式高。

3.混合式：大多情况是把上述二者进行不同的组合，形成一种混合式结构。它保留了上述两类系统的优点，但在通信和计算上要付出较昂贵的代价。但是，此类系统也有上述两类系统难以比拟的优势，在实际场合往往采用此类结构。

多传感器融合特点

多传感器融合 系统具有四个显著的特点：

1.信息的冗余性：对于环境的某个特征，可以通过多个传感器（或者单个传感器的多个不同时刻）得到它的多份信息，这些信息是冗余的，并且具有不同的可靠性，通过融合处理，可以从中提取出更加准确和可靠的信息。

此外，信息的冗余性可以提高系统的稳定性，从而能够避免因单个传感器失效而对整个系统所造成的影响。

2.信息的互补性：不同种类的传感器可以为系统提供不同性质的信息，这些信息所描述的对象是不同的环境特征，它们彼此之间具有互补性。

如果定义一个由所有特征构成的坐标空间，那么每个传感器所提供的信息只属于整个空间的一个子空间，和其他传感器形成的空间相互独立。

3.信息处理的及时性：各传感器的处理过程相互独立，整个处理过程可以采用并行导热处理机制，从而使系统具有更快的处理速度，提供更加及时的处理结果。

4.信息处理的低成本性：多个传感器可以花费更少的代价来得到相当于单传感器所能得到的信息量。另一方面，如果不将单个传感器所提供的信息用来实现其他功能，单个传感器的成本和多传感器的成本之和是相当的。

在自动驾驶中的应用

自动驾驶车上使用了多种多样的传感器，不同类型的传感器间在功用上互相补充，提高自动驾驶系统的安全系数。自动驾驶要求传感器融合具备一个必须的性质——实时性。

MSDF面临的主要挑战是如何将收集来的大量数据集中在一起，并做出正确决策。如果MSDF出错，意味着下游阶段要么没有必要的信息，要是使用了错误的信息做出了错误的决策。

可以看到，自动驾驶汽车会通过安装在车身周围的摄像头收集视觉数据，也会通过雷达（激光雷达、毫米波雷达等）来收集诸如周围物体运动速度的数据，但是这些数据是从不同角度来描述现实世界的同一样或不同样的物体。

使用越多的传感器，对计算能力的要求就越高，这意味着自动驾驶汽车必须搭载更多的计算机处理器和内存，这也会增加汽车的重量，需要更多的功率，还会产生更多的热量。诸如此类的缺点还有很多。

智能汽车的显著特点在于智能，意思就是说汽车自己能通过车载传感系统感知道路环境，自动规划行车路线并控制车辆到达预定目标。

目前而言，车载感知模块包括视觉感知模块、毫米波雷达、超声波雷达、360°环视系统等，多源传感器的协同作用识别道路车道线、行人车辆等障碍物，为安全驾驶保驾护航。因此，感知信息也需要融合，感知信息也需要相互补充。

 多传感器融合的四个关键方法

• Harmonize

假设有两种不同的传感器，称它们为传感器X和传感器Z。它们都能够感知自动驾驶汽车的外部世界。

在现实世界中存在一个物体，这个物体可能是人，也可能是车，甚至是一条狗，传感器X和传感器Z都能够检测到这个物体。

这就意味着传感器对这个物体进行了双重检测，这种双重检测意味着两种不同类型的传感器都有关于该物体的数据报告，对于该物体有两个维度不同地认知。

假设，传感器X表示该物体高6英尺，宽2英尺；传感器Z表示该物体以每秒3英尺的速度正朝着自动驾驶车辆方向移动。

结合两个传感器采集到的数据，就可以得出一条相对准确的信息：有一个高约6英尺，宽2英尺的物体正在以每秒钟3英尺的速度移动。

假设这两自动驾驶汽车上只安装了X传感器，那么就无法得知该物体的大小；若Z传感器坏了，那么就只有物体的大小信息，无法检测该物体的运动状态。这也就是最近业内广泛讨论的“在自动驾驶汽车上应该安装哪些传感器”的问题。

此前，特斯拉埃隆•马斯克(Elon Musk)旗帜鲜明地声称，特斯拉不会安装激光雷达。

尽管马斯克自己也认为，L5自动驾驶不会通过激光雷达来实现这个想法最终可能被验证为错误的，这依旧没有改变马斯克的决定。

一些反对的声音称，不配备激光雷达的特斯拉，无法通过其他的传感器获取如同激光雷达效果相同的感官输入，也无法提供补偿和三角测量。

但是另一些支持者认为，激光雷达不值得花费如此高昂的费用成本，不值得为其增大计算能力，也不值得为其增加认知时间。

• Reconcile

在同一个视场(Field of View，FOV)内，假设传感器X探测到一个物体，而传感器Z没有探测到。注意，这与物体完全在传感器Z的FOV之外的情况有很大的不。

一方面，系统会认为传感器X是正确的，Z是错误的，可能是因为Z有故障，或者有模糊探测，或者是其他的一些什么原因。另一个方面，也许传感器X是错误的，X可能是报告了一个“幽灵”（实际上并不存在的东西），而传感器Z报告那里没有东西是正确的。

• Integrate

假设我们有两个物体a和b，分别在传感器X和传感器Z的视场FOV内（a在X视场内，b在Z视场内）。也就是说，Z无法直接检测到a，X也无法直接检测到b。

目前，想要实现的效果是，能否将X和Z的报告整合在一起，让它们在各自的视场内探测物体同时，判断是否为X视场中的物体正在向Z视场移动，预先提醒Z将有物体进入探测区域。

• Synthesize

第四种方法Synthesize是将感知数据融合在一起，你可能会遇到这样的情况，传感器X和传感器Z都没有在各自的视场内探测到物体。

在这种情况下，没有传感器知道这个物体的存在，但是可以通过一些其他的感观数据，比如声音，间接地弄清楚在视场之外的物体情况。自动驾驶汽车是时刻运动的，所以要求这种预判是瞬间发生的，像上文提到的一样，是实时的。

多传感器信息融合技术应用至今，有着非常多的应用方法，在所有方法当中较为成熟的方法包括了聚类分析法、证据理论法、DS 算法、最优理论法等。

下载1：OpenCV-Contrib扩展模块中文版教程

在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。

下载2：Python视觉实战项目52讲

在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。

下载3：OpenCV实战项目20讲

在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。

交流群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~