在成像方面,各传感器均受一定条件的制约,同时,目标自身状态和周边环境的变化也会在单一传感器中产生较大的成像差异。

按照较为严格的定义,图像融合是指综合和提取两个或多个多源图像信息,获得对同一场景或者目标更为准确、全面和可靠的图像,使之更加适合于人眼感知或计算机后续处理。而多传感器图像融合囊括了多个层次中信息融合所涵盖的相关处理和决策方式,其作用对象既包括不同传感器对同场景的感知解译,也包括同一传感器在一定时间区间内所获取的序列图像信息。

根据融合处理中信息合成所处的不同阶段,图像融合技术通常可大致分成三个层次:像素级融合、特征级融合、决策级融合。

(1)像素级融合

定义:待融合图像经过严格配准后对各源图像直接以像素点为单元进行信息综合与分析。像素级融合多数情况下被视为特征级融合和决策级融合的基础。目前对这种融合类型的研究最为集中。

主要任务:生成包含多源信息并具有高对比度的合成图像。

前提要求:各源图像在融合前必须进行严格配准。

不足:计算处理时间较长,对通信的带宽要求也较高。

(2)特征级融合

定义:从各源图像中提取所需要的特征信息,并将这些特征进行综合分析处理。

优势:1.保留足够重要信息的同时对信息实现有效压缩,有利于实时处理。2.有助于在各源图像中挖掘相关特征信息、增加信息维度,以建立更全面、更充分的新复合特征,用于后续的处理决策。3.对图像配准的要求不如像素级融合那样严格。

(3)决策级融合

定义:根据每个传感器数据源的可信度按一定准则对单模决策结果进行融合以得到最终的决策。可被理解为是一种全局最优决策。融合结果将为各种控制或决策提供依据。

特征:1.输入输出数据量通常低于像素级和特征级融合,也使其实时性在三者中最优。2.这种融合方式的信息损失最大。

在实际应用中融合层次并非严格按这三种方式划分,融合课相互交联以达到最佳效果。

图像融合技术是将各传感器得到的图像信息进行综合分析并加以利用的过程,其数据来源于各个传感器。以下是常见的各种传感器。

由于不同传感器对光谱和电磁波谱的敏感波段不同,图像融合实质上是实现多传感器宽波段覆盖探测的有效手段。

通过将多元传感器获得的图像数据以像素点为操作单元进行融合,生成新的合成图像,从而达到视景增强的目的。图像融合的组合方式既包括非同类成像传感器信息融合,也包括同类多波段成像传感器的信息融合。

对于直升机平台,夜间飞行员目视能力下降,若将微光夜视仪与红外热像仪成像结果进行融合,则可帮助飞行员显著提高对周边场景目标的感知和侦测能力。另外由于飞行高度较低,容易受到复杂地形和恶劣天气的影响,若将毫米波与红外成像进行融合,则有助于减轻飞行员在复杂环境下的操作负荷。对于舰载机平台,飞行员夜间目视观测仅能看到航母甲板上的跑道灯,无法直观知悉船体和海面的整体情况,若为舰载机装备着舰引导红外与可见光传感器的融合增强视景,有助于提高飞行员的着舰操作水平。当无人机执行打击后毁伤评估侦测任务时,实际战场存在大量烟雾、明火以及爆炸等较强干扰,依靠单一光学传感器难以做出正确评估,多光谱图像融合技术的优势在于可以从多维谱段对目标的毁伤状况进行综合评估,最大程度地抑制了战场环境的负面干扰源。

利用图像拼接技术可以将多幅固定视场范围的图像拼接合成为大视场区域图像,这一技术既可应用于电子地图更新,也可应用于分布式红外传感器的全景视野显示。

  机载平台的高速运动使得光电传感器在成像时容易受到气动光学和运动模糊效应的影响,造成图像成像质量较低,场景目标不清晰。为获得尽可能高分辨率的影像,硬件改进和软件处理是常用的两种方法。
  硬件改进:提高光学系统性能、CCD 传感器密度、芯片尺寸和增大焦距等,这不仅增加了成本,而且还会增加传感器的体积和重量,不利于在机载平台上使用。
  与硬件改进相比,超分辨率重建作为一种软件处理方法,只需利用具有一定相关性的多幅序列图像之间的互补信息,采用合适的重建算法,将这些图像融合成一幅新的图像,使其分辨率比传感器源图像提高一倍以上,对场景目标的分辨能力大大增强,描绘图像细节的信息量也随之显著增大。
  图像超分辨率重建可视为一种基于时间域的图像融合技术,对高空高速机载平台有重要的应用价值。超分辨率重建可以为包括飞行员和地面指挥人员提供清晰的场景目标光电影像,便于正确分辨和识别敌方目标。此外,该技术也在一定程度上增加了传感器的探测距离,提高了飞机的安全性。
 
  自动目标检测与识别技术在精确制导武器系统中始终扮演核心角色,它利用计算机对前端传感器获取的信息进行处理解析,判断目标类型,并计算目标位置。
  多模图像自动目标跟踪技术是利用多传感器图像特征信息实现目标跟踪。通常它可基于像素级融合图像进行处理,也可以基于特征级和决策级融合进行跟踪。相比单模传感器自动目标跟踪技术,多模图像的优势在于它可以在全天时、全天候条件下进行。不仅如此,多传感器探测还增加了目标的特征维度,可有效克服跟踪过程中遇到的干扰,提高跟踪算法的鲁棒性。
  目前,将多传感器图像融合技术向机载应用平台推广需要解决如下问题:

(1)多源图像的配准
  不同类型的传感器具有不同的探测范围、分时间、图像分辨率、畸变模式等。图像融合首
先需要解决的问题是将各传感器图像进行像素级或区域级对准。
  通常,多源图像可以通过物理方式和软件方式进行配准。前者更多考虑传感器安装时的相对位置,这种方式仅适用于一些比较简易的场合;后者则采用配准算法实现图像间的对准,对算法的稳定性和实时性要求较高。
  目前,取得研究成果较多的同类图像配准是可见光,而红外图像和 SAR 图像的配准问题相对困难。对于异类图像,提取共性特征十分困难,这也为配准带来了很大难度。当然,异类图像工程上也可通过物理对准或间接配准等方式来解决,但攻克多源图像配准这一难题是图像融合技术应用的前提。
(2)算法运行效率的提高
  实际上,机载平台的信息处理能力是有限的,在设计融合算法时,需要根据实际应用环境合理安排串行与并行计算模块,还要结合图像融合的层次和策略来考虑。此外,对于处理器和存储器的选择,需要兼顾安装成本与效能。
(3)图像融合策略的选取
  不同的使用需求需要考虑有针对性的传感器组合才能达到效果,某些情况下多传感器融合性
能可能不及单传感器。目前,特征的组合方式有串联模式、并联模式、线性相关模式和非线性相关模式等。
(4)传感器性能的提升
多传感器图像融合的信息来源于各传感器的探测信息,因此传感器的性能水平决定了最终的融合效果。

【论文笔记】面向机载应用的多传感器图像融合技术综述相关推荐

  1. 【图像融合】多传感器图像融合技术综述

    多传感器图像融合   多传感器图像融合属于多传感器信息融合的范畴,是指将不同传感器获得的同一景物的图像或同一传感器在不同时刻获得的同一景物的图像,经过去噪.时间配准.空间配准和重采样后,再运用某种融合 ...

  2. 计算机技术中的图像融合,多传感器图像融合技术的应用及发展趋势

    彭硕玲 摘  要:多传感器图像融合技术是将多个传感器在相同时间下所取得的有关某个实际场景的图像或者相应的序列信息进行综合,形成一个全新的有关该场景的阐述,而这个阐述无法利用单一传感器来获取.通过将多个 ...

  3. 多传感器数据融合发展综述

    多传感器数据融合是一个新兴的研究领域,是针对一个系统使用多种传感器这一特定问题而展开的一种关于数据处理的研究.多传感器数据融合技术是近几年来发展起来的一门实践性较强的应用技术,是多学科交叉的新技术,涉 ...

  4. 多传感器数据融合算法综述

    多传感器数据融合是一个新兴的研究领域,是针对一个系统使用多种传感器这一特定问题而展开的一种关于数据处理的研究.多传感器数据融合技术是近几年来发展起来的一门实践性较强的应用技术,是多学科交叉的新技术,涉 ...

  5. 多传感器数据融合技术如何应用在自动驾驶领域?

    多传感器融合是一项结合多传感器数据的综合性前沿内容,主要包括Camera.激光雷达.IMU.毫米波雷达等传感器的融合,在自动驾驶.移动机器人的感知和定位领域中占有非常重要的地位: 随着AI技术的大规模 ...

  6. 【论文笔记】A review of applications in federated learning(综述)

    我的博客园MaplesWCT A review of applications in federated learning Authors Li Li, Yuxi Fan, Mike Tse, Kuo ...

  7. 【论文笔记】基于深度强化学习的机器人操作行为研究综述

    目录 摘要 关键词 1 引言 2 概念和术语 2.1 深度学习 2.2 强化学习 2.2.1 强化学习算法原理 2.2.2 强化学习算法分类 1. 无模型(model-free)算法和基于模型(mod ...

  8. 多传感器信息融合笔记

    随着机器人技术的不断发展,机器人的应用领域和功能有了极大的拓展和提高.智能化已成为机器人技术的发展趋势,而传感器技术则是实现机器人智能化的基础之一.由于单一传感器获得的信息非常有限,而且,还要受到自身 ...

  9. 论文笔记:DeepFuse: A Deep Unsupervised Approach for Exposure Fusion with Extreme Exposure Image Pairs

    论文笔记:DeepFuse: A Deep Unsupervised Approach for Exposure Fusion with Extreme Exposure Image Pairs co ...

最新文章

  1. 考研计算机专业课怎么复习,2016考研计算机专业课如何复习?
  2. 分布式架构的对比-3Par InServ
  3. mybatis 一二事(1) - 简单介绍
  4. centos 5.5 mysql 5.5.39_CentOS 5.5 下安装 Mysql 5.5
  5. vue_prop注册及验证
  6. python for arcgis_面向ArcGIS的Python脚本编程 ([美]赞德伯根) 中文pdf扫描版[50MB]
  7. pandas.read_csv——分块读取大文件
  8. 同步/异步阻塞/非阻塞
  9. 路由器连网提示服务器无响应,路由器提示服务器无响应
  10. python自动处理下载的英文字幕
  11. sar偏移量追踪技术_SAR指标配合阶段高低价的量化交易策略
  12. java timer.schedule如何控制执行次数_Java 面试——JIT详解
  13. DWG文件怎么转换成PDF的一分钟实用技巧
  14. Java将JSON对象或JSON数组转list对象
  15. html明月几时有古诗,古诗词赏析|苏轼《水调歌头·明月几时有》
  16. 项目1:基于Java API文档制作的搜索引擎
  17. linux 基本操作
  18. oracle 数据库存储过程编译报错PLS-00103出现符号 end-of-file在需要下列之一时
  19. eCryptfs源码注释(2)
  20. 操作系统第五章笔记---线程

热门文章

  1. 苹果 UDID设备满100台的处理方法
  2. 电脑快捷操作方式大全
  3. SAP采购信息记录维护
  4. 如何在win11上运行VC6.0
  5. 游戏团队,各职位人员离职所带来的影响和不同
  6. paypal php 返回_接入 paypal PHP-sdk 支付 / 回调 / 退款全流程
  7. 网站反爬指南:政府网站篇
  8. JavaScript---网络编程(2)-函数与数组
  9. 二进制计算机在线使用,二进制计算器
  10. 苹果手机之间怎么传照片_如何使用蓝牙手机之间传照片