【CV】图像融合结果评价
###Date: 2018.3.22
==============================================================
简介
本篇主要是记录下图像融合结果图像的评价方法。 注:本篇参考书籍:《像素级图像融合方法与应用》
方法介绍
一般分为主观和客观两类:1、主观方法主要是观察者来评价融合结果的质量。2、客观方法又分为两类:(1)无参考图像评价方法。1)单一图像统计特征评价。2)融合图像和原图像关系评价。(2)有参考图像评价方法。
无参考图像评价方法
1、标准差
2、信息熵L表示图像灰度级别。Pi表示灰度值i像素占总像素比例。E越大表示融合图像信息量越大。
3、平均梯度平均梯度可以敏感的反应图像对微小细节反差表达能力,可用来评价图像模糊程度,G越大图像越清晰。
4、空间频率SFSF越大,融合图像越清晰。
融合图像与源图像关系评价方法\
1、互信息之和融合图像与源图像的互信息之和越大,表示融合图像从源图像获取的信息越丰富,融合效果越好。
3、联合熵联合熵越大表示融合图像包含信息越丰富。
4、相关系数f和a分别表示融合图像与源图像的均值。相关系数越大,表示融合图像从源图像中获取的信息越多,融合效果越好。
有参考图像情况评价
1、均方误差RMSE均方误差越小,表示融合图像和参考图差异越小,融合效果越好。
2、信噪比SNR这里是假设融合图像与参考图像的差异为噪声。信噪比越好,融合图像越好。
3、参考图像和融合图像信息熵差
4、参考图像和融合图像的互信息MI
图像融合,顾名思义,就是将两张或者多张图像进行某种融合处理,得到一张同时包含被融合图像中重要信息的融合图像。通常情况下,待融合的源图像上应该严格配准,大小相同。
在诸多中不同融合场景和融合方法中,多聚焦图片的融合最能够说明融合的效果和目的。由于焦距选择的问题,照片有可能出现部分清晰部分模糊的情况。融合算法能够极好的将不同图片的清晰部分结合起来,从而得到整体上更好的一个结果。
多聚焦图片1:上半部模糊
多聚焦图片2:下半部模糊
融合图像:整体清晰
根据个人理解,图像融合的过程和结果主要受到如下几个方面影响:
1. 图像融合应用场景
2. 图像融合方案框架
3. 图像信息融合规则
下面将对这些方面进行归纳和讨论,由于本系列重点是讨论图像融合客观评价方法,第一章对图像融合的介绍只是作为后续讨论的铺垫,因此将不会对图像融合的技术细节进行讨论。
图像融合应用场景
由于实际应用的需求,图像融合的源图像实际上可以有多种类型。不同种类的源图像具有自身比较独特的性质,因此,图像融合发生的场景将会对图像融合产生较大的影响。现在图像融合应用场景主流的有如下四类:
1.可见光图像——红外图像融合
红外传感器通常对热效应造成的红外辐射比较敏感,在黑暗或者复杂背景中,能够较好探查发热物体,与此同此,其也经常忽视环境中不发热的背景信息。而可见光传感器能够有效感知环境信息的特性,正好与红外互补。
可见光图像
红外图像
2.遥感图像融合
遥感卫星通常搭载多个种类的传感器,其中有能够接收所可见波段信息的全色传感器,最终得到一个高分辨率的遥感图像。也有对某个波段更为敏感的多光谱传感器(通常这些波段有某些特殊的意义),但是由于光谱能量密度等问题,多光谱图像分辨率通常低于全色图像。因此,将这两类图像进行融合也是十分主流的应用场景。
多光谱图像
全色图像
3.多聚焦图像融合
见导论,此处不进行赘述
4.医学图像融合
由于存在多种成像技术,综合多种检测结果,来对病人的健康状况进行判断,也是十分重要的。因此,融合多种类医学图像也是常见应用场景。
医学图像1
医学图像2
图像融合方案框架
图像融合方案框架现阶段主要有两大类:一类是多尺度分解框架下的融合,一类是稀疏框架下的融合。其中,每类框架又包含有多种不同的方法,除此之外还存在着不同的流程,这些都会极大的影响图像融合的效果。由于该部分内容广泛而且理论难度较大,因此可能出现个人理解上的错误,希望大家指正:
1.多尺度融合
多尺度融合是图像融合领域中,最为经典和成熟的算法体系,其原理和应用得到了非常充足的研究。该方法通过对原始图像进行分解,来从原始图像中提取出图像特征信息(通常是边缘信息),通过对提取出的信息进行对应的操作来达到融合的目的。
根据发展时间线,多尺度分解的算法的进化途径如下:金字塔分解→小波分解→轮廓波分解→剪切波分解。每个大类中存在着诸多不同的算法,其中比较具有代表性的算法如下。
- 金字塔分解: 高斯金字塔算法,拉普拉斯金字塔算法,比例金字塔算法
- 小波分解: 离散小波算法,复小波算法,双树式复小波算法等
- 轮廓波分解: 非下采样轮廓波算法
- 剪切波分解:非下采样剪切波算法
多尺度分解流程通常如下:
随着对多尺度融合研究的进行,有更多学者提出了改进的融合流程,这种改进毫无疑问也会使得融合结果出现较大的变化。
2.基于稀疏表达的融合
稀疏融合是近年兴起的新型图像融合方法。算法通过对图片进行学习来构成和优化一个字典,再通过选择合适的字典原子进行融合,最后利用融合后新的字典原子重构融合图像。
基于稀疏的图像融合涉及到字典的提取,字典更新,字典原子选择等问题,其中涉及到优化算法等复杂的问题。限于篇幅问题,本系列暂时不对其进行讨论。读者需要知道的是,基于稀疏表达的图像融合方法也有着不同算法,算法的不同也会使得融合结果出现较大的变化。
图像信息融合规则
如何将提取出的图像信息进行正确的融合也是影响融合结果的重要因素。关于图像信息融合规则的选择,在研究中需要根据具体需求来进行讨论,通常来讲,越是精致的方法效果越是突出,与此同时,其消耗的计算资源也将大幅上升。
融合规则原理上由两部分组成,第一部分是如何度量信息量的多少,第二部分是如何对信息进行融合。
1.信息量的度量:
- 灰度值大小
- 梯度大小
- 基于信息论的衡量方法
- 其他
2.信息融合的方法:
- 平均
- 二者择其大
- 基于阈值的分段法
- 其他
参考:
http://blog.csdn.net/u011630458/article/details/52324969
http://blog.csdn.net/hukai20021/article/details/52593584
http://blog.csdn.net/sunboyiris/article/details/21100063
https://download.csdn.net/download/yanyahao/3890170
【CV】图像融合结果评价相关推荐
- python图像融合算法_图像融合质量评价方法的python代码实现——MS-SSIM
图像融合质量评价方法的python代码实现--MS-SSIM 图像融合质量评价方法的python代码实现--MS-SSIM 文章目录 1 前言 2 MS-SSIM介绍 2 MS-SSIM的代码 2.1 ...
- 【图像融合】评价方法(熵、均方根误差)
图像融合质量评价方法 一般分为主观和客观两类: 1.主观方法主要是观察者来评价融合结果的质量. 2.客观方法又分为两类: (1)无参考图像评价方法(如信息熵). 1)单一图像统计特征 ...
- 【图像融合】图像融合质量评价方法的研究
图像融合质量评价方法 建立通用的图像融合质量评价标准是图像融合技术急需解决的一个问题. 问题出现的原因: 同一融合算法对不同类型的图像,其融合效果不同: 同一融合算法,对同一图像观察者感兴趣的 ...
- 图像融合质量评价方法SSIM、PSNR、EN、MSE与NRMSE(一)
文章目录 1 前言 2 融合评价指标介绍 2.1 结构相似性 SSIM 2.2 峰值信噪比 PSNR 2.3 信息熵 Entropy 2.4 均方误差 MSE 2.5 归一化均方根误差 NRMSE 3 ...
- 图像融合质量评价方法MSSIM、MS-SSIM、FS、Qmi、Qabf与VIFF(三)
文章目录 1 前言 2 融合评价指标介绍 2.1 结构相似性(SSIM)相关 2.2 互信息(MI)相关 2.3 基于视觉信息保真度的指标VIFF 2.4 融合质量Qabf 3 代码实现 3.1 多层 ...
- 【图像融合】多传感器图像融合技术综述
多传感器图像融合 多传感器图像融合属于多传感器信息融合的范畴,是指将不同传感器获得的同一景物的图像或同一传感器在不同时刻获得的同一景物的图像,经过去噪.时间配准.空间配准和重采样后,再运用某种融合 ...
- 红外和可见光图像融合算法研究
基于MATLAB的红外和可见光图像融合系统[带评价指标] 一.课题介绍 红外技术作为人类认识自然.探索自然的一种新的现代工具,已经被各国普遍的应用于生物.医学.地学等科学领域以及军事侦察方面.红外图像 ...
- 加权平均法融合图像matlab,基于MATLAB的图像融合算法
内容介绍 原文档由会员 小甜甜 发布 基于MATLAB的图像融合算法 1.9万字 34页 摘要 图像融合能够将不同类型传感器获取的同一对象的图像数据进行空间配准.并且采用一定的算法将各图像数据所含的信 ...
- matlab图像融合评价,MATLAB 图像融合评估算法
MATLAB 图像融合评价算法 function laplacian(ori_A,ori_B) path(path,'FusionEvaluation/') %Ori_A = imread('cloc ...
最新文章
- [译]yield关键字都做了什么?
- pycharm连接到gitee的操作
- C++Primer 中文版第5版 习题3.26
- 2. with check option能起什么作用?_家装要选择第三方装修监理吗?为什么?
- Navicat工具导出Mysql数据表结构到Excel文件中
- Win10系统局域网中的其他电脑能Ping通但是无法访问本地IIS发布的网站
- 论跨境电商ERP系统与wms仓储管理系统之间有何区别和联系?
- nodejs模块hashmap
- 搜索引擎选择: Elasticsearch与Solr(转载)
- BetaFlight开源代码框架简介
- python简说(二)list
- 一封来自 1985 年程序员的辞职信
- 下拉列表—DropDownMenu的使用解析
- 宝宝起名神器小程序源码
- 硬件堡垒机、软件堡垒机、云堡垒机品牌怎么选?
- 【原创】正确认识计算机科学中的“一般”和“个别”的关系
- [观点]AppStore支持人民币支付对国内开发者的影响
- EMP微前端-Vue和React项目互相调用
- 百度地图4 从0开始
- python decimal 转换为float_在Python中将float转换为decimal类型