多模态医学图像融合概述

An overview of multi-modal medical image fusion

原文：https://www.sciencedirect.com/science/article/pii/S092523121630649X
摘要
1.特点：
（1）图像分解，图像重建
（2）图像融合规则
（3）图像质量评估
（4）基准数据集上的实验
１.简介
1.成像方式：
（１）MRI：核磁共振成像
软组织清晰度、高空间分辨率，缺乏身体代谢的动态信息
（２）CT：计算机断层扫描
成像时间段、分辨率高，组织表征受限
（３）PET：正电子发射断层扫描
高灵敏度、低分辨率
（４）SPECT：单光子发射计算机断层扫描
核成像
２.医学图像融合传统三类：
（１）MRI－ＣＴ
（２）MRI－PET
（３）MRI－SPECT
３.传统图像融合方法：
（１）图像分解和重建
强度－色度－饱和度、金字塔、独特小波、非下采样轮廓波、剪切波、稀疏表示、显著特征
（２）图像融合规则
模糊逻辑、主要成分分析、人类视觉系统、人工神经网络、脉冲耦合神经网络、交互信息、指令对比
（３）图像质量评估
峰值信噪比、均方差、熵、空间频率、通用图像质量指标、结构相似性、自然图像质量评估
２.图像分解和重建
２.１彩色空间方法
１.通过RGB－IHS变换转换为IHS颜色空间的图像，IHS－RGB重建

２.２金字塔

步骤：
（１）i层残差图＝i层过滤器＊i层金字塔
i+１层金字塔＝i层金字塔－i层残差图
ｉ＝１，２，３.．．金字塔的层数
１层金字塔为原始图像
（２）融合图像＝最后一层金字塔图＋所有层残差图的和
２.３基于小波变换的方法

２.４稀疏表示方法
１.图像１和图像二转化为向量V通过滑动窗口
２.输入的图向量用过度完整的字典稀疏表示
向量Ｖ＝图像１２交集VC＋图像１２差集VU
交集VC＝过完整字典＊稀疏矩阵系数SC
差集VU=过完整字典x稀疏矩阵系数SU
3.通过融合规则来得到备用系数
备用系数SF=SC和SU的函数
4.融合向量VF=过度完整字典x备用系数SF
5.融合图像IF通过迭代向量VC和VG

显著特征法
基于边缘保留滤波器的融合方法：
1.i层的基础层=图像强度*i层边缘保留滤波器
i层详细曾=图像I-i层基础层
2.融合图像基础层=两张融合图像基础层的函数
融合图像详细曾=两张融合图像详细层的函数
3.融合图像=融合基础层+融合详细层

3.图像融合规则
融合规则四部分：
1.活动级测量：反应系数显著性
2.系数分组
3.系数组合：最大规则MR，平均规则AR，加权平均规则WAR
4.一致性检验
融合规则的三个层面的实现：像素、决策、特征
3.1模糊逻辑
1.属于决策层面
2.通过提取特征求CW权重，cw是模糊逻辑的权重
3.2统计
1.PCA主成分分析法
输入系数C1 C2
协方差矩阵=系数-平均值的期望
构成系数由协方差矩阵的特征向量计算
融合系数=构成系数x输入系数
2.HMT隐马尔科夫树
HMT状态转移率
i层融合系数=转移状态和x概率密度函数
选择大的为融合系数
3.3人类视觉系统
1.可见度与维度图像均值和强度有关
2.SUSAN每个像素与局部相似的区域相关联
3.PCNN脉冲耦合神经网络
接受域、调制域、脉冲发生器
强度对应神经细胞
4.RIM retina-inspired model 视网膜启发模型
一层：光感受器阵列
二层三层：空间特征提取器和水平单元
四层五层：双极和神经细胞节
融合系数=过滤器x强度分量
3.4客观评估指标
客观评估指标和测量值被用于对融合图像质量的反馈
1.空间频率SF＝根号下（行频率方RF＋列频率方CF）
SF‘＝加上对角频率
2.空间频率误差比rSFe
3.小波熵WE
与计算密度能量与总能量的比有关
4.指向对比度DC
高频和低频的比率
5.信噪比SNR
6.互信息MI
4.图像质量评估
4.1主观质量评估
1.非线性调查问卷
4.2客观质量评估
1.全参考质量度量
2.各种评估指标
4.2.1基于信号失真的度量
基于算数理论的评估多模态医学图像的融合算法的指标是：
1.RMSE（均方根误差）:融合图像与输入图像中每个像素值的差值
2.STD（标准差）
3.SP（锐度）
基于信息理论的指标：
1.PSNR：峰值信噪比
2.EN ：融合图像中的信息
4.2.2基于显著特征的度量标准
5.数据库实验
1.全脑图集
哈弗大学医学院
MRI-CT融合
MRI-PET融合
MRI-SPECT融合
6.结论
多模态医学图像融合在生物研究中起重要作用

多模态医学图像融合概述相关推荐

多模态信息融合多视图融合
1.多模态信息融合 1.1 多模态信息融合多模态最新进展解读 1.2 多模态图像融合多模态医学图像融合多模态医学图像融合的主要目的: 将多个来源的图像融合为一个单一的图像,每个来源的图像的都包含 ...
利用跨模态 Transformer 进行多模态信息融合
目录 1. 简介 2. 创新点 3. 模型描述 3.1 Low Rank Fusion 3.2 Multimodal Transformer 具体模块介绍 Temporal Convolutions ...
眼动和脑电多模态数据融合分析
眼动和脑电多模态数据融合分析本文参考网址:http://www2.hu-berlin.de/eyetracking-eeg/tutorial.html 本文首发在个人博客(7988888.xyz) ...
【文献阅读】MUTAN——多模态塔克融合VQA模型（Hedi Ben-younes等人，ArXiv，2017，有代码）
一.背景文章题目:<MUTAN: Multimodal Tucker Fusion for Visual Question Answering> 17年的一篇文章,不过后面看到很多文献引 ...
CVPR 2023 | 结合Transformer和CNN的多任务多模态图像融合方法
©作者 | 奥本海默本文为大家带来 CVPR 2023 在图像融合领域的最新工作 CDDFuse: Correlation-Driven Dual-Branch Feature Decomposit ...
CVPR'23 | 结合Transformer和CNN的多任务多模态图像融合方法
作者 | 奥本海默编辑 | 汽车人原文链接:https://zhuanlan.zhihu.com/p/617936182 点击下方卡片,关注"自动驾驶之心"公众号 ADAS巨卷 ...
多模态数据融合系列文章大串讲（上）
文章目录 1. Mind's eye: A recurrent visual representation for image caption generation(CVPR2015) 2.LSTM ...
[图像融合-论文笔记]A multiscale residual pyramid attention network for medical image fusion一种用于医学图像融合的多尺度残差金
A multiscale residual pyramid attention network for medical image fusion 一种用于医学图像融合的多尺度残差金字塔注意网络作者: ...
多模态医学图像配准——cocycleReg论文学习（2022）
论文地址:CoCycleReg: Collaborative cycle-consistency method for multi-modal medical image registration 多 ...

多模态医学图像融合概述

An overview of multi-modal medical image fusion

多模态医学图像融合概述相关推荐

最新文章

热门文章