深度学习在医学图像配准中的应用
根据模型,策略函数,以及流行度分为7类
Deep similarity-based methods
传统的基于像素的图像度量方法对于图像对具有相似分布的情况是work很好的. 但是图像质量本身不好,比如超声图像,就使得传统的相似度度量在单模态的图像中表现很差. 互信息被用于多模态之间的相似度. correlation ratio-based MI, contextual conditioned MI, modality independent neighborhood descriptor (MIND) 被用于提高MI性能.
基于深度相似度度量的方法利用CNN代替上述传统的相似度测量方法.
通过训练CNN, 使用已经经过专家配对的数据作为Ground-truth,学习一个度量网络.输出一个相似分数.
但是通过配对的数据训练一个相似度度量网络, 是很难的, 因为很难获取大量的数据. 另外, 已经人工配准的质量会影响相似度度量网络精度. 数据增广, dithering and symmetrizing技术被用于训练, 缓和训练对配准质量的要求, 但是仍然需要粗配准的图像对.
为了彻底消除对配对的数据对的依赖, stacked autoencoders (SAE), 作为无监督学习技术,可以将图像编码到低维空间计算相似度,这个可以减少计算量. SAE学到的特征表示被用于Demons 和HAMMER进行图像配准.
这类方法最大的问题与传统方法一样, 只不过度量方法变成了神经网络或特征由神经网络提取,配准过程仍需要反复迭代,这是非常耗时的. 随着有关直接变换预测的论文越来越多，这一领域的研究前景不容乐观.
Reinforcement learning in medical image registration
结合强化学习与卷积神经网络, 将配准任务分解为一系列的分类问题. 这种策略就是找到一些列的action,如旋转,平移, 从而迭代地进行图像配准.
但是这些搜索空间, 比如旋转,平移,缩放, 只能用于刚性配准, 因为刚性配准可以由这些参数空间表示. 而非刚性的配准更高维,且非线性, 这样会导致搜索空间非常大. 因此就要降维, 使用低维的参数空间去建立统计形变模型( statistical deformation model, SDM). PCA就是在B样条形变向量场( B-spline deformation
vector field, DVF)构建SDM. 以位移主元的模态作为未知向量，进行优化。
这类方法的局限在于, 变换模型限于低维度空间, 这导致大多数这类方法使用刚性变换模型. 尽管可以预测SDM模型的低维参数空间, 使之适用于非刚性配准, 但是精确度和灵活性受限. 这类基于RL方法似乎也不再受欢迎. 越来越多的直接变换预测方法被提出, 因此将配准任务分解为一系列的分类问题正在逐渐消失.
监督学习的变换预测
这种直接预测变换的方法有几个挑战:1)输出参数空间维度很高;2) 缺乏带有ground-truth变换的数据集;3) 预测变换的正则. 关于这三的挑战,分别有以下解决方案:1) groound-truth变换生成;2)图像重采样;3)变换正则.
监督学习是指使用ground truth变换对网络进行训练，标签变换是自由变形的稠密DVF和刚性变换的参数为6的参数向量
通过随机旋转或平移图像, CNN预测旋转或平移参数, 但是这种参数的方法表示的变换只能适用于刚性配准. artificial affine transformations也被用于合成训练集.这些方法在真实的数据上却不work.
使用传统方法去配准,将其变换当作ground-truth用于训练神经网络,其基本思想就是随机生成的变换与真实的变换差异太大.
使用来自少部分数据已知的变换, 生成大量各样的图像对,学习高表示能力的统计外观模型 statistical appearance models (SAM).
groound-truth变换生成
Random transformation generation
traditional registration-generated transformation
model-based transformations
监督学习方法
训练时, 损失计算采用相应的解剖结构标记，而不是稠密的体素级空间对应
使用两种类型的损失训练.
监督学习的方法最主要的限制还是在用于训练的变换的生成.因为变换合成的变换可能不能反映真实的生理结构, 或不能抓住真实配准场景中大量的变化情况,或者训练阶段的图像-变换对与真实的图像不同. 尝试不同的变换生成模型,域适应以及多种损失和DVF正则是上述限制的解决方案.
Weak supervision
Dual supervision
无监督学习的变换预测
无监督学习指的是在没有Ground-truth的情况下进行图像配准, 难点在于设计一个合适的损失函数.
卷积自编码将图像编码为向量, 称之为特征向量, 将其用于相似度测量. STN可以直接插入到卷积网络中, 从而与相似度测量标准一起进行无监督学习.
DSC loss可以与相似度损失以及变换平滑损失一起构成目标函数.
配准考虑辅助分割损失, 甚至两个任务是相互补充,可以提高对方的性能.
逆一致性正则项惩罚变换和逆变换的不同. 损失函数由以下损失项组成: similarity loss, a transformation smoothness loss, an inverse consistent loss and an anti-folding loss
cycle consistent loss, identity loss(当浮动图像与固定图像一样, 损失为0)
使用辨别器提供对抗损失,惩罚不真实的变形图像
无监督学习克服了缺乏标注数据的困难. 由于缺乏ground-truth作为监督, 各种损失函数被提出来. 这些无监督的配准方法有些能超越无监督性能. 但是这些方法都是集中在单模态配准.
训练一个神经网络,当作损失.判别器去辨别一个变换是生成的还是ground-truth, 一张图像是真实的还是由预测的变换形变得到的,对齐是正效果还是负效果.以上是从图像或者变换的外观层面引进损失, 也有人尝试引入生物力学约束, 辨别一个变换是通过有限元分析预测的还是生成的.
多模态配准没有像单模态那样受益于深度学习, 这主要是由于各个模态之间的外观差别太大了. 因此, GAN用于将不同模态的图像映射到单模态.
GAN在医学图像配准是一个有前景的方向, 如新颖的对抗损失, 图像域翻译.
Some auxiliary loss terms include the DSC loss of the anatomical labels or TRE loss of pre-selected landmark pairs
GAN在医学图像配准中的应用
为预测的变换提供正则
进行交叉域的图像映射
一些损失函数
intensity-based image appearance loss: SSD, MSE, MAE, MI, MIND, SSIM, CC and its variants.
deep similarity-based image appearance loss: calculates the correlation between the learnt feature-based image descriptors
transformation smoothness constraint: usually involve the calculation of the first and second orders of spatial derivatives of predicted transformation
transformation physical fidelity loss : includes inverse consistency loss, negative Jacobian determinant loss, identity loss, antifolding loss and so on
transformation error loss with respect to ground truth transformation: the error between predicted and ground truth transformations
adversarial loss: the trainable network-based loss
深度学习在医学图像配准中的应用相关推荐
- 基于深度学习的医学图像配准综述
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 转载自:https://blog.csdn.net/weixin_ ...
- 文献阅读经验--以基于深度学习的医学图像配准为例
目录 正文 前言 一.应该阅读什么样的论文 二.为什么要阅读论文 三.怎样阅读论文(以期刊和会议论文为准) 总结 正文 前言 大家好,我是一名研一的学生,我的研究方向是基于深度学习的医学图像配准(全脑 ...
- 基于深度学习的医学图像配准学习笔记2
从SIFT到深度学习 我们首先介绍基于OpenCV的方法,然后介绍深度学习的方法. 图像配准就是找到一幅图像像素到另一幅图像像素间的空间映射关系.这些图像可以是不同时间(多时间配准),不同传感器在不同 ...
- 深度学习在医学影像中的研究进展及发展趋势
点击上方蓝字关注我们 深度学习在医学影像中的研究进展及发展趋势 王丽会1,2, 秦永彬1,2 1 贵州省智能医学影像分析与精准诊断重点实验室,贵州 贵阳 550025 2 贵州大学计算机科学与技术学院 ...
- 机器学习笔记 - 基于传统方法/深度学习的图像配准
一.图像配准 图像配准是将 一个场景的不同图像变换到同一坐标系的过程.这些图像可以在不同的时间(多时间配准).由不同的传感器(多模态配准)和/或从不同的视点拍摄.这些图像之间的空间关系可以是 刚性的 ...
- 《深度学习及其在生物医学中的应用》
Deep Learning and Its Applications in Biomedicine paper 2018年发表与Genomics Proteomics Bioinformatics 1 ...
- 深度学习在医学图像处理中的应用
简介 本文参考了三篇深度学习在医学图像处理中的三篇综述性的文章,旨在对于深度学习和医学图像相结合的现有情况做一个小总结,并探讨一下未来的一些发展趋势和自身的一些思考 医学影像深度学习工具 深度学习模型 ...
- 用于深度学习的医学图像预处理
用于深度学习的医学图像数据,往往非常庞大,如果从网上下载公开数据集数据,往往有几十GB的图象数据,我们需要先进行预处理,将其转换成适合深度学习网络训练的形式: 变为 或者我们还 ...
- 文献阅读（42）——使用深度学习在眼底照中检测糖网并分类（综述）
使用深度学习在眼底照中检测糖网并分类(综述) Deep learning for diabetic retinopathy detection and classification based on ...
最新文章
- 数据结构与算法 | 线性表 —— 链表
- Validation of XML with XSD
- 计算机风险评估管理程序,第5章 信息安全风险评估实施流程
- 字节流复制文件 java
- 特设三场！！快来看看 NVIDIA DLI 深度学习入门课程有没来到你的城市~
- Windows7修改hosts提示：您没有权限在此位置中保存文件
- python爬虫设计模式_Python3网络爬虫(一)：利用urllib进行简单的网页抓取
- Objective-C 编程语言官网文档（二）-对象，类以及消息
- 深度学习自学（三十四）：换衣场景下行人重识别
- 三菱伺服驱动器示例_三菱PLC控制伺服电机编程实例
- 大数据抗疫的“洪荒之力”：多地政府借力大数据技术，多家企业上马大数据产品...
- 纯js轮播图练习-3，类似于淘宝海报带小圆点轮播图
- 如何进阶为数据科学家
- xmanager登陆linux黑屏,用xmanager软件登陆linux的方法
- 赵铁安烧饼机器人_洛阳市民发明打烧饼机器人
- 计算机一级word的知识点,计算机一级word操作知识点
- 计算机上如何转换搜狗,怎样切换输入法,搜狗输入法五笔和拼音切换
- python实用脚本 知乎_Python 爬虫模拟登陆知乎
- opencv光线补偿_光线补偿算法的实现
- 教你如何用手机下载视频号[微信小程序]中的视频