Adversarial Image Registration with Application for MR and TRUS Image Fusion
一、Motivation
1 磁共振(MR)和经直肠超声(TRUS)图像配准是MR-TRUS融合的关键组成部分。
2.由于图像外观之间的巨大差异以及图像对应关系的较大差异。
3 提出了对抗图像配准(AIR)框架。 通过同时训练两个深度神经网络,一个是生成器,另一个是判别器。
4 而且还有一个度量网络,可以帮助评估图像配准的质量。
5 但是,多模式图像配准是一项非常艰巨的任务,因为很难定义鲁棒的图像相似性度量。
6 由于超声图像的嘈杂外观以及MR和TRUS之间的成像分辨率不均匀,因此MR和TRUS的配准更加困难。
二、Contribution
我们提出了一种基于生成对抗网络(GAN)框架[9]并同时训练了CNN的多模态图像配准方法,用于变换参数估计和配准质量评估.
提出的AIR-net不仅可以通过G网络的有效前馈直接估计转换参数,而且可以评估D网络估计的配准质量。
AIR-net以端到端的方式进行训练,训练完成后,G和D都将可用。
三、Method
该框架包含两个部分:1)registration generator 2)registration discriminator
配准生成器用于直接估计变换参数。
图像重采样器然后使用估计的变换参数Test或ground truth变换Tgt对moving image进行插值以获得新的重采样的moving image。
配准判别器(D)尝试使用转换Test或Tgt判断其输入图像对是否对齐。
生成器的网络结构描述如下图:(这是我第一个看见不画网络图的文章)
对于生成器的输出:6个参数对应于3D图像的刚性配准或者为12个参数的3D图像的仿射变换。
D网络的结构几乎与G网络相同,最后一个全连接的层只有一个具有Sigmoid激活功能的输出单元,用于评估配准性能。
Adversarial Training
众所周知,原始GAN由于不稳定的损失而难以训练。Arjovsky等人的Wasserstein GAN(WGAN)的改进版本。在我们的工作中被采用。
为了使网络快速收敛以生成良好的图像配准,还使用扰动变换来计算部分损失,以便网络可以识别较差的配准。
在本文中If为MR图像,Im为 TRUS图像。
第一部分损失表示给定对齐良好的MR-TRUS图像对时判别器的误差期望。
第二部分损失表示在随机扰动的情况下,判别器的误差预期。
生成器的损失定义如下:
Test是生成器产生的配准变化。后面一部分是预测的变换和随机创建的变化之间的欧式距离。alpha是权重参数。
在W-Gan中,在每轮训练之后,都需要裁剪D网络的参数以保持稳定性。
在我们的工作中,裁剪参数设置为0.01。 一旦D网络更新了两次,即参数设置为2,就对G网络进行了训练。值得注意的是,尽管我们使用变换参数之间的欧氏距离作为AIR-Net损失函数的一部分,但是没有它,仍然可以训练AIR-net。 训练过程只需要更长的时间,并且需要仔细调整参数。
关于数据集的描述可以去看原文。
四、Experiments
在测试过程,也会对图像进行随机扰动。然后在初始配准时计算目标配准错误(TRE)和鉴别分数(D分数)
The improved image alignment is also reflected by the D-Scores. As the registration quality improves, the D-scores also increase. This suggests that both the generator and discriminator networks are working effectively。
五、Conclusions
本文提出了一种基于GAN框架的AIR-net多模态图像配准方法。 据我们所知,这是使用GAN进行多模态医学图像配准的第一项工作。 所提出的方法不仅提供了配准生成器,还同时提供了配准后的质量评估器,可用于质量检查以检测潜在的配准错误。
Adversarial Image Registration with Application for MR and TRUS Image Fusion相关推荐
- 【学习笔记】循环组织感知网络《Recurrent Tissue-Aware Network for Deformable Registration of Infant Brain MR Images》
由于婴儿身体快速发育的原因,大脑MRI图像的精确配准是具有挑战的,于是提出了深度循环神经网络. 该作品有以下三个优点: 1).使用脑组织分割图而不是强度图,以应对婴儿的快速发育: 2).单次配准网络一 ...
- 论文笔记(六))《real-world adversarial examples involving makeup application 》
code:https://github.com/rcmalli/keras-vggface <现实世界的对抗性例子涉及化妆应用> 摘要: 深度神经网络发展迅速,在图像分类.自然语言处理等领 ...
- 【论文笔记】AIR-Net:基于GAN的配准模型
本文是论文<Adversarial Image Registration with Application for MR and TRUS Image Fusion>的阅读笔记. 文章提出 ...
- 【Image Registration】图像配准综述
文章目录 一.图像配准定义 二.图像配准应用场景 2.1 医学图像领域 2.2 其他领域 三.图像配准分类 四.图像配准过程 4.1 特征检测(Feature detection) 4.2 特征匹配( ...
- ETSI GS MEC 011,Edge Platform Application Enablement API
目录 文章目录 目录 ETSI GS MEC 011 MEC APP 与 MEC Service 的关系 ME APP Life Cycle Confirmation and Service Cent ...
- ERP_Oracle Fusion Application新一代ERP介绍
2014-12-31 Created By BaoXinjian 一.摘要 官方对Oracle Fusion Applications 正式介绍: 1. Oracle融合应用软件是一套完整的模块化应用 ...
- 人工智能在医学影像中的研究与应用
人工智能在医学影像中的研究与应用 韩冬, 李其花, 蔡巍, 夏雨薇, 宁佳, 黄峰 沈阳东软医疗系统有限公司,辽宁 沈阳 110167 慧影医疗科技(北京)有限公司,北京 100192 东软集团股份有 ...
- (三十一:2021.01.12)MICCAI 2018 追踪之论文纲要(下)
讲在前面 这部分是PART III和PART IV. 论文目录 PART III Diffusion Tensor Imaging and Functional MRI: Diffusion Tens ...
- 【今日CV 计算机视觉论文速览】Fri, 8 Mar 2019
今日CS.CV计算机视觉论文速览 Fri, 8 Mar 2019 Totally 28 papers Daily Computer Vision Papers [1] Title: Label Emb ...
最新文章
- 批量域更改客户端本地administrator密码
- [读书笔记]C#学习笔记三: C#类型详解..
- mybatis里的日志动态代理
- C 语言高效编程与代码优化
- vscode插件开发实践与demo源码
- Android开发笔记(三十)SQLite数据库基础操作
- ASP.NET--表达式、运算符与分支结构
- 牛客练习赛29: F. 算式子
- ios获取区域服务器信息,ios获取服务器数据
- 时间序列预测入门必读的4篇论文
- 产品设计体会(2002)产品设计的五个层次
- CSDN账号注册 设置用户名
- hadoop服务器的配置文件在哪,Hadoop配置文件详解、安装及相关操作
- javacv教程文档手册开发指南汇总篇
- 蜂考c语言、数据结构(课后习题答案)
- linux添加fcitx输入法,linux安装输入法_怎么在Linux下安装fcitx输入法
- 【论文翻译】Flow-Guided Feature Aggregation for Video Object Detection
- 一键导出ChatGPT聊天记录:让备份更简单
- 从崩溃的系统中恢复多可文档管理系统的办法
- 【论文翻译】EIDETIC 3D LSTM: A MODEL FOR VIDEO PREDICTION AND BEYOND
热门文章
- 关于Mongodb的全面总结,学习mongodb的人,可以从这里开始!
- mac删除global protect
- Linux-alias设置命令别名
- uwsgi2.0.2 安装及自启动
- 极路由+花生壳内网版配置
- 《Federated_Machine_Learning:Concept_and_Applications》精读
- 认证学习4 - Bearer认证(Token认证)讲解、代码实现、演示
- ar vr mr 计算机技术,VR、AR、MR、还有云计算,他们到底是什么?
- kubernetespod控制器详解上
- SpringMVC 自动注入 Request 和 Response 对象