基于GAN的图像配准汇总

1、 Adversarial Similarity Network for Evaluating Image Alignment in Deep Learning based Registration
- 1.1、简介
- 1.2、、记号
- 1.3、网络结构
2、Adversarial learning for mono- or multi-modal registration
- 2.1、相关工作
- 2.2、网络结构

1、 Adversarial Similarity Network for Evaluating Image Alignment in Deep Learning based Registration

（基于深度学习的配准中用相似性对抗网络来评估图像的对齐）

1.1、简介

一般的无监督配准模型是需要指定相似性指标，然后通过神经网络来最大化两幅图像之间的相似性，从而达到配准的目的。常用的相似性指标有平方差（SSD）和互相关（CC）等。但是这些相似性指标不是对所有数据集都适用的。

本文提出了一种基于生成对抗网络（GAN）的无监督配准模型，在训练时不需要 ground-truth，也不需要指定图像之间的相似性度量指标。

上图是该模型与其他模型的配准结果对比示意图，对比黄色方框中的区域可以看出，本文提出的模型输出结果更接近于 template image。

1.2、、记号

本文中 fixed image 被称为 template image，记作TTT；moving image 被称为 subject image，记作SSS；形变场 ϕ\phiϕ就是使得 SSS和TTT 最相似的形变场，可表示为：

ϕ=argϕminM(S∘ϕ,T)+Reg(ϕ)\phi = arg_{\phi} minM(S \circ \phi,T) + Reg(\phi) ϕ=argϕminM(S∘ϕ,T)+Reg(ϕ)

其中S∘ϕS \circ \phiS∘ϕ表示形变场作用在 SSS 上生成扭曲后的图像M(S∘ϕ,T)M(S\circ \phi, T)M(S∘ϕ,T) 表示两幅图像的差异性，Reg(ϕ)Reg(\phi)Reg(ϕ)是正则项，表示形变场ϕ\phiϕ的平滑性。

在该模型中，生成器是一个配准网络 RRR，它用来预测一个形变场ϕ\phiϕ；判别器是一个判别网络DDD，它用来判断两幅图像之间的相似性概率ppp，p∈[0,1]p \in [0,1]p∈[0,1]。

1.3、网络结构

该网络模型由三部分组成——配准网络、变形转换层和判别网络。

1. 配准网络
采用的是类似于 U-Net 的网络结构，使用三维的 patch 作为输入，图像对 (S,T)(S,T)(S,T) 通过配准网络可以得到一个位移向量场（形变场）ϕ\phiϕ。

2. 变形转换层
根据配准网络预测出的形变场 ϕ\phiϕ，对图像 SSS做变换，得到扭曲后的图像S∘ϕS \circ \phiS∘ϕ。

3. 判别网络
判别网络用来判别输入的两个图像块是否相似，并输出一个相似性概率 ppp。

上图是判别网络的结构示意图，每个卷积层后面跟着一个 ReLU 激活函数，并且卷积采用 0 填充的方式。

上图是整个网络的结构示意图。如上图所示，一个变形转换层起到了连接配准网络和判别网络的作用，它可以把配准网络产生的形变场 ϕ\phiϕ 和图像SSS 作为输入，得到根据形变场扭曲后的图像 S∘ϕS\circ\phiS∘ϕ，再将扭曲后的图像和图像TTT输入到配准网络。输入时，不是输入整幅图像，而是输入大小为64×64×6464\times64\times6464×64×64 的图像块（patch），并得到一个大小为 24×24×2424\times24\times2424×24×24 的形变场。

参考：【论文笔记】基于生成对抗网络（GAN）的无监督医学图像配准模型

2、Adversarial learning for mono- or multi-modal registration

本文是论文《Adversarial learning for mono- or multi-modal registration》的阅读笔记，是范敬凡老师的工作，是文章《Adversarial Similarity Network for Evaluating Image Alignment in Deep Learning based Registration》中工作的延续。关于后一篇文章，可以查看我的博客。
文章提出了一个基于GAN（生成对抗网络）的无监督配准模型，需要任何ground-truth形变场，也不需要指定相似性度量标准。

2.1、相关工作

配准算法是来获取一个可以配准图像的空间变换，空间变换通常包括线性变换（平移、旋转、缩放、shearing）和非线性变换（体素到体素的关系）。配准问题可以表示为一个获取使得图像不相似性最小的形变场ϕ∗\phi^*ϕ∗ ，表示为下式：

传统的医学图片配准方法通常是高维的数学优化，所以很耗时间。基于深度学习的有监督配准方法多聚焦于预测体素到体素的映射，即密集形变场（dense deformation fields），但是它们效果又被ground-truth形变场所限制。而无监督的配准方法旨在通过最大化图像之间的相似度来学习一个形变场，这里的图像相似度通常采用SSD（平方误差和）、CC（互相关）等，但是很难决定在不同的配准问题中采取哪种特定的相似性度量才会达到最好效果。无监督的方法另一个优点是没有有监督信息，所以节省了内存/显存，进一步同样的显存可以容纳更大的图像，使得大尺度的无标签图像的配准变成可能。

2.2、网络结构

该模型实现了基于patch和基于图像的单模和多模3D图像的配准，单模图像选用的是脑部MR图像，多模选用的是骨盆的MR图像和CT图像。文章的贡献如下：

与传统的配准方法相比，该方法更鲁棒，更快，并且是端到端的；
与有监督配准方法相比，该方法不需要ground-truth形变场；
该方法可以自动学习图像之间的相似性度量，而不需要任何先验假设；
可以同时处理单模和多模配准问题。
文章提出的基于GAN的无监督配准模型包括一个配准网络（生成器）、一个判别器和空间变换网络。下图是网络的整体结构示意图。

参考：【论文笔记】ASNet：基于生成对抗网络（GAN）的无监督单模和多模配准网络（范敬凡老师）

基于GAN的图像配准汇总相关推荐

干货 | 基于特征的图像配准用于缺陷检测
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达特征提取基于特征的图像配准,具有非常广泛的应用,大致流程可以如下 ...
【视频课】生成对抗网络经典任务，详解基于GAN的图像生成算法！
前言欢迎大家关注有三AI的视频课程系列,我们的视频课程系列共分为5层境界,内容和学习路线图如下: 第1层:掌握学习算法必要的预备知识,包括Python编程,深度学习基础,数据使用,框架使用. 第2层 ...
综述：基于GAN的图像翻译模型盘点
作者丨薛洁婷学校丨北京交通大学硕士生研究方向丨图像翻译图像翻译(Image translation)是将一个物体的图像表征转换为该物体的另一种图像表征,也就是找到一个函数能让 A 域图像映射到 ...
【每周CV论文推荐】基于GAN的图像修复值得阅读的文章
欢迎来到<每周CV论文推荐>.在这个专栏里,还是本着有三AI一贯的原则,专注于让大家能够系统性完成学习,所以我们推荐的文章也必定是同一主题的. 图像修复(补全)是一个非常基础的图像处理领域 ...
图像配准融合（一）——基于互信息的图像配准方法（c++）
1.内容简介图像配准方法按照其算法原理可以分为:基于灰度信息的配准.基于变换域信息的配准.基于特征信息的配准 (本人实验主要集中在基于灰度信息的配准以及基于特征信息的配准两类方法,对基于变换域信息的 ...
【图像配准】基于互信息的图像配准算法：MI、EMI、ECC算法
简介: 基于互信息的图像配准算法以其较高的配准精度和广泛的适用性而成为图像配准领域研究的热点之一,而基于互信息的医学图像配准方法被认为是最好的配准方法之一.基于此,本文将介绍简单的基于 ...
Pix2Pix——基于GAN的图像风格迁移模型
Pix2Pix--基于GAN的图像风格迁移模型写在前面本文是文献Image-to-image translation with conditional adversarial networks的笔 ...
基于GAN的图像水印去除器，效果堪比PS高手
作者 | 李翔转载自视说AI(ID:techtalkai) 简介:李翔,国内某互联网大厂AI民工,前携程酒店图像技术负责人,计算机视觉和深度学习重度爱好者,在ICCV和CVPR等会议上发表论文十余篇 ...
【MATLAB教程案例27】基于matlab的图像配准算法的仿真与分析——sift,surf,kaze等
FPGA教程目录 MATLAB教程目录目录 1.软件版本 2.图像配准理论概述 3.基于sift特征提取的图像配准

基于GAN的图像配准汇总

基于GAN的图像配准汇总

1、 Adversarial Similarity Network for Evaluating Image Alignment in Deep Learning based Registration

1.1、简介

1.2、、记号

1.3、网络结构

2、Adversarial learning for mono- or multi-modal registration

2.1、相关工作

2.2、网络结构

基于GAN的图像配准汇总相关推荐

最新文章

热门文章

基于GAN的图像配准汇总

基于GAN的图像配准汇总

1、 Adversarial Similarity Network for Evaluating Image Alignment in Deep Learning based Registration

1.1、 简介

1.2、、记号

1.3、网络结构

2、Adversarial learning for mono- or multi-modal registration

2.1、相关工作

2.2、网络结构

基于GAN的图像配准汇总相关推荐

最新文章

热门文章

1.1、简介