MedSegDiff: Medical Image Segmentation with Diffusion Probabilistic Model

摘要

第一个基于DPM的通用医学图像分割任务模型
为了提高医学图像分割中DPM的分步区域注意，提出了动态条件编码方法，为每一步采样建立状态自适应条件
进一步提出了特征频率分析器(FF-Parser)：消除高频噪声成分在此过程中的负面影响
代码地址：https://github.com/WuJunde/MedSegDiff

引言

扩散概率模型(DPM)作为生成模型能够生成具有高多样性和合成质量的图像
最近的大型扩散模型：DALLE2、Imagen[，Stable diffusion
本文将当前步分割掩码与先验图像在特征层上进行多尺度融合

方法

步长估计函数:

EIt是条件特征嵌入，本文中是原始图像嵌入，Ext是当前步骤的分割地图特征嵌入。这两个组件相加并发送到UNet解码器D进行重建。步长索引t与添加的嵌入和解码器特性集成在一起。在每一种方法中，都使用共享的学习查找表进行嵌入

动态条件编码

将当前步分割信息xt转换为条件原始图像编码
在Unet编码器中，利用当前步的编码特征增强了原始图像编码器的中间特征
融合采用一种类似于注意力机制的实现
两个特征映射首先进行层归一化，然后将相乘得到的结果与条件编码特征相乘以增强注意区域

FF-Parser

作用：约束xt特征中与噪声相关的分量
主要思想：学习应用于傅里叶空间特征的参数化注意(权重)映射
给定一个解码器特征映射m∈H×W ×C，沿着空间维度执行二维FFT(快速傅里叶变换)，可以表示为:

然后，通过乘以一个参数化的注意映射来调制M的频谱:

最后，通过反FFT将m0逆回空间域

FF-Parser可以看作是频率滤波器的一个可学习版本
与空间注意不同，它对特定频率的分量进行全局调整。因此，可以学习约束高频分量进行自适应融合。

训练和结构

损失函数：Unet中恢复噪声/图像

细节：

编码器由三个卷积阶段组成
每个残差块由两个卷积块组成
每个卷积块由组标准化和SiLU激活函数和一个卷积层组成

实验结果

主要对三个图像进行了测试

消融实验

验证所提出的动态调节和FF-Parser的有效性

MedSegDiff相关推荐

MedSegDiff：基于 Diffusion Probabilistic Model 的医学图像分割
目录前言 MedSegDiff 动态条件编码 FF-Parser 实验 MedSegDiff-V2 概述 Anchor Condition with Gaussian Spatial Attenti ...
2022年11月100篇 diffusion models 扩散模型汇总！
在生成图像方面,自从NIPS 2014的一篇开山之作: Generative Adversarial Nets 论文:https://proceedings.neurips.cc/paper/2014 ...
diffusion medical image segmentation
1.Diffusion Models for Implicit Image Segmentation Ensembles code:https://github.com/JuliaWolleb/Dif ...
封门村，中国第一鬼村，最恐怖之地
中国第一鬼村:封门村,一把诡异太师椅吓到一群人去啊 07-09 11:05 中国第一"鬼村"封门村! 沁阳封门村号称中国最恐怖的村庄,特别是其中谣传的那张夺命太师椅,谁坐谁死. ...
井喷式爆发！2022年11月100篇 diffusion models 扩散模型汇总！
点击上方"摸鱼吧算法工程师"卡片,关注星标获取有趣.好玩的前沿干货! 001 (2022-11-30) Maximum Likelihood Estimation for a ...
【医学图像】图像分割系列.2 （diffusion）
介绍几篇使用diffusion来实现医学图像分割的论文:DARL(ICLR2023),MedSegDiff(MIDL2023)& MedSegDiff-V2(arXiv2023),ImgX-D ...

MedSegDiff