【论文笔记】基于U-Net的医学图像分割模型nnU-Net(no-new U-Net)
本文是 nnU-Net 论文的笔记,稍微做了整合了一下,可能有些地方有所遗漏,等以后看完代码之后再补充。
1. 摘要
nnU-Net(no-new-Net)是基于 U-Net 的一种模型,它在达到很好的效果的同时还实现了自适应(self-adapting)的功能。在不同数据集(或不同的部位)的医学图像上进行分割时,往往需要具有不同结构的网络和不同的训练方案,自适应是指模型在对不同的数据集进行训练时,可以自动的调整 batch-size、patch-size 等,以达到很好的效果。
作者在一个医学图像分割十项全能比赛当中的 6 个数据集集中都取到了当时最好的结果,这个比赛一共 10 个数据集,它会给出 7 个数据集让你训练,然后在其他 3 个数据集上进行验证。
2. 方法
2.1 网络结构
作者以 U-Net 为基础,通过调整网络的结构后效果没有得到提升,所以作者转而关注非结构的部分。nnU-Net 可以根据给出的数据集自动的调整网络的设置。nnU-Net 相比于 U-Net,前者用 leaky ReLU 代替了 ReLU 做激活函数,用实例正则化(instance normalization)代替了批正则化(batch normalization)。
U-Net 采用编码器-解码器的结构,其中编码器部分可以聚合语义信息(semantic information),但是同时也会损失空间信息(spatial information),说人话就是编码器在提取图像特征的同时也使图像的分辨率降低了。但是语义信息和空间信息对于分割任务来说都是至关重要的,所以在解码器部分需要对空间信息进行恢复,具体的就是通过下层的语义信息,并结合利用跳跃连接得到的更高分辨率的特征图(即空间信息)来进行空间信息的恢复。
nnU-Net 由三种基础的 U-Net 网络组成,分别是 2D U-Net,3D U-Net 和 U-Net Cascade。其中,2D 和 3D U-Net 产生一个全像素的分割结果,U-Net Cascade 先产生一个低像素的分割结果,再对其进行微调。
直观来看,2D U-Net 在处理 3D 的医学图像时不是最优的,因为在 z z z 轴上的信息没有得到充分的利用。但是也有证明显示 3D 分割方法在一些具有各向异性(不懂何为各向异性)的数据集上效果会变差。我们通常会选择 3D U-Net 来处理 3D 的医学图像,但这 3D 分割方法的一个缺点就是占用显存较大,当显存放不开一个 3D 图像时,可以将图像的 patch 作为输入,但这又限制了视野(field of view),不能充分的利用图像的上下文信息。为了解决 3D U-Net 带来的这种问题,所以使用了 U-Net Cascade 的方法,即先用一个 3D U-Net 处理下采样之后的图像(图像分辨率较低),然后输出分割结果,并将其上采样到原始大小,并作为附加的输入通道(和原始 3D 图像在通道上拼接)输入到第二个 3D U-Net 做基于 patch 的分割。
上图是 U-Net Cascade 的示意图,要注意每个不同标记所代表的意思,然后结合上一段的内容还是比较好理解的。
2.2 动态自适应
网络的动态自适应简单来说就是根据数据集的不同自动的调整 batch size 和 patch size,当 patch size 大的时候 batch size 就小一点;当前者小的时候,后者就大一点。此外还要调整池化和卷积操作的个数。
3. 预处理
3.1 裁剪
将图像中非零的区域裁掉,可以减小显存的负担。
3.2 重采样
由于成像设备和成像协议的不同,医学图像的体像素间距也不同,所以要对其进行重采样。具体的,对医学图像使用三阶样条插值法,对其相应的分割标签使用最近邻插值法。
3.3 正则化
对于 CT 图像而言,对其像素值归一化到原像素值的 0.5%~95.5%,并根据均值和方差对其进行 z-score 正则化。对于非 CT 图像而言,只进行 z-score 正则化。
4. 训练
4.1 网络设置
训练时的总损失 = d i c e = dice =dice 损失 + 交叉熵损失,优化器使用的是 Adam 优化器,学习率为 3 × 1 0 − 4 3\times 10^{-4} 3×10−4,每当训练损失的指数移动平均值在最近 30 个 epoch 内没有改善时,学习率下降 0.2 倍。当在 60 个 epoch 内,学习率的变化不超过 5 × 1 0 − 3 5\times10^{-3} 5×10−3 并且学习率不小于 1 0 − 6 10^{-6} 10−6 时,停止训练。在验证时使用五折交叉验证。
4.2 数据增强
使用随机旋转、随机缩放、随机弹性变形、伽玛校正增强和反射做数据增强。在第二阶段的 U-Net Cascade 中使用了形态学操作和随机移除分割中的连接组件来进行数据增强。
5. 推断
因为网络的准确率在一个 patch 中的中央部分较高,而在边缘部分较低,所以在在中央部分的体素的权重较高,而边缘部分的较低。
6. 后处理
对 3D 医学图像进行分割,最终器官的分割结果在空间当中一定是连通的,所以最后只保存最大的连通分量,其他的均删除。
【论文笔记】基于U-Net的医学图像分割模型nnU-Net(no-new U-Net)相关推荐
- MICCAI 2022:基于 MLP 的快速医学图像分割网络—UNeXt
MICCAI 2022:基于 MLP 的快速医学图像分割网络 UNeXt 文章目录 前言 方法概述 UNeXt 架构 TokMLP 设计思路 实验部分 一些理解和总结 参考链接 前言 最近 MICCA ...
- 基于深度学习的医学图像分割学习笔记(九)UNet 3+
UNet 3+: A Full-Scale Connected UNet for Medical Image Segmentation 原文链接 代码 dateset:131例腹部增强CT(3D)用于 ...
- 基于深度学习的医学图像分割综述
转载:https://blog.csdn.net/weixin_41783077/article/details/80894466 摘要:医学图像分割是决定医学图像在临床诊疗中能否提供可靠依据的关键问 ...
- 基于深度学习的医学图像分割(一)
医学图像分割是医学图像处理与分析领域的复杂而关键的步骤,其目的是将医学图像中具有某些特殊含义的部分分割出来,并提取相关特征,为临床诊疗和病理学研究提供可靠的依据,辅助医生作出更为准确的诊断.由于医学图 ...
- 【论文汇总】CVPR2020语义分割医学图像分割paper汇总
语义分割&医学图像分割 segmentation@CVPR2020 CVPR2020语义分割和医学图像分割文章总结 文章目录 语义分割&医学图像分割 segmentation@CVPR ...
- 论文笔记--基于 FCM 聚类的跨模态人物图像标注方法-2015
期刊论文-基于 FCM 聚类的跨模态人物图像标注方法-2015-微型电脑应用-赵昀,张翌翀 文末附人脸标注相关论文下载地址 文章目录 摘要 技术 人脸检测与特征表示(与2012年吴伟硕士论文<跨 ...
- UniverSeg:通用医学图像分割模型来了!
自从今年以来ChatGPT爆火和GPT-4的发布,一时间在大模型的潮流下,通用人工智能(AGI)也呼之欲出.随着本月初SAM和SegGPT等通用的CV大模型的提出,大模型和通用模型这把火也逐渐烧到的C ...
- 通用医学图像分割模型UniverSeg
虽然深度学习模型已经成为医学图像分割的主要方法,但它们通常无法推广到涉及新解剖结构.图像模态或标签的unseen分割任务.给定一个新的分割任务,研究人员通常必须训练或微调模型,这很耗时,并对临床研究人 ...
- 机器学习实验笔记-基于信用卡数据建立行为评分模型的机器学习方法
基于信用卡数据建立行为评分模型的机器学习方法 很久之前的一个答疑, 应该不会再影响评分了, 记录以供复习. 数据集与代码放在CSDN下载区域, 也可以留言索要. https://download.cs ...
最新文章
- 热烈庆祝 ubuntu10.10发布
- python线性加权回归_python深度学习-tensorflow实现一个线性回归的案例
- Viewpager的创建和使用——————————不懂的大家可以问,欢迎提问
- javascript本地缓存方案-- 存储对象和设置过期时间
- Random Forest算法简介
- 一文搞懂Python知识难点------装饰器
- k近邻分类器的使用:简单例子
- 快速学习django
- C程序设计--查找(二分法查找/折半查找)
- 湖北 政府项目 软件 测试,湖北电子政务应用系统技术验收测试规范.doc
- Java:项目整体结构分析
- 计算机基础与网络在线试题,计算机网络基础期末考试试题
- 微信公众号认证流程-微信公众号使用教程3
- 三星s8自带测试硬件软件,三星s8硬件测试指令 | 手游网游页游攻略大全
- 学校计算机教室学生使用记录表,学校学生信息技术教学计划
- Vue中computed(计算属性)、methods、watch的区别
- linux学习计划书
- 解决MPx 无法在windows下运行
- 关于Hex文件的解析和修改应用
- 论文中文翻译成英文有什么好办法?