nature 2019

配套论文笔记：nnU-Net: Self-adapting Frameworkfor U-Net-Based Medical Image Segmentation_UQI-LIUWJ的博客-CSDN博客

1 abstract & intro

生物医学成像中的语义分割算法能够在许多应用中进行图像分析和量化，设计特定的及解决方法并不容易，并且高度依赖于数据集属性和硬件条件，不具备普适性。

目前的这些图像语义分割方法大多是task-specific，他们的模型设计、参数配置、数据增强方法等都需要很特殊的专家知识和经验。一个数据集上很成功的配置可能在另一个数据集上就完全行不通

这篇论文提出了nnU-Net，它可以对任何新任务、新数据集自行配置自己的预处理部分、模型架构、训练和后处理部分，不需要任何人为决策。

2 结果

2.1 分割结果

图1是不同的分割结果，每一组图坐标是2D投影，右边是3D渲染

2.2 适应任何新数据集

图2表示了nnU-Net如何系统性地解决整个图像分割的问题

粉色的方块描述一个数据集
箭头表示由rule导致的各个参数之间的关联性
通过这些rule，我们可以用粉色的方块计算出绿色方块里面的内容【rule-based parameters】
蓝色的表示固定的参数，不随数据集而变化
黄色的表示是否继承，以及时候需要后续操作

nnU-Net 的自动配置可以看成将domain knowledge提取成3个参数组

2.2.1 固定的参数

不需要适应数据的参数（不同数据集上都一样的参数）

其中某些部分的介绍可以看论文笔记：nnU-Net: Self-adapting Frameworkfor U-Net-Based Medical Image Segmentation_UQI-LIUWJ的博客-CSDN博客

2.2.2 Rule-based Parameters

根据“dataset fingerprint”，也就是描述图像数据的参数，我们可以得到一组基于规则的参数。

这边的规则会决定很多剩下的参数（影响preprocessing、model structure等部分），论文给出了几个规则的例子：

更大的batch size可以获得更精准的梯度预测，因而更推荐（在实践中任何大于1的batch size都是OK的）
更大的patch size可以获得更多的上下文信息，因而会获得更好的performance（医学影像的图通常很大，而且通常是三维的，无法将一整张图放入network中，因而需要将其划分成一个一个的patch，对每个patch进行图像分割，将各个patch的segmentation结果concatenate起来）、
- ——>将patch size 初始化为图像大小的中位数
- ——>迭代地减少patch size，同时调整网络拓扑架构（网络深度、池化操作数量、池化操作位置、feature map 的尺寸、卷积核尺寸）
- ——>直到网络可以在给定GPU的限制下，且batch 至少是2的情况下，可以被train
神经网络的深度需要足够深，使得感受野的尺寸至少和patch size一样大，这样才不会有某些信息被丢弃

2.3.3 empirical parameter

2.2.4 nn-Unet 架构

和一下的nn-Unet是一样的

论文笔记：nnU-Net: Self-adapting Frameworkfor U-Net-Based Medical Image Segmentation_UQI-LIUWJ的博客-CSDN博客

2.3 nnU-Net在很多任务上做的更好

2.4 不同数据集的影响

下图是不同医学图像分割数据集的fingerprint

不难发现不同数据集呈现的特点是各式各样的，这也就导致了在一个数据集上比较好的模型可能在别的数据集上效果很差，需要重新优化。nnU-Net通过自己进行参数配置，可以有很好的泛化效果。

2.5 改变一些fixed parameters

稍微改变fixed parameters，在10个数据集上比较一下效果

尽管在某些数据集上，修改了一些fixed parameter的效果会更好，但没有一个修改后的模型在所有的dataset上都表现得很好。

3 总结

nnU-Net是一种基于深度学习的分割方法，可以在任何医学影像分割任务中自动配置，包括预处理、网络架构、训练和后处理。

nnU-Net 的强大性能不是通过新的网络架构、损失函数或训练方案来实现的，而是通过将手动方法配置的复杂过程系统化，这在以前是通过繁琐的手动调参或inductive bias来解决。

我们假设 nnU-Net 最先进性能背后的原因在于将大量数据集中的知识提炼成一组稳健的设计选择，这些选择在应用于新数据集时会转化为强大的归纳偏差，并且这允许超出在单个数据集上配置模型的泛化能力。

论文笔记：nnU-Net: a self-configuring method for deep learning-based biomedical image segmentation相关推荐

【论文笔记】（JSMA）The Limitations of Deep Learning in Adversarial Settings
引流:https://www.cnblogs.com/setdong/p/16414390.html 本文是早期的对抗文章,发表于 EuroS&P 2016会议,最主要的工作是:提出了一个生成 ...
【论文笔记】Towards Privacy-Preserving Affect Recognition: A Two-Level Deep Learning Architecture
摘要使用图像和计算机视觉自动理解和识别人类情感状态可以改善人-机算计交互和人-机器人交互.然而,隐私已成为一个备受关注的问题,因为在此过程中可能会暴露用于训练情感模型的人的身份.例如,怀有恶意的人可 ...
论文阅读笔记：Improving Attacks on Speck32 / 64 using Deep Learning
论文阅读笔记:Improving Attacks on Speck32 / 64 using Deep Learning 本文通过神经网络利用了减少轮数的 Speck 的差分性质.为此,作者对神经网络 ...
【论文笔记】Multi-task deep learning based CT imaging analysis for COVID-19 pneumonia: Classification and
声明不定期更新自己精度论文,通俗易懂,初级小白也可以理解涉及范围:深度学习方向,包括 CV.NLP.Data Fusion.Digital Twin 论文标题:Multi-task deep le ...
【论文学习笔记】《A Review of Deep Learning Based Speech Synthesis》
基于深度学习的语音合成综述论文学习文章目录基于深度学习的语音合成综述论文学习 1 简介 2 语音合成概述 2.1 语音合成概念 2.2 语音合成发展历史 2.3 传统语音合成技术 2.3.1 拼接 ...
论文翻译七：Adversarial Transfer Learning for Deep Learning Based Automatic Modulation Classification
30天挑战翻译100篇论文坚持不懈,努力改变,在翻译中学习,在学习中改变,在改变中成长- Adversarial Transfer Learning for Deep Learning Based ...
论文翻译：2021_语音增强模型压缩_Towards model compression for deep learning based speech enhancement...
论文地址:面向基于深度学习的语音增强模型压缩论文代码:没开源,鼓励大家去向作者要呀,作者是中国人,在语音增强领域深耕多年引用格式:Tan K, Wang D L. Towards model c ...
《A Survey on Deep Learning Technique for Video Segmentation》视频分割综述阅读笔记(翻译)
<A Survey on Deep Learning Technique for Video Segmentation>视频分割综述阅读笔记(背景部分翻译) 作者:Wenguan Wang ...
论文详读：LEMNA: Explaining Deep Learning based Security Applications
我以我ppt的内容顺序介绍一下这篇论文,希望有错误的地方大家可以帮我指出嘻嘻 1.论文出处论文名:LEMNA: Explaining Deep Learning based Security App ...
李弘毅机器学习笔记：第十二章—Recipe of Deep Learning
李弘毅机器学习笔记:第十二章-Recipe of Deep Learning 神经网络的表现如何改进神经网络? 新的激活函数梯度消失怎么样去解决梯度消失? Adaptive Learning R ...

论文笔记：nnU-Net: a self-configuring method for deep learning-based biomedical image segmentation