要点

1. 提出了U-Net和一种依赖于数据增强的训练策略，能更加高效地使用有限的标注样本。
2. U-Net由一条捕捉上下文信息的收缩路径和一条提供精准定位的对称路径组成。
3. 这种网络拥有从极少图像训练样本中学习的能力，支持端到端的训练，且预测过程所需时间非常短。

读引言

研究背景

尽管在视觉识别类任务中深度卷积神经网络已经取得了巨大的成功，但是这些成果都受到训练数据和网络结构的大小的限制。
CNN的代表性应用场景就是分类任务，其输出往往只是一个类别标签，但对于许多视觉任务（特别是生物医学图像处理中），所需要的输出应该是精确到每个像素且包含位置信息的标签。
然而，在生物医学任务中，大量的训练数据通常是遥不可及的。

为什么要研究

在生物医学任务中，大量的训练数据通常是遥不可及的，需要更好的利用有限的信息。

主要内容

网络只有卷积层，没有全连接层，且均为valid卷积（padding会使得feature的抽象程度变高进而带来误差，所以在网络中没有这种操作）。

实验如何开展

在超大图像任务中，受到GPU内存大小的限制，需要将原始图像进行分块预测，文章中使用的是overlap-tile策略。该策略的思想是：对图像的某一块像素点（黄框内部分）进行预测时，需要该图像块周围的像素点（蓝色框内）提供上下文信息（context），以获得更准确的预测。

overlap-tile策略的由来：希望最后的输出和真实标签尺寸（338*338）一样，且保证整个过程只有valid卷积（仅使用真实信息），所以就直接在最开始进行padding扩大输入图像，使输出结果正好是原始图像尺寸，同时为了padding后仍旧保存局部区域的边缘信息，因此采用有重叠的镜像padding。简而言之：针对黄色分块预测需要取比黄色框大的区域及边缘的镜像来保证该分块上下文的信息是有意义的，缺失的部分用镜像方法的目的是保存局部区域的边缘信息。
运用弹性形变对数据进行了大量的增强，这样的好处是可以使得网络自动学习到这些变形图像的不变性，而不需要再在多种形变后的数据集合中额外解释或分类这些变换。这在医学图像分割中是非常重要的，因为组织本身就一直处于形变的过程，能够有效的模拟它。数据增强的方法主要有旋转、平移、弹性形变、灰度变换。
此外在很多任务中（比如细胞分割任务），位于接触部分的像素应该加大权重（即在接触单元之间分离的背景标签在损失函数中应获得很大的权重），使得分界线更加明显。

实验大纲

因为U-Net同层两者的尺寸并不相同（主要是valid卷积造成的），所以拼接前的裁剪是必要的。最后一层使用 1×1 大小的卷积核，将通道数降低至特定的数量（如像素点的类别数量）。
裁剪实例代码：

#中心裁剪，以首个拼接部分为例
cropidx = (x4.size(2) - xup.size(2)) // 2
x4 = x4[:, :, cropidx:cropidx + xup.size(2), cropidx:cropidx + xup.size(2)]
xup = self.bn5_out(torch.cat((x4, xup), dim=1))

softmax分类输出：

x表示一个像素点，k表示输出特征图的通道

其损失函数为：

需要预先计算ground truth权重图，补偿训练数据每类像素的不同频率，使网络更加专注于学习分割边界。

图c为分割蒙版，图d为像素级损失权重图

分割边界使用形态学运算，特征图的计算方法如下

其中的Wc是用于平衡类别频率的蒙版权重，d1是该像素点到最近的细胞边界的距离；d2是该像素点到第二近的细胞边界的距离。

总结

U-net由捕获从浅层特征到深层特征的收缩路径和支持精确定位的对称扩展路径组成。与FCN不同的是，U-net特征收集和学习是多尺度的，适用于超大图像分割，同时继承了inception的思想使用拼接的特征融合方式，形成更厚的特征，得到更加好的特征表达。U-net没有全连接层，且全程使用valid来进行卷积，保证分割的结果都是从没有缺失的上下文特征中得到的，因此输入输出的图像尺寸可能不一样。因此，U-net结合了完整的低分辨率信息（深层特征提供物体类别识别依据）和高分辨率信息（浅层特征提供精准分割定位依据）。由于人体内部器官的位置和形状相对固定，所以更易在空间上分类，低分辨率信息能够提供这些信息，同时，医学图像具有较多的高分辨率信息，因此非常适用于医学图像分割。

论文地址：https://link.springer.com/chapter/10.1007/978-3-319-24574-4_28

笔者实验室研究的主要方向是血管图像分割，以及利用生理信号评价脑血流自动调节功能。此专栏会记录我个人对分割领域经典论文，以及一些感兴趣项目的笔记，如果有哪里理解不好的地方欢迎大家指正，共同学习共同进步。

论文解读：U-Net: Convolutional Networks for Biomedical Image Segmentation相关推荐

Unet论文详解U-Net:Convolutional Networks for Biomedical Image Segmentation
背景:Unet结构在分割,重建以及GAN等网络之中被广泛采用,非常经典.网络于2015年5月提出,在后续图像分割领域广泛运用. 论文地址 https://arxiv.org/abs/1505.045 ...
论文翻译：U-Net: Convolutional Networks for Biomedical Image Segmentation
论文地址:http://www.arxiv.org/pdf/1505.04597.pdf U-Net:用于生物医学影像分割的卷积网络摘要普遍认为深度网络的成功训练需要数千个标记好的训练样本.在本文 ...
【U-Net】【粗读】U-Net: Convolutional Networks for Biomedical Image Segmentation
U-Net: Convolutional Networks for Biomedical Image Segmentation Introduction Network Architecture Tr ...
《U-Net: Convolutional Networks for Biomedical Image Segmentation》学习笔记
1. 总述在15年的文章:<U-Net: Convolutional Networks for Biomedical Image Segmentation>中提出了一种基于少量数据进行训 ...
U-Net——《U-Net: Convolutional Networks for Biomedical Image Segmentation》（MICCA 2015)
U-net: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation 医学图像分割 1. U-Net--< ...
U-Net: Convolutional Networks for Biomedical Image Segmentation论文翻译
U-Net: 1)架构:收缩路径和扩展路径 2)特点: 1.语义分割 2.overlap-tile策略 3.使用弹性变形进行数据扩充 4.使用权重损失来分离相同类的接触对象 3)实验: 2015 IS ...
U-Net: Convolutional Networks for Biomedical Image Segmentation 解析
网络结构包括一个捕获上下文信息的收缩路径和一个用于精确定位的对称扩张路径,该网络能使用很少的图像就能够进行端到端的训练,并且在ISBI对电子显微镜下神经元结构进行的分割挑战方面胜过先前的最佳方法(滑动 ...
【论文翻译】Fully Convolutional Networks for Semantic Segmentation_2
论文题目:Fully Convolutional Networks for Semantic Segmentation 论文来源:Fully Convolutional Networks for Se ...
【论文翻译】Fully Convolutional Networks for Semantic Segmentation
论文题目:Fully Convolutional Networks for Semantic Segmentation 论文来源:Fully Convolutional Networks for Se ...

论文解读：U-Net: Convolutional Networks for Biomedical Image Segmentation

要点

读引言