医疗图像论文笔记三：《HEp-2 Specimen Image Segmentation and Classification Using Very Deep Fully Convolutional》

摘要： 论文提出了一种使用全卷积神经网络的模式识别系统，能同时完成人类上皮细胞样本图像的分割和分类问题。作者将残差网络ResNet改进为全卷积的的残差网络（fully convolutional residual network FCRN），使得网络能够完成语义分割任务，其次引入sand-clock形状的的残差块来提升FCRN的性能。

（一）网络结构

（1）Fully Convolutional ResNet（FCR）

网络由88层卷积组成，每一个Bottleneck模块有3个卷积层，每一个Residual in Residual（RiR）有6个卷积卷积层，并且还有4个反卷积层。Bottleneck和RiR模块通过跳连的方式，将前向和后向信号从一个区域传播到其他区域。三个RiR模块与两个步幅为2的卷积组合，来减小输入特征图的分辨率。

由于Conv1、最大池化和RiR模块的存在，输入图像的分辨率大小减小了32倍。作者通过应用反卷积来将特征图上采样到原来的大小，不同阶段的不同大小的特征图上采样系数分别为4,8,16,32，并且最后相加在一起来生成最后的概率图。引入BN来减少内部的 covariate shift，加速训练过程。深层的网络结构使得网络拥有更大的感受野，能包含更多的信息用于语义分割和分类。

（2）Residual in Residual（RiR）

作者提出了一种既能增加网络深度，但是又不会使用更多的残差块的方法 RiR。通过用RiR模块取代ResNet-50中的bottleneck模块，使得网络的深度从50增加到88。由于原始ResNet中的前三个模块主要提取边缘信息，将它们切换到更深层次的体系结构会产生边际性能改进。从而为他们保留原有的瓶颈架构。

从图中可以看出，RiR有六个卷积层，分别为1x1和3x3,1x1卷积用于通道数的增加和减少，3x3卷积主要用于特征的提取。作者提出的RiR模块通过在典型bottleneck设计的剩余部分中连接一个shortcut来构造更深的层，避免梯度消失问题。因此，RiR模块可以看作是bottleneck的扩展。

（二）数据增强

作者应用了三种数据增强操作，分别是S3R，S23R，SRM

S3R：通过从每个HEP-2样本图像中随机裁剪20幅348x261子图像来增强数据集，从而产生20,160幅图像。由于不同类型细胞的标本数量从10个到53个差异很大，因此为样本较少的细胞生成了更多的子图像，这进一步将数据集增加到27,440幅图像。然后将增强训练集中的部分图像旋转90°、180°、270°，以减少子图像之间的相关性。

S23R：原始标本图像旋转20次，即。每次旋转15°（除去90°、180°和270°），从每个旋转的标本图像中裁剪348x261子图像，形成一组30320幅图像。结合从S3R增强的数据集，训练集被增强到57,760幅图像。

SRM：旋转角度减小到10°（除去90°、180°和270°），并且采用镜像操作。为了平衡来自不同细胞模式的训练图像的体积，从旋转的细胞图像中裁剪的子图像数量相应地变化。然后将生成的图像集与来自S23R的图像集结合起来，形成一个包含106272幅图像的增强训练集。

考虑到原始ICPR2014数据集中样本图像的对比度比较低，作者做了图像的预处理来提升图像的对比度，其中 I 为训练图像

（三）网络训练

batchsize=128，初始学习率=0.05，学习率随后减小为0.01，衰减因子gamma=0.1，训练集和验证集的比例为8:2

使用softmax损失函数来衡量模型的分类性能，网络在6个epochs训练后收敛

（四）图像分类

测试的样本图像被分为4x4个子图送入网络进行分类。FCRN对图像的每个像素进行预测，总共为八个类别，七种不同颜色的类别和背景类了，最后的检测结果是通过将子图拼接起来得到的。

（五）评定标准

细胞分割：

样本分类：

（六）不同数据增强策略的结果

实验结果表明，SRM数据增强策略有着最好的效果。但是S23R与SRM有着很高的相关性，这导致了从S23R到SRM的精度提升空间变小。并且相比于S23R而言，考虑到训练时间消耗和性能提升的权衡，SRM并不是一个经济的数据增强方法。

（七）RiR 模块

FCRN-50和FCRN-101是由原始ResNet转换得来的，而FCRN-88添加了RiR模块。由图可知，当层数从50层增加到101层时，训练误差被发现减小，这表明更深的网络学习更好的目标表示特征映射。而FCRN-88比FCRN-101的验证误差低0.015。由于FCRN-101比FCRN-88涉及更多的层，分类误差的降低被认为是在剩余的残差模块中产生的。

作者提出的RiR模块有着sand-clock结构，这种结构增加了网络的深度，并且由于中间的间距层的宽度被压缩了，从而导致参数量相比于左边的级联bottleneck模块更少。

作者在单块TITAN X显卡上做实验表明，同样训练6个epochs的情况下，FCRN-88的训练时间比FCRN-101要少1.8个小时，并且FCRN-88的网络深度是FCRN-50的1.76倍，只增加了16.7%的网络参数大小，因此RiR模块相比于原始Resnet来说是一个高效的方法。

单词学习：

Epithelial 上皮的、皮膜的 autoimmune 自身免疫的 leave-one-out 留一法

Fluorescence 荧光 screening method 筛选法 antibody 抗体 laborious 费力的、辛苦的

Hybrid 混合 morphological 形态学的 a sort of 一种 Nuclear membrane （细胞）核膜

The testing specimen image 测试样本图像 Mitotic spindle 有丝分裂纺锤体 contest 比赛

Nucleolar 核仁 Golgi 高尔基体 Henceforth 从今以后