论文阅读（6）用集合深度学习方法在皮肤镜图像中进行皮肤病变分割

Skin Lesion Segmentation in Dermoscopic Images With Ensemble Deep Learning Methods
摘要
1、引言
2、用于皮肤病变分割的深度学习方法
3、方法
- 3.1 数据集
- - ISIC2017数据集
  - PH2数据集
- 3.2 用于皮肤病变分割的集成方法
- - 3.2.1 预处理
  - 3.2.2 DEEPLABV3+
  - 3.2.3 MASK R-CNN
  - 3.2.4 后处理
  - 3.2.5 集成方法
- 3.3 性能指标
- 3.4 实验和结果
- - 3.4.1 与ISIC Challenges 2017比较
  - 3.4.2 Jaccard相似度指数与训练深度学习模型的比较
  - 3.4.3 按病变类型与现有技术水平的比较
  - 3.4.4 在PH2数据集上的比较
4、结论和未来展望

Skin Lesion Segmentation in Dermoscopic Images With Ensemble Deep Learning Methods

摘要

最先进的公共可用的皮肤损伤数据集经常伴随着非常有限的分割GT标记。此外，现有的分割数据集包含有噪声的专家标注，反映了精确标注皮肤损伤边界是费力和昂贵的。

在皮肤镜图像和不同皮肤病变类型的病变诊断中，病变边界分割是准确定位病变的关键

本文提出了全自动深度学习集成方法来实现病变边界分割的高灵敏度和高特异度。

对比了FrCN，FCNs，U-Net，SegNet网络，在灵敏度和特异度上取得了不错的成绩。

1、引言

黑色素瘤是非常严重的病，早期治疗很有效果。
近20年来使用皮肤镜辅助检查很有效果，一般采用ABCD原则对病症进行诊断。
- 其中ABCD方法如下：
- A：表示不对称性。检查皮肤病变的两半在颜色、形状、边缘方面是否匹配。将皮损按长轴和短轴分为两部分，如图所示。在黑色素瘤的情况下，它很可能有不对称的外观。
- B：边界属性。它定义了皮损的边缘是平滑、清晰还是其他。在黑色素瘤的情况下，边缘很可能是不平整的、模糊的、锯齿状的。
- C：颜色属性。黑色素瘤的颜色因区域而异，通常有不同的棕色、棕色、红色和黑色。
- D：直径属性。它测量的是皮损的大致直径。黑色素瘤的直径一般大于6mm（铅笔橡皮擦大小）。

无论皮肤病变的类型如何，能够对皮肤病变进行准确分割的端到端计算机解决方案是非常可取的，以反映临床ABCD规则。对于医学影像的分割，Jaccard相似性指数（JSI）、特异性和敏感性被认为是衡量方法的重要性能指标。因此，计算机化的方法需要在这些性能指标上取得高分。

大多数最先进的基于皮肤镜图像的计算机辅助诊断由多阶段组成，包括图像预处理、图像分割[7]、特征提取[8]和分类[9]。使用手工制作的特征描述符，良性痣往往具有小尺寸和圆形，如图1所示(但有些痣是大的和不寻常的形状).以前的工作中使用的其他特征描述符包括不对称性特征、颜色特征和纹理特征。模式分析被广泛用于描述皮肤病变的皮肤镜外观，例如Lio和Nghiem[10]阐述的黑色素细胞算法。Ashour等[11]，[12]提出了基于直方图的聚类估计（HBCE）算法，以确定所需的聚类数，中子c-means聚类（NCM）方法对ISIC-2016数据集进行分割，中子k-means（ONKM）采用遗传算法对皮肤镜图像进行皮损检测。已经设计了各种计算机算法，基于图像处理和传统的机器学习方法，使用特征描述符和模式分析对病变类型进行分类。Korotkov和Garcia[13]和Pathan等人[1]的两篇评论报告说，其中大多数使用手工制作的特征来分类或分割病变。Korotkov和Garcia[13]的结论是，与以往的研究存在较大的差异，计算机辅助诊断（CAD）系统还没有做好实施的准备。另一个问题是缺乏基准数据集，这使得评估算法的难度加大。Pathan等人[1]认为，CAD系统在实验环境中是可行的，但需要在真实的临床环境中进行严格的验证。因为这些系统需要手动调整超参数，并且由多级组成。

深度学习的方法

2、用于皮肤病变分割的深度学习方法

最近，由Ronneberger等人提出的U-net是生物医学成像研究中的一种流行的深度学习方法。[19]。U-Net允许使用数据增强，包括使用非刚性变形，以充分利用可用的带注释的样本图像来训练模型。这些方面表明，在目前有限的生物医学数据集规模下，U-Net有可能提供令人满意的结果。

非刚性变换和刚性变换（图像处理）

刚性变换：只有物体的位置(平移变换)和朝向(旋转变换)发生改变，而形状不变，得到的变换。
非刚性变换：更复杂的变换，如伸缩，仿射，透射，多项式等一些比较复杂的变换。

余等人。[15]提出了一种超过50层的深度残差网络，用于皮肤病变分割和分类的两阶段框架。他们声称，更深的网络会产生更丰富、更具区别性的识别特征。虽然效果不错，但是两阶段框架和非常深的网络在计算上是昂贵的。

Bi等人。[16]提出了一种用于皮肤病变分割的多级全卷积网络(FCNs)。虽然PH2的数据集上取得了不错的效果，但是在ISIB 2016数据上与ExB团队相比，改进非常的小。

Yuan等人。[14]提出了一种利用19层DCNN实现端到端全自动皮肤病变分割的方法。该方法在一些具有挑战性的情况下效果不佳，比如对比度较低的图像。

GoYal和YAP[22]提出了在ISBI Challenges数据集2017上进行多类分割的完全卷积方法。这是首次尝试通过多分类分割来区分黑色素细胞痣、黑色素瘤和脂溢性角化病，而不是单一类型的皮肤病变。

Vesal等人。[23]以及戈亚尔等人。[24]提出了两阶段分割方法，第一阶段采用快速RCNN，第二阶段分别采用改进的U网和深度极值法进行分割。

Soudani和Barhoumi[25]使用两个深度学习分类模型在ISIC-2017数据集上推荐了最合适的分割技术。最近，Al-Masni et al.。[26]提出了一种全分辨率卷积网络(FRCN)来学习皮肤镜皮损图像每个像素的全分辨率特征，用于皮肤分割。他们在ISIC-2017测试集上的Jaccard指数达到了77.11%。

作者找到的问题

在分割任务中使用的专家注释并不总是非常准确，这可能会影响分割算法的性能。ISIC-2017测试集中的一些例子如图2所示。关于专家注释的其他问题是，一些专家倾向于绘制非常精确的皮肤病变外边界，而另一些专家则绘制松散的外边界来表示皮肤病变的分割基本真相，如图3所示。根据专家对皮肤病变数据集的标注是精确还是松散，任何深度学习算法都很难产生精确的分割结果。对于皮肤病变的精确边界表示，算法需要有较高的Specificity得分，而对于松散的表示，则希望有较高的Sensitivity得分。

在本文中，我们针对这些问题，开发了三种基于CNN的全自动集合方法，以适应精确和松散的病变边界分割。我们在ISIC-2017皮肤镜训练集上对它们进行了训练，并在ISIC-2017测试集和另一个公开的数据集PH2数据集上测试了ISIC-2017训练算法的鲁棒性。

3、方法

本节讨论了公开可用的皮肤损伤数据集、真实基准答案的准备、提出的集成方法以及验证结果的性能度量。

3.1 数据集

ISIC 2017 和PH2 。为了提高性能和降低计算成本，本文将所有图像的大小调整为500×375。

ISIC2017数据集

国际皮肤成像协作组织(ISIC)为黑色素瘤和其他癌症的诊断提供数字皮肤病变图像数据集和来自世界各地的专家注释，为自动CAD解决方案提供推动力。该社区还每年组织皮肤病变挑战活动，以吸引更广泛的研究人员参与，以改进CAD算法的诊断，并传播对皮肤癌[27]的认识。2017年分割竞赛类别包含2750幅图像，其中训练集2000幅，验证集150幅，测试集600幅。图4是由专家松散划分边界的示例，用于标记数据集中的ground truth。因此，算法需要达到高灵敏度才能在该测试集中表现良好。尽管ISIC Challenge 2018[27]是在去年进行的，但它们并没有分享其测试集的正确分割结果。因此，我们的工作基于ISIC-2017。

PH2数据集

PH2数据集有200张图片，其中160张是痣(不典型痣和普通痣)，40张是黑色素瘤[21]。在这个数据集中，Ground Truth（GT）代表了皮肤病变的精确和真实的边界(高特异性)，如图5所示。我们使用这个数据集作为在 ISIC 2017 分割训练集上训练的深度学习模型的额外测试集。

3.2 用于皮肤病变分割的集成方法

3.2.1 预处理

ISIC挑战赛数据集包括世界各地不同皮肤镜和摄像设备拍摄的皮肤镜皮损图像。因此，使用颜色恒定算法[31]进行颜色归一化和照明的预处理是重要的。我们用灰度阴影算法[32]处理数据集，如图7所示。

3.2.2 DEEPLABV3+

为了在皮肤病变数据集上训练DeeplabV3+，我们在Pascal VOC 2012上使用了预先训练的模型，并将21个类别的最终输出调整为单个类别，用于皮肤病变的分割[33]。它将语义标签病变分配给皮肤镜图像中的每个像素。

3.2.3 MASK R-CNN

解释MASK R-CNN的背景，提出自己的解决办法。

3.2.4 后处理

我们使用了基本的图像处理方法，即形态学操作来填充区域并去除结果中不必要的伪影，如图10所示。这些问题只有DeeplabV3+才能解决，因为在Mask R-CNN的情况下，我们没有这些问题。因此，后处理只适用于FCNs和DeeplabV3+等语义分割方法。

3.2.5 集成方法

两种集成方式：Ensemble-ADD and Ensemble-Comparison

REMEMBLE-ADD方法：将Mask R-CNN和DeeplabV3+的结果结合在一起，产生最终的分割蒙版。
Ensemble-Comparis-Large通过比较两种方法输出的像素数来选择较大的分割区域。
Ensemble-Comparis-Small从输出中选取较小的区域。

不同的集成方法对应不同的分割指标：

Ensemble-S 对应的是特异性
Ensemble-L和A对应的是灵敏度

3.3 性能指标

3.4 实验和结果

cpu i7，GPU TITAN X 12G ，RAM 32G+Tensorflow深度学习框架+ISIC 2017 600张测试数据和PH2的200张测试数据。Epoch 100+ 学习率（0.00001~0.1）游优化器采用了没明说，两个配置都采用了动量为0.9，学习率调整策略不一样

Deeplab V3使用的配置
Mask R-CNN使用的配置

3.4.1 与ISIC Challenges 2017比较

3.4.2 Jaccard相似度指数与训练深度学习模型的比较

Ensemble-A 的集成方式相比来说比较好。

3.4.3 按病变类型与现有技术水平的比较

3.4.4 在PH2数据集上的比较

全文都在围绕sensitivity和specificity两个指标进行说明。在该数据集上由于专家的注释比较细致，所以导致具有很高的特异性，实验证明了文中前面提到的两者的意义。

4、结论和未来展望

强鲁棒性的端到端皮肤分割方案对于根据ABCD规则系统为黑色素瘤的病变诊断提供推理是非常重要的。在这项工作中，我们设计了全自动的集合深度学习方法，该方法结合了最好的分割方法之一，即DeeplabV3+(语义分割)和Mask R-CNN(实例分割)，在不同的由噪声专家注释组成的皮肤病变数据集中产生了明显更准确的结果。根据我们的主张，Ensemble-L和Ensemble-A在灵敏度上表现最好，而Ensemble-S在特异性上在ISIC 2017测试集和PH2数据集中表现最好。我们还利用预处理，使用颜色常数算法对数据进行归一化处理，然后，形态图像函数进行后处理，产生分割结果。我们提出的方法优于其他最先进的分割方法和2017年ISIC挑战赛的获奖者，对用于分割的流行性能指标有很好的改进。

本文主要针对灵敏度和特异性两个性能指标进行了探讨。利用集成两个网络模型的结果并结合色彩恒常性的预处理和形态学运算的后处理，以及不同的集成方法来提升在ISIC 2017 和 PH2数据集上性能指标，特别是对利用专家组对病变特征的标注方式（粗略和细致）对两个性能指标(sencisity 和 specificity)的影响。标注细致导致特异性指标越高，相反相对粗略导致灵敏度指标越高，这里也通过实验数据ISIC 2017（相对粗略）和PH2（相对细致）上的试验结果进行了证明。本文主要讨论不同集成方法：ensemble-ADD，ensemble-Large，ensemble-Same。

关于未来的工作：可以在本文的基础上进行微调

可以在预处理方面多下功夫，比如如何改善毛发等问题，还有数据增广的方法
本文采用了动量优化算法和交叉熵损失函数，今后的工作可以用Adam ，SGD，Dice, JSI, FCE loss
可以应用在其他公用数据集上（医学和非医学）