论文阅读（4）基于卷积神经网络的自适应颜色增强在皮肤深层病变分割中的应用

基于卷积神经网络的自适应颜色增强在皮肤深层病变分割中的应用

摘要

问题背景：皮肤病变全自动检测系统对于恶性黑素瘤的早期诊断和预防有作用。
存在的问题：被注释的皮肤镜筛查图像的illumination spectrum问题，该问题和颜色空间有关
解决方案:提出了一种自适应颜色增强技术，目的是为了放大数据表征和模型性能，同时调节色差和饱和度，以最大限度地减少使用合成数据的风险
额外工作：进行了深度可视化操作，可视化了处理过程中的特征图（定性分析）
成果：在ISIC 2018测试集上的到Dice ratio 0.89

没有理解作者提出的目前深度卷积神经网络存在的问题“照明光谱”是什么问题

不知道是否可以理解为图像中的照明分布，颜色分布。

1、引言

介绍了恶性黑色素瘤的严重性，并提出了该病症的诊断和预防的思路。同时，指出深度神经网络在此问题上广泛的应用。
在这项研究中，我们提出了一种深度卷积神经网络（CNN）来分割最常见的色素性皮肤病变。我们结合了一种新型的自适应颜色增强技术，并改进了其同类功能[4，5]（颜色空间的技术，例如色彩恒常性），以扩展我们的训练数据表征。该增强技术利用并解释了皮肤镜筛查样本的高度可变性，其中背景照明、医院采集条件和外部障碍物可以显著修改图像中捕获的皮肤病变的基本颜色特征。

2、人工数据增强

HAM10000数据集，常见色素性皮损的多源皮肤镜图像的大型集合

HAM10000在10,015张图像中描绘了7种类型的皮肤病变（黑色素瘤、基底细胞癌、黑色素细胞痣、光化角化病、良性角化病、皮肤纤维瘤、血管病）。然而，一个完整的视觉表现需要更多的，不易的的图像数量，即理论上自然界的每一个可能的实例。最实用的补偿手段是预测和适应图像的近似现实的变化，超越已有的，有限的数据集使用数据增强。事实证明，这一步可以减少过拟合，提高泛化能力，对推理有很大的影响[2]。

2.1 颜色增强

颜色是诊断黑色素瘤的一个重要特征，因为某些颜色标记与疾病的不同阶段和类别相关[2]。

作者介绍采用图像处理的方法对颜色增强进行处理的方法们，并指出方法存在的问题，在此基础上进行了改进。-----我理解的是采用的传统的方式进行了数据增强。

增强的效果做成了下图这个样子

自己没有研究过图像处理，对此模块的内容需要进一步学习。

2.2 空间增强

作者举例采用了旋转，翻转和平移等操作。、

3、网络结构

本文的网络架构基于U-Net模型进行的改进。预处理采用了归一化和图像尺寸统一修改为 224*224。损失函数采用了交叉熵损失函数和Jaccard Index，优化器采用了Adam。

为了确定该网络最合适的主干，我们对几种值得注意的体系结构(ResNet50、VGGNet16、VGGNet19、Inception-v3)进行了比较分析，每种体系结构都独立地与U-Net轮流结合。

采用了五折 Monte Carlo 交叉验证策略，预训练模型为基于ImageNet的DenseNet201，权重初始化方案为 Xavier ，所有卷积层的激活函数采用的是ReLU，学习率采用了指数衰减的学习率（初始值为0.0001）。

4、结果

实验环境：Google云端平台。
评判标准：
TJA: ThresThresholded Jaccard Index;
JA: Jaccard Index;
DI:Dice Ratio;
AC: Accuracy;
SE: Sensitivity;
SP: Specificity
其中 TJA的计算规则：如果每张图像的Jaccard index得分超过65%，则将该Jaccard index 得分定义为一个图像的Jaccard Index，否则该图像的得分设置为0。最后将所有图像的得分进行平均分就是该数据集训练的ThresThresholded Jaccard Index分数。

Thresholded Jaccard Index, defined as the Jaccard Index of an image if it scores above 65% and zero otherwise, is the primary evaluation metric for the 2018 edition of the challenge.

后处理包括简单地平滑和从预测的二进制掩码中提取最大的连通分量。

5、讨论

5.1 色彩增强的有效性–学习效果

色彩增强能够产生有竞争力的分割结果
广泛的照明光谱有好处
在CIELAB颜色空间也进行了试验，效果不好
未来发展方向–集成学习

5.3 重用基于颜色的分割特征

颜色是由于每个RGB通道中的移动量不同而产生的。通过使用这些新的权重初始化用于病变分类的等效编码器，我们可以传递从正常皮肤分割皮肤病变所需的语义结构信息，作为需要学习的更复杂特征的基础，以便区分不同类型的皮肤病变

利用颜色的分割特征—类似于课程式学习（curriculum learning ）\

6、结论

通过考虑色差、饱和度和光照轮廓在RGB颜色空间中的整体分布，对每次增强进行调节，以防止过饱和和人工色调的产生。

本文主要工作在于预处理部分，设计一个颜色增强的技术来帮助分割皮肤病灶。网络结构采用了U-