论文阅读2018-Deep Convolutional Neural Networks for breast cancer screening 重点：利用迁移学习三个网络常规化进行分类

论文阅读2018-Deep Convolutional Neural Networks for breast cancer screening

摘要：我们探讨了迁移学习的重要性，并通过实验确定了在训练CNN模型时采用的最佳微调策略。我们成功地微调了一些最近的，最强大的cnn，并取得了更好的结果，与其他最先进的方法分类相同的公共数据集。例如，我们在DDSM数据库上实现了97.35%的准确率和0.98 AUC，在INbreast数据库上实现了95.50%的准确率和0.97 AUC，在BCDR数据库上实现了96.67%的准确率和0.96 AUC。此外，在对从全部乳房x线照片中提取的所有感兴趣区域(ROIs)进行预处理和归一化后，我们将所有的数据集合并成一个大的图像集，并用它来微调我们的cnn。以获得最佳结果的CNN模型为基线，准确率为98.94%，构建乳腺癌筛查框架。为了评价所提出的CAD系统及其分类新图像的效率，我们在一个独立数据库(MIAS)上进行了测试，得到了98.23%的准确率和0.99的AUC。

方法
2.2.1 预处理
（1）ROI提取
（2）Global contrast normalization (GCN)全局对比度归一化：我们使用每个数据集提供的地面真实值从图像中检测和裁剪感兴趣的区域。病灶的位置和边界由影像专家标记。利用所提供的坐标对病灶的边界框进行精确定位和裁剪。我们将输入大小ROIs固定为r x r个像素。然后，当病变接近边缘，裁剪后的感兴趣区域的宽度或高度小于r值时，我们对输出图像进行重新标定
（3）数据增强
对于每一种形式的数据增强，最简单的方法是添加噪声或对现有数据应用几何变换。应用噪声和转换到图像的损害是有意义的，因为这类数据很可能受到各种噪声的影响，可以在不同的大小和方向被发现。因此，所有的转换都将促进模型更好地学习。
2.2.2 vgg16 ResNet50 Inception V3
2.2.3 迁移学习和微调
首先，我们保留了原始的网络架构，直到完全连接的层
然后，移去最后的FC层，建立自己的FC模型，改为两个输出

2.2.4 正则化和超参数的选择
使用SGD优化，
在训练全连接模型时，我们使用自适应ADAM优化36。该方法结合了AdaGrad和RMSProp两种最近流行的方法的优点，通过对梯度的一、二阶矩的估计来计算不同参数的个体自适应学习速率。
另一方面，在进行微调时，我们使用了学习率小的SGD 最优控制器。我们选择初始学习率为1e-4，每次验证错误停止改善时，学习率就除以10。我们还采用了一种早期停止策略来监控验证损失，并将耐心设置为20个epoch，即如果在验证集上没有记录任何进展，则在停止之前等待精度提高的epoch数量。
使用L2正则化和Dropout

2.2.2乳腺癌筛查框架
做了GUI界面

3 实验结果
提取的ROIs的大小为r×r (r = 300)，我们将其重新标定为224×224，使其与ImageNet用于训练原始cnn的图像的原始大小相匹配。
首先，我们研究了转移学习的程度，通过使用预先训练好的权值作为CNNs的初始化，对模型进行随机初始化，从零开始进行过度训练(图5)。我们使用预先训练的模型作为固定的特征提取器和Softmax层作为一个分类器;我们称之为0微调策略(图6)。最后，我们对每个模型进行实验，找出最优的层数，并对其进行微调，以获得最佳的性能。我们通过微调模型的1、2、3和所有卷积块进行测试，并检查它们在DDSM、BCDR和INbreast数据库上的性能。这些块经过了90个epoch的微调，批大小为128张图像。我们使用了Keras库[30]和Theano[38]作为后端，支持Cuda的GPU NVidia GTX 980 M。
3.1 随机初始化VS迁移学习
一方面，我们随机初始化我们所有的模型，并在数据集上训练它们;另一方面，我们使用预先训练好的模型作为我们的模型的初始化。图5给出了在DDSM、BCDR和INbreast上训练的两种不同设置的对比结果。
随机初始化仅仅是从一个低偏差的标准分布中抽取每个权重。其思想是根据一个分布随机选择权值，这将有助于优化过程收敛到一个有意义的解决方案。
网络权值被初始化为一个由高斯分布产生的小的随机误码率，在我们的例子中，其值在0到0.05之间。低偏差允许将净工作偏向于一个简单的0解决方案，而不会产生实际初始化权重为0[35]的不良影响。
3.2 微调
我们加载了模型的初始权值;我们冻结了底层架构的各个层，并在顶层对每个数据集进行了30个epochs的全连接模型训练。
在进行微调之前对新的全连接模型进行训练是很重要的，这样才能从正确训练过的权值开始，而不会破坏已经学习过的卷积基础。实验结果显示，在进行微调之前，对新添加的全连接层进行训练，结果提高了5%到10%。
微调两层CONV+一层FC的效果最好
然而，过多的层次微调会导致更糟糕的结果。也许，由于使用了深度架构和小数据集，模型由于大熵容量而通过学习不相关的特征而开始过拟合。如图3所示，INbreast数据库(这是我们研究案例中最小的数据库)在对VGG16和ResNet50的所有层进行微调的同时，我们的测试集的准确率接近50%。这里的想法是，我们需要让最后的卷积层学习更多数据特有的特征，但我们不需要干扰第一个卷积层，因为他们已经很好地调整了学习通用特征，特别是如果我们没有足够的数据来训练。

3.3 分类结果最好的CNN模型实现
我们使用模型的这个实现来训练数据集。此外，我们还在合并数据集(MD)上训练CNNs，并计算每个案例的平均精度、标准间隔和时间。
我们可以看到，所有的cnn都达到了很好的准确率，但是Inception v3模型在所有数据集上都优于它们。在计算时间方面，Inception v3和ResNet50都比VGG16快得多。虽然这两个网络都比后者更深，但它们的复杂性仍然较低，因为它们不是按顺序堆积在一起的。另一方面，我们可以清楚地看到，用于重新训练网络的数据的大小会影响结果。

3.4 监视我们的模型的性能
由于我们所拥有的训练样本很少，而ImageNet中用于训练原始模型的数以千计的图像，我们必须防止模型过拟合。我们进行了数据扩增，但还不够，因为扩增的样本仍然高度相关。为了解决这个问题，我们通过应用L2正则化和添加一个dropout层，迫使模型的权重取较小的值。然后用模型的accuracy和loss图像来监视模型的性能。

3.5在合并数据集上进行测试

3.6 和别人的工作进行比较

**总结：**综上所述，我们可以得出结论，与其他方法相比，通过转移学习将最近精心设计的深度学习cnn整合到筛选机制中会带来明显的改善。提出的微调策略提高了目前在许多公共数据集上的分类精度。在合并数据集上训练得到总体准确率最高的Inception v3模型，用于开发肿块病变分类工具。设计出的乳腺癌筛查框架，可以成功地对许多乳房x光检查中未见过的肿块图像进行分类。它在鉴别良恶性病变时提供了很高的准确率。因此，它的输出可以作为“第二意见”，以协助放射科医生给予更准确的诊断。我们未来的工作包括使用更深的结构和更有挑战性的图像来处理高密度乳房x光片造成的障碍。此外，我们认为在学习过程中，将其他成像技术与乳房x线照相术相结合，也有助于构建一个稳健有力的乳腺肿块病变分类工具。

论文阅读2018-Deep Convolutional Neural Networks for breast cancer screening 重点：利用迁移学习三个网络常规化进行分类相关推荐

翻译： Deep Convolutional Neural Networks for Breast Cancer Histology Image Analysis
翻译: Deep Convolutional Neural Networks for Breast Cancer Histology Image Analysis(深度卷积神经网络在乳腺癌组织学图像分 ...
论文阅读：Deep convolutional neural networks for pan-specific peptide-MHC class I binding prediction
发表年份:2017 论文地址:下载论文 1.项目背景对特定主要组织相容性复合体(MHC)结合的候选肽进行计算机扫描,可以加快基于肽的疫苗开发.近些年基于机器学习的方法通过训练大量的实验数据取得成功, ...
论文阅读：Multi-view Convolutional Neural Networks for 3D Shape Recognition
Preface 今天阅读一篇ICCV2015的论文:<Multi-view Convolutional Neural Networks for 3D Shape Recognition>, ...
论文阅读：Pointwise Convolutional Neural Networks
文章地址:https://arxiv.org/abs/1712.05245 github项目地址:https://github.com/scenenn/pointwise Motivation: 1. ...
论文《ImageNet Classification with Deep Convolutional Neural Networks》阅读及AlexNet的Tensorflow2复现
论文<ImageNet Classification with Deep Convolutional Neural Networks>阅读及AlexNet的Tensorflow2复现论文 ...
论文阅读——ECA-Net: Efficient Channel Attention for Deep Convolutional Neural Networks
ECA-Net: Efficient Channel Attention for Deep Convolutional Neural Networks 改进版通道注意力 from CVPR2020 期 ...
深度模型压缩论文（01）- Meta Filter Pruning to Accelerate Deep Convolutional Neural Networks
文章目录 1.摘要和介绍 1.1摘要部分 2.背景和方法 2.1 背景 2.2 贡献 2.3 方法 3.实验和结果 3.1 实验 3.2 结果 4.总结和展望 4.1 总结 4.2 展望本系列是在阅 ...
文献阅读（63）NIPS2012-ImageNet Classification with Deep Convolutional Neural Networks
本文是对<ImageNet Classification with Deep Convolutional Neural Networks>一文的浅显翻译与理解,如有侵权即刻删除. 更多相关 ...
经典DL论文研读(part4)--ImageNet Classification with Deep Convolutional Neural Networks
学习笔记,仅供参考,有错必纠文章目录 ImageNet Classification with Deep Convolutional Neural Networks 摘要 Introduction ...

论文阅读2018-Deep Convolutional Neural Networks for breast cancer screening 重点：利用迁移学习三个网络常规化进行分类

论文阅读2018-Deep Convolutional Neural Networks for breast cancer screening

论文阅读2018-Deep Convolutional Neural Networks for breast cancer screening 重点：利用迁移学习三个网络常规化进行分类相关推荐

最新文章

热门文章