文章目录

  • 1 前言
  • 2 前言
  • 3 数据集
    • 3.1 良性样本
    • 3.2 病变样本
  • 4 开发环境
  • 5 代码实现
    • 5.1 实现流程
    • 5.2 部分代码实现
      • 5.2.1 导入库
      • 5.2.2 图像加载
      • 5.2.3 标记
      • 5.2.4 分组
      • 5.2.5 构建模型训练
  • 6 分析指标
    • 6.1 精度，召回率和F1度量
    • 6.2 混淆矩阵
  • 7 结果和结论
  • 8 最后

1 前言

Hi，大家好，这里是丹成学长，今天向大家介绍 基于卷积神经网络的乳腺癌分类，

这是 深度学习 在 医学图像分类上的课题

2 前言

乳腺癌是全球第二常见的女性癌症。2012年，它占所有新癌症病例的12%，占所有女性癌症病例的25%。

当乳腺细胞生长失控时，乳腺癌就开始了。这些细胞通常形成一个肿瘤，通常可以在x光片上直接看到或感觉到有一个肿块。如果癌细胞能生长到周围组织或扩散到身体的其他地方，那么这个肿瘤就是恶性的。

以下是报告：

  • 大约八分之一的美国女性（约12%）将在其一生中患上浸润性乳腺癌。
  • 2019年，美国预计将有268,600例新的侵袭性乳腺癌病例，以及62,930例新的非侵袭性乳腺癌。
  • 大约85%的乳腺癌发生在没有乳腺癌家族史的女性身上。这些发生是由于基因突变，而不是遗传突变
  • 如果一名女性的一级亲属(母亲、姐妹、女儿)被诊断出患有乳腺癌，那么她患乳腺癌的风险几乎会增加一倍。在患乳腺癌的女性中，只有不到15%的人的家人被诊断出患有乳腺癌。

3 数据集

该数据集为学长实验室数据集。

搜先这是图像二分类问题。我把数据拆分如图所示

dataset trainbenignb1.jpgb2.jpg//malignantm1.jpgm2.jpg//  validationbenignb1.jpgb2.jpg//malignantm1.jpgm2.jpg//...

训练文件夹在每个类别中有1000个图像，而验证文件夹在每个类别中有250个图像。

3.1 良性样本


3.2 病变样本


4 开发环境

  • scikit-learn
  • keras
  • numpy
  • pandas
  • matplotlib
  • tensorflow

5 代码实现

5.1 实现流程

完整的图像分类流程可以形式化如下：

我们的输入是一个由N个图像组成的训练数据集，每个图像都有相应的标签。

然后，我们使用这个训练集来训练分类器，来学习每个类。

最后，我们通过让分类器预测一组从未见过的新图像的标签来评估分类器的质量。然后我们将这些图像的真实标签与分类器预测的标签进行比较。

5.2 部分代码实现

5.2.1 导入库

import json
import math
import os
import cv2
from PIL import Image
import numpy as np
from keras import layers
from keras.applications import DenseNet201
from keras.callbacks import Callback, ModelCheckpoint, ReduceLROnPlateau, TensorBoard
from keras.preprocessing.image import ImageDataGenerator
from keras.utils.np_utils import to_categorical
from keras.models import Sequential
from keras.optimizers import Adam
import matplotlib.pyplot as plt
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.metrics import cohen_kappa_score, accuracy_score
import scipy
from tqdm import tqdm
import tensorflow as tf
from keras import backend as K
import gc
from functools import partial
from sklearn import metrics
from collections import Counter
import json
import itertools

5.2.2 图像加载

接下来，我将图像加载到相应的文件夹中。

def Dataset_loader(DIR, RESIZE, sigmaX=10):IMG = []read = lambda imname: np.asarray(Image.open(imname).convert("RGB"))for IMAGE_NAME in tqdm(os.listdir(DIR)):PATH = os.path.join(DIR,IMAGE_NAME)_, ftype = os.path.splitext(PATH)if ftype == ".png":img = read(PATH)img = cv2.resize(img, (RESIZE,RESIZE))IMG.append(np.array(img))return IMGbenign_train = np.array(Dataset_loader('data/train/benign',224))
malign_train = np.array(Dataset_loader('data/train/malignant',224))
benign_test = np.array(Dataset_loader('data/validation/benign',224))
malign_test = np.array(Dataset_loader('data/validation/malignant',224))

5.2.3 标记

之后，我创建了一个全0的numpy数组，用于标记良性图像，以及全1的numpy数组，用于标记恶性图像。我还重新整理了数据集，并将标签转换为分类格式。

benign_train_label = np.zeros(len(benign_train))
malign_train_label = np.ones(len(malign_train))
benign_test_label = np.zeros(len(benign_test))
malign_test_label = np.ones(len(malign_test))X_train = np.concatenate((benign_train, malign_train), axis = 0)
Y_train = np.concatenate((benign_train_label, malign_train_label), axis = 0)
X_test = np.concatenate((benign_test, malign_test), axis = 0)
Y_test = np.concatenate((benign_test_label, malign_test_label), axis = 0)s = np.arange(X_train.shape[0])
np.random.shuffle(s)
X_train = X_train[s]
Y_train = Y_train[s]s = np.arange(X_test.shape[0])
np.random.shuffle(s)
X_test = X_test[s]
Y_test = Y_test[s]Y_train = to_categorical(Y_train, num_classes= 2)
Y_test = to_categorical(Y_test, num_classes= 2)

5.2.4 分组

然后我将数据集分成两组，分别具有80%和20%图像的训练集和测试集。让我们看一些样本良性和恶性图像

x_train, x_val, y_train, y_val = train_test_split(X_train, Y_train, test_size=0.2, random_state=11
)w=60
h=40
fig=plt.figure(figsize=(15, 15))
columns = 4
rows = 3for i in range(1, columns*rows +1):ax = fig.add_subplot(rows, columns, i)if np.argmax(Y_train[i]) == 0:ax.title.set_text('Benign')else:ax.title.set_text('Malignant')plt.imshow(x_train[i], interpolation='nearest')
plt.show()

5.2.5 构建模型训练

我使用的batch值为16。batch是深度学习中最重要的超参数之一。我更喜欢使用更大的batch来训练我的模型，因为它允许从gpu的并行性中提高计算速度。但是，众所周知，batch太大会导致泛化效果不好。在一个极端下，使用一个等于整个数据集的batch将保证收敛到目标函数的全局最优。但是这是以收敛到最优值较慢为代价的。另一方面，使用更小的batch已被证明能够更快的收敛到好的结果。这可以直观地解释为，较小的batch允许模型在必须查看所有数据之前就开始学习。使用较小的batch的缺点是不能保证模型收敛到全局最优。因此，通常建议从小batch开始，通过训练慢慢增加batch大小来加快收敛速度。

我还做了一些数据扩充。数据扩充的实践是增加训练集规模的一种有效方式。训练实例的扩充使网络在训练过程中可以看到更加多样化，仍然具有代表性的数据点。

然后，我创建了一个数据生成器，自动从文件夹中获取数据。Keras为此提供了方便的python生成器函数。

BATCH_SIZE = 16train_generator = ImageDataGenerator(zoom_range=2,  # 设置范围为随机缩放rotation_range = 90,horizontal_flip=True,  # 随机翻转图片vertical_flip=True,  # 随机翻转图片)

下一步是构建模型。这可以通过以下3个步骤来描述：

  • 我使用DenseNet201作为训练前的权重，它已经在Imagenet比赛中训练过了。设置学习率为0.0001。

  • 在此基础上，我使用了globalaveragepooling层和50%的dropout来减少过拟合。

  • 我使用batch标准化和一个以softmax为激活函数的含有2个神经元的全连接层，用于2个输出类的良恶性。

  • 我使用Adam作为优化器，使用二元交叉熵作为损失函数。

def build_model(backbone, lr=1e-4):model = Sequential()model.add(backbone)model.add(layers.GlobalAveragePooling2D())model.add(layers.Dropout(0.5))model.add(layers.BatchNormalization())model.add(layers.Dense(2, activation='softmax'))model.compile(loss='binary_crossentropy',optimizer=Adam(lr=lr),metrics=['accuracy'])return modelresnet = DenseNet201(weights='imagenet',include_top=False,input_shape=(224,224,3)
)model = build_model(resnet ,lr = 1e-4)
model.summary()

让我们看看每个层中的输出形状和参数。


在训练模型之前，定义一个或多个回调函数很有用。非常方便的是：ModelCheckpoint和ReduceLROnPlateau。

  • ModelCheckpoint：当训练通常需要多次迭代并且需要大量的时间来达到一个好的结果时，在这种情况下，ModelCheckpoint保存训练过程中的最佳模型。

  • ReduceLROnPlateau：当度量停止改进时，降低学习率。一旦学习停滞不前，模型通常会从将学习率降低2-10倍。这个回调函数会进行监视，如果在’patience’(耐心)次数下，模型没有任何优化的话，学习率就会降低。

该模型我训练了60个epoch。

learn_control = ReduceLROnPlateau(monitor='val_acc', patience=5,verbose=1,factor=0.2, min_lr=1e-7)filepath="weights.best.hdf5"
checkpoint = ModelCheckpoint(filepath, monitor='val_acc', verbose=1, save_best_only=True, mode='max')history = model.fit_generator(train_generator.flow(x_train, y_train, batch_size=BATCH_SIZE),steps_per_epoch=x_train.shape[0] / BATCH_SIZE,epochs=20,validation_data=(x_val, y_val),callbacks=[learn_control, checkpoint]
)

6 分析指标

评价模型性能最常用的指标是精度。然而，当您的数据集中只有2%属于一个类(恶性)，98%属于其他类(良性)时，错误分类的分数就没有意义了。你可以有98%的准确率，但仍然没有发现恶性病例，即预测的时候全部打上良性的标签，这是一个不好的分类器。

history_df = pd.DataFrame(history.history)
history_df[['loss', 'val_loss']].plot()history_df = pd.DataFrame(history.history)
history_df[['acc', 'val_acc']].plot()

6.1 精度，召回率和F1度量

为了更好地理解错误分类，我们经常使用以下度量来更好地理解真正例(TP)、真负例(TN)、假正例(FP)和假负例(FN)。

精度反映了被分类器判定的正例中真正的正例样本的比重。

召回率反映了所有真正为正例的样本中被分类器判定出来为正例的比例。

F1度量是准确率和召回率的调和平均值。

6.2 混淆矩阵

混淆矩阵是分析误分类的一个重要指标。矩阵的每一行表示预测类中的实例，而每一列表示实际类中的实例。对角线表示已正确分类的类。这很有帮助，因为我们不仅知道哪些类被错误分类，还知道它们为什么被错误分类。

from sklearn.metrics import classification_report
classification_report( np.argmax(Y_test, axis=1), np.argmax(Y_pred_tta, axis=1))from sklearn.metrics import confusion_matrixdef plot_confusion_matrix(cm, classes,normalize=False,title='Confusion matrix',cmap=plt.cm.Blues):if normalize:cm = cm.astype('float') / cm.sum(axis=1)[:, np.newaxis]print("Normalized confusion matrix")else:print('Confusion matrix, without normalization')print(cm)plt.imshow(cm, interpolation='nearest', cmap=cmap)plt.title(title)plt.colorbar()tick_marks = np.arange(len(classes))plt.xticks(tick_marks, classes, rotation=55)plt.yticks(tick_marks, classes)fmt = '.2f' if normalize else 'd'thresh = cm.max() / 2.for i, j in itertools.product(range(cm.shape[0]), range(cm.shape[1])):plt.text(j, i, format(cm[i, j], fmt),horizontalalignment="center",color="white" if cm[i, j] > thresh else "black")plt.ylabel('True label')plt.xlabel('Predicted label')plt.tight_layout()cm = confusion_matrix(np.argmax(Y_test, axis=1), np.argmax(Y_pred, axis=1))cm_plot_label =['benign', 'malignant']
plot_confusion_matrix(cm, cm_plot_label, title ='Confusion Metrix for Skin Cancer')

7 结果和结论


在这个博客中，学长我演示了如何使用卷积神经网络和迁移学习从一组显微图像中对良性和恶性乳腺癌进行分类，希望对大家有所帮助。

8 最后

毕业设计 - 基于卷积神经网络的乳腺癌分类 深度学习 医学图像相关推荐

  1. 基于卷积神经网络的句子分类模型【经典卷积分类附源码链接】

    https://www.toutiao.com/a6680124799831769603/ 基于卷积神经网络的句子分类模型 题目: Convolutional Neural Networks for ...

  2. 基于卷积神经网络的高光谱分类 CNN+高光谱+印度松数据集

    基于卷积神经网络的高光谱分类 一.研究现状 只考虑到高光谱图像的光谱特征,即: 1.提取特征(小波变换.Gabor纹理分析.形态学剖面) 2.利用分类方法分类(支持向量机.决策树.随机森林.神经网络) ...

  3. 【计算机视觉（CV）】基于卷积神经网络实现美食分类

    [计算机视觉(CV)]基于卷积神经网络实现美食分类 活动地址:[CSDN21天学习挑战赛](https://marketing.csdn.net/p/bdabfb52c5d56532133df2adc ...

  4. 【Computer Vision】基于卷积神经网络实现美食分类

    [Computer Vision]基于卷积神经网络实现美食分类 活动地址:[CSDN21天学习挑战赛](https://marketing.csdn.net/p/bdabfb52c5d56532133 ...

  5. 毕业设计 - 题目：基于深度学习卷积神经网络的花卉识别 - 深度学习 机器视觉

    文章目录 0 前言 1 项目背景 2 花卉识别的基本原理 3 算法实现 3.1 预处理 3.2 特征提取和选择 3.3 分类器设计和决策 3.4 卷积神经网络基本原理 4 算法实现 4.1 花卉图像数 ...

  6. 基于卷积神经网络的乳腺癌图像分类

    摘要: 乳腺癌是世界范围内癌症死亡的主要原因之一.用苏木精和伊红染色图像对活检组织进行诊断并非易事,专家通常不同意最终诊断.计算机辅助诊断系统有助于降低成本,提高诊断效率.传统的分类方法依赖于针对基于 ...

  7. 基于卷积神经网络的高光谱分类（1D、2D、3D-CNN）

    算法原理 卷积神经网络(Convolutional Neural Networks,CNN)是深度学习中最常见的一种 算法,它具有强大的特征学习能力.CNN 通过结合局部感知区域.共享权重.空间或者 ...

  8. TextCNN——基于卷积神经网络的文本分类学习

    1.CNN基础内容 CNN的全称是Convolutional Neural Network,是一种前馈神经网络.由一个或多个卷积层.池化层以及顶部的全连接层组成,在图像处理领域表现出色. 本文主要学习 ...

  9. 深度学习100例-卷积神经网络（LeNet-5）深度学习里的“Hello Word” | 第22天

    大家好,我是「K同学啊 」! 前几天翻译了一篇讲十大CNN结构的文章(「多图」图解10大CNN架构),原作者思路十分清晰,从时间线上,将近年来CNN发展过程中一些比较重要的网络模型做了一一介绍.我发现 ...

最新文章

  1. 程序员必备技能：如何画好架构图？
  2. CA ARCserve Backup系列（3）—安装代理（Linux篇）
  3. 多表查询返回多个DataTable,合并到一个Table中.
  4. 计算机组成原理与系统结构本章小结,计算机组成原理本章小结精简版.doc
  5. 使用jquery版本的viewer.js图片更新的问题
  6. UDK控制台命令概览
  7. 数据结构与算法分析-用C语言实现栈（数组方式）
  8. Q102：光线追踪场景（1）——地球仪
  9. 红外遥控NEC协议总结
  10. 2013-07-23 IT 要闻速记快想
  11. 如何在M1的Mac上检查App是原生执行，还是Rosetta转译后执行？
  12. 使用fastcgi_cache加速Nginx
  13. QT/Embedded 2.3.8 MX21ADS板移植
  14. 基于websocket单台机器支持百万连接分布式聊天(IM)系统
  15. 博弈论 | 三姬分金与囚徒困境
  16. sniffer pro 4.7.5安装教程(附安装系统环境及软件链接)
  17. 蓝牙打印机CPCL编程手册~汉印HM-A300
  18. 手机浏览网页或打开app时莫名弹出支付宝领红包界面的原因及预防措施
  19. 计算机软件著作权登记证书
  20. 惜我者，我惜之； 冷我者，我弃之

热门文章

  1. 【PySCF学习3】-分子结构之对称性、电荷及自旋多重度
  2. PC微信机器人接口api之实战分析发送文件连续call
  3. 计算机体系结构“圣经”新版，图灵奖得主扛鼎之作，影响无数技术人
  4. 艺术装置拍不全？华为nova6系列105°超广角自拍显神威
  5. 软构实验知识补充：什么是代码覆盖率
  6. WMS仓库管理系统模块之波次拣货
  7. awz和als有什么区别？
  8. 窄间距还是PFC方案选择
  9. 教徒计划出品：同一端口同时启用PEAP和MAC地址旁路（适用于IPPhone串接PC的网络环境）...
  10. 【Unity问题】当Unity导出文件不完整怎么办