【迁移学习】猫狗数据分类案例(TensorFlow2)

文章目录

1 导包
2 数据处理
3 创建模型，使用VGG16作为预训练模型
4 训练模型

1 导包

import tensorflow as tf # 版本2.3
from tensorflow import keras
from tensorflow.keras import layers
import matplotlib.pyplot as plt
%matplotlib inline
import numpy as np
import glob # 文件图片路径读取
import os

2 数据处理

共2000张猫狗图片数据集，下载地址：Kaggle dc_2000

# 训练集
train_image_path = glob.glob(r'dc_2000/train/*/*.jpg') # 注意路径修改
np.random.shuffle(train_image_path) # 乱序
# 从train_image_path中 分离出'dog'或'cat'，制作0 1标签（cat为1，dog为0）
train_image_label = [int(p.split('/')[2] == 'cat') for p in train_image_path] # 根据路径实际情况修改：p.split('/')[2]def load_preprosess_image(path, label):image = tf.io.read_file(path) # 根据路径读取图片image = tf.image.decode_jpeg(image, channels=3) # 图片编码image = tf.image.resize(image, [256, 256]) # resizeimage = tf.cast(image, tf.float32) # 类型转换image = image/255 # 归一化return image, label
# 创建训练集的Dataset
train_ds = tf.data.Dataset.from_tensor_slices((train_image_path, train_image_label))
AUTOTUNE = tf.data.experimental.AUTOTUNE
train_ds = train_ds.map(load_preprosess_image, num_parallel_calls=AUTOTUNE) # 对每一条数据应用load_preprosess_image方法
# 查看数据中的图片
for img, label in train_ds.take(1):plt.imshow(img)BATCH_SIZE = 8
train_count = len(train_image_path)train_ds = train_ds.shuffle(300).batch(BATCH_SIZE)
train_ds = train_ds.prefetch(AUTOTUNE)# 测试集 方法同上
test_image_path = glob.glob(r'dc_2000/test/*/*.jpg') # 注意路径修改
test_label = [int(p.split('/')[2] == 'cat') for p in test_image_path] # 同上，根据实际路径进行修改
test_ds = tf.data.Dataset.from_tensor_slices((test_image_path, test_label))
test_ds = test_ds.map(load_preprosess_image, num_parallel_calls=AUTOTUNE)
test_ds = test_ds.batch(BATCH_SIZE)test_count = len(test_image_path) # 测试集数量

3 创建模型，使用VGG16作为预训练模型

covn_base = tf.keras.applications.VGG16(weights='imagenet',     # 使用了在imagenet中预训练好的权重include_top=False,      # 是否包含最后的全连接层input_shape=(256, 256, 3),pooling='avg')
# 如果上面VGG16下载失败，需要手动下载如下：
# vgg16_weights_tf_dim_ordering_tf_kernels.h5
# vgg16_weights_tf_dim_ordering_tf_kernels_notop.h5
# 将其放入系统用户目录下的 .keras/models 文件夹中
covn_base.trainable = False # 设置为不可训练
print(covn_base.summary())

输出：

Model: "vgg16"
_________________________________________________________________
Layer (type)                 Output Shape              Param #
=================================================================
input_2 (InputLayer)         [(None, 256, 256, 3)]     0
_________________________________________________________________
block1_conv1 (Conv2D)        (None, 256, 256, 64)      1792
_________________________________________________________________
block1_conv2 (Conv2D)        (None, 256, 256, 64)      36928
_________________________________________________________________
block1_pool (MaxPooling2D)   (None, 128, 128, 64)      0
_________________________________________________________________
block2_conv1 (Conv2D)        (None, 128, 128, 128)     73856
_________________________________________________________________
block2_conv2 (Conv2D)        (None, 128, 128, 128)     147584
_________________________________________________________________
block2_pool (MaxPooling2D)   (None, 64, 64, 128)       0
_________________________________________________________________
block3_conv1 (Conv2D)        (None, 64, 64, 256)       295168
_________________________________________________________________
block3_conv2 (Conv2D)        (None, 64, 64, 256)       590080
_________________________________________________________________
block3_conv3 (Conv2D)        (None, 64, 64, 256)       590080
_________________________________________________________________
block3_pool (MaxPooling2D)   (None, 32, 32, 256)       0
_________________________________________________________________
block4_conv1 (Conv2D)        (None, 32, 32, 512)       1180160
_________________________________________________________________
block4_conv2 (Conv2D)        (None, 32, 32, 512)       2359808
_________________________________________________________________
block4_conv3 (Conv2D)        (None, 32, 32, 512)       2359808
_________________________________________________________________
block4_pool (MaxPooling2D)   (None, 16, 16, 512)       0
_________________________________________________________________
block5_conv1 (Conv2D)        (None, 16, 16, 512)       2359808
_________________________________________________________________
block5_conv2 (Conv2D)        (None, 16, 16, 512)       2359808
_________________________________________________________________
block5_conv3 (Conv2D)        (None, 16, 16, 512)       2359808
_________________________________________________________________
block5_pool (MaxPooling2D)   (None, 8, 8, 512)         0
_________________________________________________________________
global_average_pooling2d_1 ( (None, 512)               0
=================================================================
Total params: 14,714,688
Trainable params: 0
Non-trainable params: 14,714,688
_________________________________________________________________

model = keras.Sequential()
model.add(covn_base) # 添加VGG16
# 如下为自己的模型
model.add(layers.Dense(512, activation='relu'))
model.add(layers.Dense(1)) # 分类输出

4 训练模型

# Adam优化器，二元交叉熵损失
model.compile(optimizer=keras.optimizers.Adam(learning_rate=0.0005),loss=tf.keras.losses.BinaryCrossentropy(from_logits=True),metrics=['acc'])
# 训练15个批次，同时在测试集上验证准确率
history = model.fit(train_ds,steps_per_epoch=train_count//BATCH_SIZE,epochs=15,validation_data=test_ds,validation_steps=test_count//BATCH_SIZE)
# 可视化，查看训练集和测试集上的准确率Acc
print(history.history.keys())
plt.plot(history.epoch, history.history.get('acc'), label='train_acc')
plt.plot(history.epoch, history.history.get('val_acc'), label='val_acc')
plt.legend()

【迁移学习】猫狗数据分类案例(TensorFlow2)相关推荐

【学习笔记】pytorch迁移学习-猫狗分类实战
1.迁移学习入门什么是迁移学习:在深度神经网络算法的引用过程中,如果我们面对的是数据规模较大的问题,那么在搭建好深度神经网络模型后,我们势必要花费大量的算力和时间去训练模型和优化参数,最后耗费了这么 ...
Tensorflow 学习之猫狗分类案例
Tensorflow 学习之猫狗分类案例本人一直在Cousera上学习Ng Andrew老师的Tensorflow课程,在本次猫狗分类案例当中,我对课程做了相应的记录,呈现在此,一方面加深学习的印象 ...
keras_猫狗分类案例(三)_卷机神经网络的可视化（可视化卷积神经网络的中间输出）
keras_猫狗分类案例(三)_卷积神经网络的可视化参考: https://blog.csdn.net/Einstellung/article/details/82832872 卷积神经网络的可视化 ...
web python识花_TensorFlow迁移学习识花实战案例
TensorFlow 迁移学习识花实战案例本文主要介绍如何使用迁移学习训练图片识别花朵的模型,即识别出图片上是何种花朵. 本文档中涉及的演示代码和数据集来源于网络,你可以在这里下载到:TRANSFE ...
【美团云】TensorFlow 迁移学习识花实战案例（Transfer Learning）
TensorFlow 迁移学习识花实战案例(Transfer Learning) TensorFlow 迁移学习识花实战案例什么是迁移学习为什么要使用迁移学习识花模型中迁移学习的思路 VGG模型 ...
深度学习笔记13_猫狗分类案例 - 从头开始训练一个神经网络
在小型数据集上从头开始训练一个卷积神经网络小型数据集的模型构建的策略小型数据集:"很少的"样本可能是几百张图像,也可能是几万张图像. 接下来的示例中,主要用来猫狗分类:4000 ...
机器学习工程师 — Udacity 基于CNN和迁移学习创建狗品种分类器
卷积神经网络(Convolutional Neural Network, CNN) 项目:实现一个狗品种识别算法App 推荐你阅读以下材料来加深对 CNN和Transfer Learning的理解: ...
机器学习之非监督学习——（猫狗识别案例/搭建卷积神经网络）
监督学习监督学习的存在它的弊端,例如对我们人类还无法分辨和归类的事物,监督学习就无法完成,所以为了弥补这个缺陷,下面我们看一下新非监督学习,它可以让计算机学会进行更加复杂的分类. 分析过程监督学习 ...
初学Java接口四（猫狗跳高案例）
package JieKou; /* 猫狗案例,加入跳高的额外功能猫狗案例: 具体事物:猫.狗共性:姓名,年龄,吃饭分析:从具体到抽象猫: 成员变量:姓名,年龄构造方 ...

【迁移学习】猫狗数据分类案例(TensorFlow2)

文章目录

1 导包

2 数据处理

3 创建模型，使用VGG16作为预训练模型

4 训练模型

【迁移学习】猫狗数据分类案例(TensorFlow2)相关推荐

最新文章

热门文章