tf.keras CNN网络搭建笔记

这里写目录标题

tf.keras CNN网络搭建笔记
基本流程，以LeNet为例
- 创建Sequential模型
- 配置模型的学习流程
- 数据预处理
- 模型训练与验证
相关函数注释
- Conv2D
- MaxPooling2D
其他操作
- 自定义卷积层
- BN层
- Dropout

基本流程，以LeNet为例

创建Sequential模型

创建Sequential模型，并添加相应神经层

model = tf.keras.Sequential([# 卷积核数量为6，大小为3*3keras.layers.Conv2D(6, 3),# strides步长keras.layers.MaxPooling2D(pool_size=2, strides=2),keras.layers.ReLU(),keras.layers.Conv2D(16, 3),keras.layers.MaxPooling2D(pool_size=2, strides=2),keras.layers.ReLU(),# 矩阵数据拉平keras.layers.Flatten(),keras.layers.Dense(120, activation='relu'),keras.layers.Dense(84, activation='relu'),keras.layers.Dense(10, activation='softmax')
])model.build(input_shape=(batch, 28, 28, 1))

也可将

keras.layers.Dense(10, activation='softmax')

移出，在Sequential外用以下代替

model.add(keras.layers.Dense(10, activation='softmax'))

配置模型的学习流程

model.compile(optimizer = 优化器， loss = 损失函数， metrics = ["准确率”])

model.compile(optimizer=keras.optimizers.Adam(),loss = keras.losses.CategoricalCrossentropy(),metrics = ['accuracy']
)

数据预处理

tf.data.Dataset.from_tensor_slices() 函数对数据集切片
shuffle() 打乱数据，参数为样本数
batch() 函数设置 batch size 值
map() 函数进行预处理

def preprocess(x, y):x = tf.cast(x, dtype=tf.float32) / 255x = tf.reshape(x, [-1, 28, 28, 1])y = tf.one_hot(y, depth=10)return x, ytrain_db = tf.data.Dataset.from_tensor_slices((x_train, y_train))
train_db = train_db.shuffle(10000)
train_db = train_db.batch(128)
train_db = train_db.map(preprocess)test_db = tf.data.Dataset.from_tensor_slices((x_test, y_test))
test_db = test_db.shuffle(10000)
test_db = test_db.batch(128)
test_db = test_db.map(preprocess)

模型训练与验证

# 训练
model.fit(train_db, epochs=5)
# 验证
model.evaluate(test_db)

其他操作

自定义卷积层

super().init()为类继承
call()第一次调用的时候会调用 build() ，然后设置self.built = True，之后每次调用时不再调用build()

class C2(tf.keras.layers.Layer):def __init__(self):super().__init__()def build(self, input_shape):self.w = tf.random.normal([5, 5, input_shape[-1], 256])def call(self, inputs):return tf.nn.conv2d(inputs,filters=self.w,strides=1,padding=[[0, 0], [2, 2],[2, 2], [0, 0]])

BN层

和激活函数层、卷积层、全连接层、池化层一样，BN(Batch Normalization)也属于网络的一层
主要目的加快收敛速度，减少学习率、参数初始化、权重衰减系数、Drop out比例等参数调整

keras.layers.BatchNormalization()

简单逻辑如下，其中gamma和beta通过学习改变

m = K.mean(X, axis=-1, keepdims=True)        #计算均值
std = K.std(X, axis=-1, keepdims=True)           #计算标准差
X_normed = (X - m) / (std + self.epsilon)         #归一化
out = self.gamma * X_normed + self.beta           #重构变换

Dropout

缓解过拟合

tf.keras.layers.Dropout(rate, noise_shape=None, seed=None, **kwargs
)

tf.keras CNN网络搭建笔记相关推荐

使用tf.keras搭建mnist手写数字识别网络
使用tf.keras搭建mnist手写数字识别网络目录使用tf.keras搭建mnist手写数字识别网络 1.使用tf.keras.Sequential搭建序列模型 1.1 tf.keras.Se ...
TensorFlow高阶 API: keras教程-使用tf.keras搭建mnist手写数字识别网络
TensorFlow高阶 API:keras教程-使用tf.keras搭建mnist手写数字识别网络目录 TensorFlow高阶 API:keras教程-使用tf.keras搭建mnist手写数字 ...
yolov3从头实现（四）-- darknet53网络tf.keras搭建
darknet53网络tf.keras搭建一.定义darknet块类 1 .darknet块网络结构 2.darknet块实现 # 定义darknet块类 class _ResidualBlock( ...
机器学习(七)——tf.keras搭建神经网络固定模式
一.总纲(一般按照下面6步搭建) import--导入相关模块 train,test--指定训练集与测试集 model = tf.keras.models.Sequential--在Sequentia ...
CNN网络的搭建（Lenet5与ResNet18）
CNN介绍这里给出维基百科中对于卷积神经网络简介卷积神经网络(Convolutional Neural Network, CNN)是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单 ...
基于FPGA的一维卷积神经网络CNN的实现（三）训练网络搭建及参数导出（附代码）
训练网络搭建环境:Pytorch,Pycham,Matlab. 说明:该网络反向传播是通过软件方式生成,FPGA内部不进行反向传播计算. 该节通过Python获取训练数据集,并通过Pytorch框架 ...
简要笔记-CNN网络
以下是CNN网络的简要介绍. 1 CNN的发展简述 CNN可以有效降低传统神经网络(全连接)的复杂性,常见的网络结构有LeNet.AlexNet.ZFNet.VGGNet.GoogleNet.ResN ...
抽取CNN网络任意层的特征，VGG模型fine-tuning实践
向AI转型的程序员都关注了这个号???????????? 机器学习AI算法工程公众号:datayx 作为迁移学习的一种,finetune能够将general的特征转变为special的特征,从而 ...
第十二章_网络搭建及训练
文章目录第十二章网络搭建及训练 CNN训练注意事项第十二章 TensorFlow.pytorch和caffe介绍 12.1 TensorFlow 12.1.1 TensorFlow是什么? 12 ...

tf.keras CNN网络搭建笔记

tf.keras CNN网络搭建笔记

这里写目录标题

基本流程，以LeNet为例

创建Sequential模型

配置模型的学习流程

数据预处理

模型训练与验证

相关函数注释

Conv2D

MaxPooling2D

其他操作

自定义卷积层

BN层

Dropout

tf.keras CNN网络搭建笔记相关推荐

最新文章

热门文章