tensorflow中Adagrad优化器运用

Adagrad优化器引用API：tensorflow.keras.optimizers.Adagrad

代码实现：

#Adagrad

v_w += tf.square(grads[0]) #求二阶动量v_w，从开始到现在梯度的平方和

v_b += tf.square(grads[1]) #求二阶动量v_b，从开始到现在梯度的平方和

w1.assign_sub(learning_rate * grads[0] / tf.sqrt(v_w)) #进行参数w1更新

b1.assign_sub(learning_rate * grads[1] / tf.sqrt(v_b)) #进行参数b1更新

Adagrad优化器实现iris数据集分类：

#导入模块
import tensorflow as tf #导入tensorflow模块from sklearn import datasets #导入sklearn中的datasets模块，方便下载内置的iris数据集from matplotlib import pyplot as plt #导入matplotlib中的pyplot，待会画图import numpy as np #导入numpy模块做数学运算import time #导入时间模块，用来计时#导入数据
x_data = datasets.load_iris().data #导入iris数据集的特征y_data = datasets.load_iris().target #导入iris数据集的标签#随机打乱顺序，使训练更具准确性
np.random.seed(120)#调用numpy中的random方法里的seed方法，赋值120，使输入特征和标签能够一一对应np.random.shuffle(x_data) #调用numpy中的random方法里的shuffle方法，将训练集x_data里的特征值乱序np.random.seed(120)#调用numpy中的random方法里的seed方法，赋值120，使输入特征和标签能够一一对应np.random.shuffle(y_data) #调用numpy中的random方法里的shuffle方法，将测试集y_data里的标签乱序tf.random.set_seed(120)#调用tensorflow中的random方法里的set_seed方法，赋值120#划分数据集
x_train = x_data[:-30] #将iris数据集（特征，共150行，此时已打乱）前120行作为训练集x_trainy_train = y_data[:-30] #将iris数据集（标签，共150行，此时已打乱）前120行作为训练集y_trainx_test = x_data[-30:] #将iris数据集（特征，共150行，此时已打乱）最后30行作为测试集x_testy_test = y_data[-30:] #将iris数据集（标签，共150行，此时已打乱）最后30行作为测试集y_test#转换特征值的数据类型，使之与后面数据运算时数据类型一致
x_train = tf.cast(x_train, dtype = tf.float32) #调用tensorflow中的cast方法，将x_train中的特征值类型转换为float32x_test = tf.cast(x_test, dtype = tf.float32) #调用tensorflow中的cast方法，将x_test中的特征值类型转换为float32#用from_tensor_slices方法将特征值和标签值配对
train_data_batch = tf.data.Dataset.from_tensor_slices((x_train, y_train)).batch(32)#将训练集的特征x_train和标签y_train配对，用batch方法将120个训练数据分成32个为一组的批次test_data_batch = tf.data.Dataset.from_tensor_slices((x_test, y_test)).batch(32)#将测试集的特征x_test和标签y_test配对，用batch方法将30个训练数据分成32个为一组的批次#用truncated_normal方法构建神经网络，并用Variable方法标记可训练数据
w1 = tf.Variable(tf.random.truncated_normal([4, 3], stddev = 0.1, seed = 1))#用truncated_normal方法,构建4个输入特征，3个分类的神经网络结构，标准差为0.1的正态分布，随机种子为1b1 = tf.Variable(tf.random.truncated_normal([3], stddev = 0.1, seed = 1))#用truncated_normal方法,因为b1和w1的分类维度要一样，所以是3，标准差为0.1的正态分布，随机种子为1#设置变量
learnRate = 0.1 #学习率为0.1train_loss_results = [] #将每轮的loss记录在此列表中，为后面画loss曲线时提供数据test_accuracy = [] #将每轮的精度accuracy记录在此列表中，为后面画精度accuracy曲线提供数据epoch = 500 #循环500轮loss_all = 0 #每轮分4个step,loss_all记录4个step生成的4个loss的和#############################################################
#SGDM优化器参数设置
# m_w, m_b = 0, 0 #初始化一阶动量m_w, m_b为0
#
# beta = 0.9 #设置超参数为0.9
#############################################################
#############################################################
#Adagrad优化器参数设置
v_w, v_b = 0, 0 #初始化二阶动量v_w, v_b
##############################################################训练部分
now_time = time.time() #用时间戳记录训练起始时间now_timefor epoch in range(epoch): #遍历数据集，每个epoch循环一次数据集for step, (x_train, y_train) in enumerate(train_data_batch): #遍历batch，每个step循环一次batchwith tf.GradientTape() as tape: #用上下文管理器记录梯度信息y = tf.matmul(x_train, w1) + b1 #神经网络乘加运算，用tensorflow中的matmul方法将训练特征值x_train和w1参数进行矩阵相乘y = tf.nn.softmax(y) #用tensorflow中的softmax方法将神经网络乘加运算后得到的输出符合正态分布，输出和为1，可以在之后用来与独热码相减求lossy_one_hot = tf.one_hot(y_train, depth = 3) #用tensorflow中的one_hot方法将训练标签y_train转换为独热码格式，因为y输出为3，所以深度为3，方便接下来计算loss的和loss = tf.reduce_mean(tf.square(y_one_hot - y)) #用tensorflow中的reduce_mean方法求平均值，用tensorflow中的square方法求平方，这里用均方误差求损失函数lossloss_all += loss.numpy() #将每个step计算出的loss累加，后面可以用来求loss平均值，#计算loss对各个参数的梯度loss_gradient = tape.gradient(loss, [w1, b1])#用tensorflow中的GradientTape方法中的gradient方法求loss对各个参数w1,b1的梯度gradient############################################################## Adagrad优化器，进行梯度更新v_w += tf.square(loss_gradient[0]) #求二阶动量v_w，从开始到此刻梯度的平方和v_b += tf.square(loss_gradient[1]) #求二阶动量v_b，从开始到此刻梯度的平方和w1.assign_sub(learnRate * loss_gradient[0] /tf.sqrt(v_w)) #对参数w1进行更新b1.assign_sub(learnRate * loss_gradient[1] / tf.sqrt(v_b)) #对参数b1进行更新###########################################################################################################################SGDM优化器，进行梯度更新# m_w = beta * m_w + (1 - beta) * loss_gradient[0] #求一阶动量m_w# m_b = beta * m_b + (1 - beta) * loss_gradient[1] #求一阶动量m_b# w1.assign_sub(learnRate * m_w) #对参数w1进行更新# b1.assign_sub(learnRate * m_b) #对参数b1进行更新########################################################################################################################### 梯度更新,使用了SGD(无monentum)优化器# w1.assign_sub(#     learnRate * loss_gradient[0])  # 用assign_sub方法进行自减，实现参数w1的自动更新,等价于w1 = w1 - learn_Rate * loss_gradient[0]# b1.assign_sub(#     learnRate * loss_gradient[1])  # 用assign_sub方法进行自减，实现参数b1的自动更新,等价于b = b - learn_Rate * loss_gradient[1]############################################################## 每个epoch,打印loss信息print("epoch: {}, loss: {}".format(epoch,loss_all / 4))  # 每个epoch,打印loss信息,有4个step，所以总loss_all要除以4，求得每次step的平均losstrain_loss_results.append(loss_all / 4)  # 用append方法将4个step的loss求平均值记录在train_loss_results中loss_all = 0  # loss_all归零，为下一个epoch的求loss做准备# 测试部分total_correct = 0  # total_correct为预测对的样本个数，初始化为0total_test_number = 0  # total_number为测试的总样本数，初始化为0for x_test, y_test in test_data_batch:  # 遍历训练集的特征值和标签值# 用更新后的参数进行预测y = tf.matmul(x_test, w1) + b1  # 用tensorflow中的matmul方法来进行乘加运算，再加上b1得到前向传播的结果y = tf.nn.softmax(y)  # 用tensorflow中的softmax方法将神经网络乘加运算后得到的前向传播的结果符合正态分布，输出和为1，可以在之后用来与独热码相减求losspredict = tf.argmax(y, axis=1)  # 用tensorflow中的argmax方法，返回y中最大值的索引，即预测的标签分类，axis表示按列求值predict = tf.cast(predict, dtype=y_test.dtype)  # 将predict的类型转换为测试集标签y_test的数据类型correct = tf.cast(tf.equal(predict, y_test),dtype=tf.int32)  # 用tensorflow中的equal方法判断，若分类正确，则值为1，否则为0，并用tensorflow中的cast方法将bool类型转化为int32类型correct = tf.reduce_sum(correct)  # 用tensorflow中的reduce_sum方法将每个batch的correct数加起来total_correct += int(correct)  # 将所有batch中的correct数转化为int类型，并加起来total_test_number += x_test.shape[0]  # 用shape方法返回测试集特征x_test的行数，也就是测试的总样本数accuracy = total_correct / total_test_number  # 总的准确率test_accuracy.append(accuracy)  # 测试集的准确率添加到列表中来，方便记录print("test_accuracy:", accuracy)  # 打印测试集精度准确率print("-------------------------------------------------")  # 为每个epoch进行分隔，方便查看total_time = time.time() - now_time #用时间戳记录总训练时间total_timeprint("total_time:", total_time) #打印总训练时间total_time# 绘制loss曲线
plt.title('Loss Function Curve')  # 用matplotlib中的title方法标出图片标题
plt.xlabel("Epoch")  # 用matplotlib中的xlabel方法标出x轴变量名称
plt.ylabel("Loss")  # 用matplotlib中的ylabel方法标出y轴变量名称
plt.plot(train_loss_results, label="$Loss$")  # 用matplotlib中的plot方法逐点画出训练集损失值结果train_loss_results值并连线，连线的标签为Loss
plt.legend()  # 用matplotlib中的legend方法画出曲线图标
plt.show()  # 用matplotlib中的show方法画出图像# 绘制accuracy曲线
plt.title("Accuracy Curve")  # 用matplotlib中的title方法标出图片标题
plt.xlabel("Epoch")  # 用matplotlib中的xlabel方法标出x轴变量名称
plt.ylabel("Accuracy")  # 用matplotlib中的ylabel方法标出y轴变量名称
plt.plot(test_accuracy, label="$Accuracy$")  ##用matplotlib中的plot方法逐点画出测试集精准度test_accuracy值并连线，连线的标签为Accuracy
plt.legend()  # 用matplotlib中的legend方法画出曲线图标
plt.show()  # 用matplotlib中的show方法画出图像

结果为：

E:\Anaconda3\envs\TF2\python.exe C:/Users/Administrator/PycharmProjects/untitled8/iris数据集分类.py
epoch: 0, loss: 0.25049660354852676
test_accuracy: 0.7
-------------------------------------------------
epoch: 1, loss: 0.18857580423355103
test_accuracy: 0.8333333333333334
-------------------------------------------------
epoch: 2, loss: 0.16274410113692284
test_accuracy: 0.7666666666666667
-------------------------------------------------
epoch: 3, loss: 0.1484200768172741
test_accuracy: 0.7
-------------------------------------------------
省略.......
-------------------------------------------------
epoch: 498, loss: 0.026541241444647312
test_accuracy: 1.0
-------------------------------------------------
epoch: 499, loss: 0.02652033162303269
test_accuracy: 1.0
-------------------------------------------------
total_time: 14.092564582824707

tensorflow中Adagrad优化器运用相关推荐

tensorflow中RMSprop优化器运用
tensorflow中RMSprop优化器运用 RMSprop优化器引用API:tf.keras.optimizers.RMSprop 代码实现: #RMSprop beta = 0.9 #定义超参数 ...
pytorch中AdaGrad优化器源码解读
1. AdaGrad算法花书中截图,随便找了一张. 2.源码 def step(self, closure=None):"""Performs a single opt ...
DNN网络（三）python下用Tensorflow实现DNN网络以及Adagrad优化器
摘自: https://www.kaggle.com/zoupet/neural-network-model-for-house-prices-tensorflow 一.实现功能简介: 本文摘自Kag ...
深度学习算法(第5期)----深度学习中的优化器选择
欢迎关注微信公众号"智能算法" – 原文链接(阅读体验更佳): 深度学习算法(第5期)----深度学习中的优化器选择上一期,我们一起学习了TensorFlow在训练深度网络的时候 ...
Oracle中的优化器--CBO和RBO
Oracle中的优化器--CBO和RBO Oracle数据库中的优化器又叫查询优化器(Query Optimizer).它是SQL分析和执行的优化工具,它负责生成.制定SQL的执行计划.Oracle的 ...
深度学习中常用优化器算法Optimizer详解（BGD、SGD、MBGD、Momentum、NAG、Adagrad、Adadelta、RMSprop、Adam）
本文转载自:https://www.cnblogs.com/guoyaohua/p/8542554.html 在机器学习.深度学习中使用的优化算法除了常见的梯度下降,还有 Adadelta,Adagr ...
深度学习三人行(第5期)----深度学习中的优化器选择
上一期,我们一起学习了TensorFlow在训练深度网络的时候怎么解决梯度消失或梯度爆炸的问题,以及怎么尽可能的减少训练时间. 深度学习三人行(第4期)---- TF训练DNN之进阶这期我们继续学习 ...
手撕深度学习中的优化器
深度学习中的优化算法采用的原理是梯度下降法,选取适当的初值params,不断迭代,进行目标函数的极小化,直到收敛.由于负梯度方向时使函数值下降最快的方向,在迭代的每一步,以负梯度方向更新params的 ...
面试准备——机器学习中的优化器算法
一.优化问题总体来看,机器学习的核心目标是给出一个模型(一般是映射函数),然后定义对这个模型好坏的评价函数(目标函数),求解目标函数的极大值或者极小值,以确定模型的参数,从而得到我们想要的模型.在这 ...

tensorflow中Adagrad优化器运用

tensorflow中Adagrad优化器运用

Adagrad优化器引用API：tensorflow.keras.optimizers.Adagrad

代码实现：

#Adagrad

v_w += tf.square(grads[0]) #求二阶动量v_w，从开始到现在梯度的平方和

v_b += tf.square(grads[1]) #求二阶动量v_b，从开始到现在梯度的平方和

w1.assign_sub(learning_rate * grads[0] / tf.sqrt(v_w)) #进行参数w1更新

b1.assign_sub(learning_rate * grads[1] / tf.sqrt(v_b)) #进行参数b1更新

Adagrad优化器实现iris数据集分类：

结果为：

tensorflow中Adagrad优化器运用相关推荐

最新文章

热门文章