tensorflow-reverse(反向传播)

1、tensorflow的反向传播

import tensorflow as tf
import numpy as np
BATCH_SIZE=8
seed=23455
#基于seed产生随机数
rng =np.random.RandomState(seed)
#随机数返回32行2列的矩阵 表示32组 体积和重量是输入数据集
X = rng.rand(32,2)
#从X这个32行2列的矩阵中 取出一行 判断如果和小于1给Y赋值1 如果不小于1给Y赋值0
#作为输入数据集合的标签
Y = [[int(x0 + x1 <1)]for(x0,x1) in X]
print("\n",X)
print("\n",Y)
#1定义神经网络的输入、参数和输出，定义前向传播过程。
x = tf.placeholder(tf.float32,shape=(None,2))
y_= tf.placeholder(tf.float32,shape=(None,1))w1=tf.Variable(tf.random_normal([2,3],stddev=1,seed=1))
w2=tf.Variable(tf.random_normal([3,1],stddev=1,seed=1))a=tf.matmul(x,w1)
y=tf.matmul(a,w2)#2定义损失函数级反向传播
loss = tf.reduce_mean(tf.square(y-y_))
train_step=tf.train.GradientDescentOptimizer(0.001).minimize(loss) #梯度下降，学习率是0.001
#train_step=tf.train.MomentumOptimizer(0.001).minimize(loss)
#train_step=tf.train.AdadeltaOptimizer(0.001).minimize(loss)with tf.Session() as sess:init_op=tf.global_variables_initializer()sess.run(init_op)#输出未经训练的参数#print("\n",sess.run(w1))#print("\n",sess.run(w2))#训练模型STEPS = 3000for i in range(STEPS):start = (i*BATCH_SIZE) %32end = start + BATCH_SIZEsess.run(train_step,feed_dict={x:X[start:end],y_:Y[start,end]})if i% 500 == 0:total_loss = sess.run(loss,feed_dict={x:X,y_:Y})#3000轮后打印训练后的参数值print("\n")print("w1:",sess.run(w1))print("w2",sess.run(w2))

tensorflow-reverse(反向传播)相关推荐

【TensorFlow】通过两个简单的例子实现反向传播
回归算法示例 # python 3.6 # TensorFlow实现反向传播 import tensorflow as tf import numpy as npsess = tf.Session() ...
梯度下降与反向传播算法的原理与推导
梯度下降算法是机器学习中最常用的优化算法之一,它可以求得目标函数的最小值,即算法的最优解.而对于复杂的多层神经网络来说,运用梯度下降算法十分复杂,因为其包含求导过程,为此学者将多层神经网络的优化问题简 ...
TensorFlow反向传播算法实现
TensorFlow反向传播算法实现反向传播(BPN)算法是神经网络中研究最多.使用最多的算法之一,用于将输出层中的误差传播到隐藏层的神经元,然后用于更新权重. 学习 BPN 算法可以分成以下两个过 ...
TensorFlow基础10-（误差反向传播算法以及实现多层神经网络）
记录TensorFlow听课笔记文章目录记录TensorFlow听课笔记一,误差反向传播算法二,链式求导法则三,隐含层有多个神经元的误差反向传播四,激活函数五,实现多层神经网络一,误差 ...
TensorFlow神经网络（二）反向传播
############### warm up! ############## # 均方误差MSE的计算函数: loss = tf.reduce_mean(tf.square(y_ - y))# 反向 ...
TensorFlow精进之路（十二）：随时间反向传播BPTT
1.概述上一节介绍了TensorFlow精进之路(十一):反向传播BP,这一节就简单介绍一下BPTT. 2.网络结构 RNN正向传播可以用上图表示,这里忽略偏置. 上图中, x(1:T)表示输入序列 ...
《TensorFlow 2.0深度学习算法实战教材》学习笔记（六、反向传播算法）
反向传播算法和梯度下降算法是神经网络的核心算法. 导数与梯度导数本身是标量,没有方向,但是导数表征了函数值在某个方向Δ
TensorFlow精进之路（十一）：反向传播BP
1.概述全连接神经网络和卷积神经网络用的是反向传播(BackPropagation,BP),而卷积神经网络用的是随时间反向传播(BackPropagation Through Time,BPTT), ...
TensorFlow 2.0深度学习算法实战第七章反向传播算法
第七章反向传播算法 7.1 导数与梯度 7.2 导数常见性质 7.2.1 基本函数的导数 7.2.2 常用导数性质 7.2.3 导数求解实战 7.3 激活函数导数 7.3.1 Sigmoid 函数导 ...

tensorflow-reverse(反向传播)

tensorflow-reverse(反向传播)相关推荐

最新文章

热门文章