Tensorflow笔记之滑动平均模型

为了使模型在测试数据上更健壮的方法——————滑动平均模型。在采用随机梯度下降算法训练神经网络时，使用滑动平均模型在很多应用中都可以在一定程度上提高最终模型在测试训练数据上的表现。

在Tensorflow中提供tf.train.ExponentialMovingVaerage来实现滑动平均模型。在初始化ExponentialMovingAverage时，需要提供一个衰减率，用于控制模型的更新速度。ExponentialMovingAverage对每一个变量会维护一个影子变量（shadow_variable），这个影子变量的初始值就是相应变量的初始值，每次运行变量更新时，影子变量的值会更新为：

shadow_variable=decay x shadow_variable+(1-decay)xvariable

从上式可以看出，decay决定了模型更新速度，越大模型越趋于稳定实际应用中一般设置为非常接近1的数。ExponentialMovingAverage还提供了num_updates参数来动态设置decay的大小，其更新原理如下

$min\left \{ decay, 1+(num_updates)/10+num_updates\right \}$

下面代码演示如何使用滑动平均：

import tensorflow as tf
#定义一个变量用于计算滑动平均，这个变量的初始值为0，这里手动指定了
#比那两类型为tf.float32，因为所有需要计算滑动平均的变量必须是实数型
v1=tf.Variable(0,dtype=tf.float32)
#这里step变量模拟神经网络中迭代的轮数，可以用于动态控制衰减率。
step=tf.Variable(0,trainable=False)
#定义一个滑动平均的类(class)。初始化时给定了衰减率（0.99）和控制衰减率的变量step。
ema=tf.train.ExponentialMovingAverage(0.99,step)
#定义一个更新变量滑动平均的操作这里需要给定一个列表，每次执行这个操作时
#这个列表中的变量都会被更新
maintain_averages_op=ema.apply([v1])
with tf.Session() as sess:#初始化所有变量init_op=tf.global_variables_initializer()sess.run(init_op)#通过ema.average(v1)获取滑动平均之后变量的取值。在初始化时候，变量v1的值和v1的滑动平均都是0print(sess.run([v1,ema.average(v1)]))sess.run(tf.assign(v1,5))sess.run(maintain_averages_op)print(sess.run([v1,ema.average(v1)]))sess.run(tf.assign(step,10000))sess.run(tf.assign(v1,10))sess.run(maintain_averages_op)print(sess.run([v1,ema.average(v1)]))sess.run(maintain_averages_op)print(sess.run([v1,ema.average(v1)]))

Tensorflow笔记之滑动平均模型相关推荐

TensorFlow入门：滑动平均模型
在TensorFlow中提供了tf.train.ExponentialMovingAverage 来实现滑动平均模型,在采用随机梯度下降算法训练神经网络时,使用其可以提高模型在测试数据上的健壮性(ro ...
tensorflow随笔-滑动平均模型
随机梯度下降算法训练时,使用滑动平均模型可以提高模型健壮性. 在Tensorflow中提供了tf.train.ExponentialMovingAverage来实现滑动平均模型.在初始化Expone ...
【TensorFlow】TensorFlow从浅入深系列之五 -- 教你详解滑动平均模型
本文是<TensorFlow从浅入深>系列之第5篇 TensorFlow从浅入深系列之一 -- 教你如何设置学习率(指数衰减法) TensorFlow从浅入深系列之二 -- 教你通过思维导 ...
tensorflow随机梯度下降算法使用滑动平均模型
在采用随机梯度下降算法训练神经网络时,使用滑动平均模型可以提高最终模型在测试集数据上的表现.在Tensflow中提供了tf.train.ExponentialMovingAverage来实现滑动平均模 ...
浅谈tensorflow的指数衰减学习率、正则化、滑动平均模型
指数衰减学习率使训练迭代更加有效: 学习率决定了每一次迭代训练过程优化神经网络数的幅度,学习率的正确选取对于训练的效率.和效果均有一定的影响,如果我们学习率设定过大,则会可能导致参数在极值两侧跳动,这 ...
TensorFlow滑动平均模型
指数加权平均算法的原理 TensorFlow中的滑动平均模型使用的是滑动平均(Moving Average)算法,又称为指数加权移动平均算法(exponenentially weighted aver ...
Tensorflow：滑动平均模型
本文转载自:TensorFlow入门:滑动平均模型在TensorFlow中提供了tf.train.ExponentialMovingAverage 来实现滑动平均模型,在采用随机梯度下降算法训练神经 ...
Tensorflow详解（八）——滑动平均模型
目录 1.目标: 2.python实现方法: 3.tensorflow计算步骤: 1.目标: 为了在采用随机梯度下降算法训练神经网络时提高最终模型在测试数据上的表现,Tensorflow提供了一种在变 ...
tensorflow 3.滑动平均模型
# import tensorflow as tf #定义一个变量用于计算滑动平均,这个变量的初始值为0,注意这里手动指定了变量的类型为tf.float32, # 因为所有需要计算滑动平均的变量必须是 ...

Tensorflow笔记之滑动平均模型

Tensorflow笔记之滑动平均模型相关推荐

最新文章

热门文章