tf.train.ExponentialMovingAverage

http://blog.csdn.net/uestc_c2_403/article/details/72235334

tf.train.ExponentialMovingAverage(decay, steps)

tf.train.ExponentialMovingAverage这个函数用于更新参数，就是采用滑动平均的方法更新参数。这个函数初始化需要提供一个衰减速率（decay），用于控制模型的更新速度。这个函数还会维护一个影子变量（也就是更新参数后的参数值），这个影子变量的初始值就是这个变量的初始值，影子变量值的更新方式如下：

shadow_variable = decay * shadow_variable + (1-decay) * variable

shadow_variable是影子变量，variable表示待更新的变量，也就是变量被赋予的值，decay为衰减速率。decay一般设为接近于1的数（0.99,0.999）。decay越大模型越稳定，因为decay越大，参数更新的速度就越慢，趋于稳定。

tf.train.ExponentialMovingAverage这个函数还提供了自己动更新decay的计算方式：

decay= min（decay，（1+steps）/（10+steps））

steps是迭代的次数，可以自己设定。

比如：

[python] view plain copy

import tensorflow as tf;
import numpy as np;
import matplotlib.pyplot as plt;
v1 = tf.Variable(0, dtype=tf.float32)
step = tf.Variable(tf.constant(0))
ema = tf.train.ExponentialMovingAverage(0.99, step)
maintain_average = ema.apply([v1])
with tf.Session() as sess:
init = tf.initialize_all_variables()
sess.run(init)
print sess.run([v1, ema.average(v1)]) #初始的值都为0
sess.run(tf.assign(v1, 5)) #把v1变为5
sess.run(maintain_average)
print sess.run([v1, ema.average(v1)]) # decay=min(0.99, 1/10)=0.1, v1=0.1*0+0.9*5=4.5
sess.run(tf.assign(step, 10000)) # steps=10000
sess.run(tf.assign(v1, 10)) # v1=10
sess.run(maintain_average)
print sess.run([v1, ema.average(v1)]) # decay=min(0.99,(1+10000)/(10+10000))=0.99, v1=0.99*4.5+0.01*10=4.555
sess.run(maintain_average)
print sess.run([v1, ema.average(v1)]) #decay=min(0.99,<span style="font-family:Arial, Helvetica, sans-serif;">(1+10000)/(10+10000)</span><span style="font-family:Arial, Helvetica, sans-serif;">)=0.99, v1=0.99*4.555+0.01*10=4.6</span>

输出：

[0.0, 0.0]
[5.0, 4.5]
[10.0, 4.5549998]
[10.0, 4.6094499]

解释：每次更新完以后，影子变量的值更新，varible的值就是你设定的值。如果在下一次运行这个函数的时候你不在指定新的值，那就不变，影子变量更新。如果指定，那就variable改变，影子变量也改变

tf.train.ExponentialMovingAverage相关推荐

tensorflow tf.train.ExponentialMovingAverage().variables_to_restore()函数（用于加载模型时将影子变量直接映射到变量本身）
variables_to_restore函数,是TensorFlow为滑动平均值提供.之前,也介绍过通过使用滑动平均值可以让神经网络模型更加的健壮.我们也知道,其实在TensorFlow中,变量的滑动 ...
tensorflow tf.train.ExponentialMovingAverage() （滑动平均模型）（移动平均法 Moving average，MA）（用于平滑数据波动对预测结果的影响）
tf.train.ExponentialMovingAverage 函数定义 tensorflow中提供了tf.train.ExponentialMovingAverage来实现滑动平均模型,他使用指 ...
【TensorFlow】TensorFlow函数精讲之tf.train.ExponentialMovingAverage()
tf.train.ExponentialMovingAverage来实现滑动平均模型. 格式: tf.train.ExponentialMovingAverage(decay,num_step) 参数 ...
TensorFlow学习－－指数移动平均/tf.train.ExponentialMovingAverage
时间序列模型时间序列是指将同一统计指标的数值按其发生的时间先后顺序排列而成的数列．时间序列分析的主要目的是根据已有的历史数据对未来进行预测．处理与时间相关数据的方法叫做时间序列模型．当一个平稳序列 ...
滑动平均 tf.train.ExponentialMovingAverage
滑动平均用来估计变量的局部平均值,使得变量的更新与一段时间内的历史取值有关,得到的值在图像上更加平缓光滑,抖动性更小,不会因为某次的异常取值而使得滑动平均值波动很大.在训练过程快结束时,模型早已经训练 ...
tensorflow || 滑动平均的理解--tf.train.ExponentialMovingAverage
1 滑动平均的理解滑动平均(exponential moving average),或者叫做指数加权平均(exponentially weighted moving average),可以用来估计变 ...
TFRecord tf.train.Feature
一.定义事先将数据编码为二进制的TFRecord文件,配合TF自带的多线程API,读取效率最高,且跨平台,适合规范化存储复杂的数据.上图为TFRecord的pb格式定义,可发现每个TFRecord由 ...
tf.train.Saver函数的用法之保存全部变量和模型
用于保存模型,以后再用就可以直接导入模型进行计算,方便. 例如: [python] view plaincopy import tensorflow as tf; import numpy as np ...
tf.train.MomentumOptimizer()优化器
tf.train.MomentumOptimizer(learning_rate,momentum,use_locking=False,use_nesterov=False,name='Momentu ...

tf.train.ExponentialMovingAverage

tf.train.ExponentialMovingAverage相关推荐

最新文章

热门文章