Tensorflow详解（八）——滑动平均模型

1.目标：

2.python实现方法：

3.tensorflow计算步骤：

1.目标：

为了在采用随机梯度下降算法训练神经网络时提高最终模型在测试数据上的表现，Tensorflow提供了一种在变量上使用滑动平均的方法——滑动平均模型

滑动平均算法会对每一个变量的影子变量（shadow_variable）进行维护，这个影子变量的初始值就是相应变量的初始值；当变量发送变化，影子变量的值会进行更新，更新公式——

从公式可以看出，decay决定了滑动平均模型的更新速度，一般会设成非常接近1的数（如0.99或0.999），decay值越大模型越趋于稳。

2.python实现方法：

import numpy as npimport matplotlib.pyplot as pltdef movingaverage(Decay=0.99):#Decay=0.99shadow_list=[]shadow_variable=y[0]for variable in y:shadow_variable=Decay*shadow_variable+(1-Decay)*variableshadow_list.append(shadow_variable)return shadow_listif __name__=='__main__':x = np.array(range(100), dtype=np.float32)bias = np.random.uniform(-100, 100, size=(100))y = x * x + biasy_average=movingaverage()#print(y_average)plt.figure(figsize=(80,40),dpi=80)plt.subplot(121)plt.plot(x,y)plt.subplot(122)plt.plot(x,y_average)plt.show()

效果图：

3.tensorflow计算步骤：

3.1.通过tf.train.ExponentialMovingAverage()函数创建一个滑动平均类，同时需要向函数提供一个衰减率（Decay）参数,用于控制模型的更新速度；

num_updates参数来限制Decay的大小，如果初始化时提供了num_updates参数，那么每次使用的衰减率decay值将由下式决定：

Args:decay: 衰减率，Float类型.num_updates: Optional count of number of updates applied to variables.zero_debias: If `True`, zero debias moving-averages that are initialized with tensors.name: String. Optional prefix name to use for the name of ops added in  `apply()`.

averages_class = tf.train.ExponentialMovingAverage(0.99,training_step)

3.2.通过apply(self,var_list)函数——ExponentialMovingAverage类函数——提供要进行滑动平均计算的变量，其中var_list参数是一个传递进来的参数列表

averages_op = averages_class.apply(tf.trainable_variables())

3.3.average（）函数——ExponentialMovingAverage类函数——执行影子变量的计算，使用时，对其传入需要进行计算的变量即可。

averages_class.average(weights1)

3.4.训练模型时，每过一遍数据既需要通过反向传播来更新神经网络中的参数又需要更新每一个参数的滑动平均值

方法1：train_op = tf.group(train_step,averages_op)

方法2：with tf.control_dependencies([train_step,averages_op]):
train_op = tf.no_op(name="train")