本文是《TensorFlow从浅入深》系列之第5篇

TensorFlow从浅入深系列之一 -- 教你如何设置学习率（指数衰减法）

TensorFlow从浅入深系列之二 -- 教你通过思维导图深度理解深层神经网络

TensorFlow从浅入深系列之三 -- 教你如何对MNIST手写识别

TensorFlow从浅入深系列之四 -- 教你深入理解过拟合问题（正则化）

滑动平均模型：

代码说明ExponentialMovingAverage用法：

ExponentialMovingAverage使用步骤：

滑动平均模型：

滑动平均模型一一可以便模型在测试数据上更健壮（robust）。

TensorFlow 中提供了tf.train.ExponentialMovingAverage来实现滑动平均模型。在初始化ExponentialMovingAverage时，需要提供一个衰减率（decay）。这个衰减率将用于控制模型更新的速度。

ExponentialMovingAverage对每一个变量会维护一个影子变量（shadow variable），这个影子变量的初始值就是相应变量的初始值，而每次运行变量更新时，影子变量的值会更新为：

shadow_ variable = decay x shadow_ variable+ (1- decay)×variable

其中shadow_ variable为影子变量，variable为待更新的变量，decay为衰减率。从公式中可以看到，decay决定了模型更新的速度， decay 越大模型越趋于稳定。在实际应用中，decay一般会设成非常接近1的数（比如0.999 或0.9999）。

为了使得模型在训练前期可以更新得更快，ExponentialMovingAverage还提供了num_updates参数来动态设置decay的大小。如果在ExponentialMovingAverage初始化时提供了num_updates参数，那么每次使用的衰减率将是：

代码说明ExponentialMovingAverage用法：

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import tensorflow as tf# 定义一个变量用于计算滑动平均，这个变量的初始值为0，注意这里手动指定了变量的类型为float32，因为所需要计算滑动平均的变量必须是实数型
v1 = tf.Variable(0, dtype=tf.float32)
# 这里step变量模拟神经网络函数中迭代的轮数，可以用于动态控制衰减率
step = tf.Variable(0, trainable=False)# 定义一个滑动平均的类，初始化时给定衰减率（0.99）和控制衰减变量的step
ema = tf.train.ExponentialMovingAverage(0.99, step)
# 定义一个更新变量滑动平均的操作。这里需要给定一个列表，每次执行这个操作时这个列表中的变量都会更新
maintain_average_op = ema.apply([v1])with tf.Session() as sess:# 初始化所有变量init_op = tf.global_variables_initializer()sess.run(init_op)# 通过ema.average(v1)来获取滑动平均之后变量的取值。在初始化之后变量v1的值和v1的滑动平均都为0print(sess.run([v1, ema.average(v1)]))  # 输出[0.0, 0.0]# 更新变量v1的值到5sess.run(tf.assign(v1, 5))# 更新vl的值。衰减率为min{0.99 ,(l+step)/(lO+step)= 0.1)=0.l# 所以vl的滑动平均会被更新为0.1×0+0.9×5=4.5。sess.run(maintain_average_op)print(sess.run([v1, ema.average(v1)]))  # 输出[5.0, 4.5]

运行结果：

[0.0, 0.0]
[5.0, 4.5]

ExponentialMovingAverage使用步骤：

定义一个滑动平均的类，初始化衰减率（接近1）和控制衰减变量的step：ema = tf.train.ExponentialMovingAverage(0.99, step)

定义一个更新变量滑动平均的操作：maintain_average_op = ema.apply([变量])

获取滑动平均之后的取值：通过ema.average(变量)

【TensorFlow】TensorFlow从浅入深系列之五 -- 教你详解滑动平均模型相关推荐

【TensorFlow】TensorFlow从浅入深系列之七 -- 教你使用验证数据集判断模型效果
本文是<TensorFlow从浅入深>系列之第7篇 TensorFlow从浅入深系列之一 -- 教你如何设置学习率(指数衰减法) TensorFlow从浅入深系列之二 -- 教你通过思维导 ...
【TensorFlow】TensorFlow从浅入深系列之八 -- 教你学会变量管理
本文是<TensorFlow从浅入深>系列之第8篇 TensorFlow从浅入深系列之一 -- 教你如何设置学习率(指数衰减法) TensorFlow从浅入深系列之二 -- 教你通过思维导 ...
【TensorFlow】TensorFlow从浅入深系列之六 -- 教你深入理解经典损失函数（交叉熵、均方误差）
本文是<TensorFlow从浅入深>系列之第6篇 TensorFlow从浅入深系列之一 -- 教你如何设置学习率(指数衰减法) TensorFlow从浅入深系列之二 -- 教你通过思维导 ...
【TensorFlow】TensorFlow从浅入深系列之四 -- 教你深入理解过拟合问题（正则化）
本文是<TensorFlow从浅入深>系列之第4篇 TensorFlow从浅入深系列之一 -- 教你如何设置学习率(指数衰减法) TensorFlow从浅入深系列之二 -- 教你通过思维导 ...
【TensorFlow】TensorFlow从浅入深系列之一 -- 教你如何设置学习率（指数衰减法）
本文是<TensorFlow从浅入深>系列之第1篇 [TensorFlow]TensorFlow从浅入深系列之一 -- 教你如何设置学习率(指数衰减法) 在训练神经网络时,需要设置学习率( ...
【TensorFlow】TensorFlow从浅入深系列之三 -- 教你如何对MNIST手写识别
本文是<TensorFlow从浅入深>系列之第3篇 TensorFlow从浅入深系列之一 -- 教你如何设置学习率(指数衰减法) TensorFlow从浅入深系列之二 -- 教你通过思维导 ...
Why WebRTC｜“浅入深出”的工作原理详解
WebRTC可以被看作是一个不需要安装任何插件或者下载任何额外程序就能运行的浏览器原生实时通信手段.不同的客户端通过(相同或不同)浏览器跳转到同一个 URL 就能实现实时互通.看见彼此.但这只是&qu ...
【TensorFlow】TensorFlow从浅入深系列之十三 -- 教你深入理解模型持久化（模型保存、模型加载）
本文是<TensorFlow从浅入深>系列之第13篇 TensorFlow从浅入深系列之一 -- 教你如何设置学习率(指数衰减法) TensorFlow从浅入深系列之二 -- 教你通过思维 ...
【TensorFlow】TensorFlow从浅入深系列之十二 -- 教你深入理解卷积神经网络中的池化层
本文是<TensorFlow从浅入深>系列之第12篇 TensorFlow从浅入深系列之一 -- 教你如何设置学习率(指数衰减法) TensorFlow从浅入深系列之二 -- 教你通过思维 ...

【TensorFlow】TensorFlow从浅入深系列之五 -- 教你详解滑动平均模型

本文是《TensorFlow从浅入深》系列之第5篇

滑动平均模型：

代码说明ExponentialMovingAverage用法：

ExponentialMovingAverage使用步骤：

【TensorFlow】TensorFlow从浅入深系列之五 -- 教你详解滑动平均模型相关推荐

最新文章

热门文章