深度学习中滑动平均模型的作用、计算方法及tensorflow代码示例

滑动平均模型：

用途：用于控制变量的更新幅度，使得模型在训练初期参数更新较快，在接近最优值处参数更新较慢，幅度较小
方式：主要通过不断更新衰减率来控制变量的更新幅度

衰减率计算公式：
decay = min{init_decay , (1 + num_update) / (10 + num_update)}
其中 init_decay 为设置的初始衰减率，num_update 为模型参数更新次数，由此可见，随着 num_update 更新次数的增加，(1 + num_update) / (10 + num_update 这一项的计算结果越接近1

参数更新公式：
shadow_variable = decay * shadow_variable + (1 - decay) * variable
其中 shadow_variable 为变量更新前的数值，variable为变量更新后的数值

例如:
x = 0
x = 1
此时 shadow_variable 就是 0 ， variable 就是 1 ，假如此时的衰减率 decay 是 0.5，则更新后的 x 取值为 0.5 * 0 + （1 - 0.5） * 1 = 0.5

通过以上公式可以发现，随着模型迭代次数的增加，(1 + num_update) / (10 + num_update) 这一项的计算结果越接近1,也就是 (1 - decay) * variable 更接近于 0 ，此时模型参数变化幅度减小 , 也就是 shadow_variable == decay * shadow_variable 等式越成立。

tensorflow代码示例：

#coding:utf-8
"""Created by cheng star at 2018/8/26 10:46@email : xxcheng0708@163.com
"""import tensorflow as tfv1 = tf.Variable(0.0 , dtype=tf.float32)
step = tf.Variable(0 , trainable=False)ema = tf.train.ExponentialMovingAverage(decay=0.99 , num_updates=step)
# maintain_average_op 每执行一次，其中的变量就会被更新
maintain_average_op = ema.apply([v1])with tf.Session() as sess :init = tf.global_variables_initializer()sess.run(init)# 变量初始化之后，变量的数值和滑动平均值相同，均为 0print(sess.run([v1 , ema.average(v1)]))     # [0.0 , 0.0]sess.run(maintain_average_op)print(sess.run([v1 , ema.average(v1)]))     # [0.0 , 0.0]# 更新变量的赋值sess.run(tf.assign(v1 , 5))"""执行maintain_average_op 操作，此时 step = 0 ， 使用公式 min{decay , (1 + num_update)/(10 + num_update)} 计算衰减率因此，decay衰减率是 min{init_decay = 0.99 , (1 + 0) / (10 + 0) = 0.1} = 0.1因此，此时的 v1 变量值是 0 * 0.1 + （1 - 0.1） * 5 = 4.5"""sess.run(maintain_average_op)print(sess.run([v1 , ema.average(v1)]))     # [5 , 4.5]sess.run(tf.assign(step , 1000))sess.run(tf.assign(v1 , 10))"""decay = min{0.99 , (1 + 1000)/(10 + 1000) = 0.99} = 0.99    衰减率不变v1 = 4.5 * 0.99 + (1 - 0.99) * 10 = 4.555"""sess.run(maintain_average_op)print(sess.run([v1 , ema.average(v1)]))     # [10.0, 4.5549998]"""decay = min{0.99 , (1 + 1000)/(10 + 1000) = 0.99} = 0.99    衰减率不变v1 = 4.555 * 0.99 + (1 - 0.99) * 10 = 4.609"""sess.run(maintain_average_op)print(sess.run([v1 , ema.average(v1)]))     # [10.0, 4.6094499]

参考文献：Tensorflow实战Google深度学习框架. 才云科技Caicloud 郑泽宇顾思宇著

深度学习中滑动平均模型的作用、计算方法及tensorflow代码示例相关推荐

全民 Transformer （一）: Attention 在深度学习中是如何发挥作用的
<Attention 在深度学习中是如何发挥作用的:理解序列模型中的 Attention> Transformer 的出现让 Deep Learning 出现了大一统的局面.Tran ...
深度学习中的 Batch_Size的作用
Batch_Size(批尺寸)是机器学习中一个重要参数,涉及诸多矛盾,下面逐一展开. 首先,为什么需要有 Batch_Size 这个参数? Batch 的选择,首先决定的是下降的方向.如果数据集比较小 ...
深度学习中一些注意力机制的介绍以及pytorch代码实现
文章目录前言注意力机制软注意力机制代码实现硬注意力机制多头注意力机制代码实现参考前言因为最近看论文发现同一个模型用了不同的注意力机制计算方法,因此懵了好久,原来注意力机制也是多种多 ...
深度学习中Flatten层的作用
Flatten层的实现在Keras.layers.core.Flatten()类中. 作用: Flatten层用来将输入"压平",即把多维的输入一维化,常用在从卷积层到全连接层的过 ...
深度学习中常用的学习率衰减策略及tensorflow实现
目录引言 (1)分段常数衰减 (2)指数衰减 (3)自然指数衰减 (4)多项式衰减 (5)余弦衰减 (6)线性余弦衰减 (7)噪声线性余弦衰减 (8)倒数衰减引言学习率(learning rat ...
机器学习/深度学习中的常用损失函数公式、原理与代码实践（持续更新ing...）
诸神缄默不语-个人CSDN博文目录最近更新时间:2023.5.8 最早更新时间:2022.6.12 本文的结构是首先介绍一些常见的损失函数,然后介绍一些个性化的损失函数实例. 文章目录 1. 分类 ...
深度学习中的反向卷积
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达本文转自:opencv学堂图像卷积最常见的一个功能就是输出模糊( ...
sigmoid函数_深度学习中激活函数总结
一.前言前段时间通过引入新的激活函数Dice,带来了指标的提升,借着这个机会,今天总结下常用的一些激活函数. 激活函数在深度学习中起着非常重要的作用,本文主要介绍下常用的激活函数及其优缺点.主要分为 ...
卷积在深度学习中的作用（转自http://timdettmers.com/2015/03/26/convolution-deep-learning/）...
卷积可能是现在深入学习中最重要的概念.卷积网络和卷积网络将深度学习推向了几乎所有机器学习任务的最前沿.但是,卷积如此强大呢?它是如何工作的?在这篇博客文章中,我将解释卷积并将其与其他概念联系起来,以帮 ...

深度学习中滑动平均模型的作用、计算方法及tensorflow代码示例

深度学习中滑动平均模型的作用、计算方法及tensorflow代码示例相关推荐

最新文章

热门文章