tensorflow 3.滑动平均模型
# import tensorflow as tf
#定义一个变量用于计算滑动平均,这个变量的初始值为0,注意这里手动指定了变量的类型为tf.float32,
# 因为所有需要计算滑动平均的变量必须是实数型
v1 = tf.Variable(0,dtype=tf.float32)
#这里step变量模拟神经网络迭代的轮数,可以用于动态控制衰减率
step = tf.Variable(0,trainable=False)#定义一个滑动平均的类(class).初始化时给定了衰减率(0.99)和控制衰减率的变量step
ema = tf.train.ExponentialMovingAverage(0.99,step)
#定义一个更新变量滑动平均的操作。这里需要给定一个列表,每次执行这个操作室
#这个列表中的变量都会被更新
maintain_average_op = ema.apply([v1])
with tf.Session() as sess:#初始化所有变量init_op = tf.initialize_all_variables()sess.run(init_op)#通过ema.average(v1)获取滑动平均之后变量的取值。在初始化之后变量v1的值和v1的滑动平均都为0print(sess.run([v1,ema.average(v1)])) #输出[0,0]#更新变量v1的值到5sess.run(tf.assign(v1,5))#更新v1的滑动平均值,衰减率为min{0.99,(1+step)/(10+step)=0.1}=0.1,#所以v1的滑动平均会被更新为0.1*0 + 0,9*5 = 4.5sess.run(maintain_averages_op)print(sess.run([v1,ema.average(v1)]) #输出[5,4.5]#更新step的值为10000sess.run(tf.assign(step,10000))#更新v1的值为10sess.run(tf.assign(v1,10))#更新v1的滑动平均值,衰减率为min{0.99,(1+step)/(10+step)=0.999}=0.99,#所以v1的滑动平均会被更新为0.99*4.5 + 0.01*10 = 4.555sess.run(maintain_average_op)print(sess.run([v1,ema.average(v1)]))#输出[10,4.5549]#再次更新滑动平均值,得到新滑动平均值sess.run(maintain_averages_op)print(sess.run([v1,ema.average(v1)]))#输出[10,4.609]
tensorflow 3.滑动平均模型相关推荐
- tensorflow随笔-滑动平均模型
随机梯度下降算法训练时,使用滑动平均模型 可以提高模型健壮性. 在Tensorflow中提供了tf.train.ExponentialMovingAverage来实现滑动平均模型.在初始化Expone ...
- Tensorflow:滑动平均模型
本文转载自:TensorFlow入门:滑动平均模型 在TensorFlow中提供了tf.train.ExponentialMovingAverage 来实现滑动平均模型,在采用随机梯度下降算法训练神经 ...
- 【TensorFlow】TensorFlow从浅入深系列之五 -- 教你详解滑动平均模型
本文是<TensorFlow从浅入深>系列之第5篇 TensorFlow从浅入深系列之一 -- 教你如何设置学习率(指数衰减法) TensorFlow从浅入深系列之二 -- 教你通过思维导 ...
- tensorflow随机梯度下降算法使用滑动平均模型
在采用随机梯度下降算法训练神经网络时,使用滑动平均模型可以提高最终模型在测试集数据上的表现.在Tensflow中提供了tf.train.ExponentialMovingAverage来实现滑动平均模 ...
- 浅谈tensorflow的指数衰减学习率、正则化、滑动平均模型
指数衰减学习率使训练迭代更加有效: 学习率决定了每一次迭代训练过程优化神经网络数的幅度,学习率的正确选取对于训练的效率.和效果均有一定的影响,如果我们学习率设定过大,则会可能导致参数在极值两侧跳动,这 ...
- TensorFlow滑动平均模型
指数加权平均算法的原理 TensorFlow中的滑动平均模型使用的是滑动平均(Moving Average)算法,又称为指数加权移动平均算法(exponenentially weighted aver ...
- Tensorflow笔记之滑动平均模型
为了使模型在测试数据上更健壮的方法------滑动平均模型.在采用随机梯度下降算法训练神经网络时,使用滑动平均模型在很多应用中都可以在一定程度上提高最终模型在测试训练数据上的表现. 在Tensorfl ...
- TensorFlow入门:滑动平均模型
在TensorFlow中提供了tf.train.ExponentialMovingAverage 来实现滑动平均模型,在采用随机梯度下降算法训练神经网络时,使用其可以提高模型在测试数据上的健壮性(ro ...
- Tensorflow详解(八)——滑动平均模型
目录 1.目标: 2.python实现方法: 3.tensorflow计算步骤: 1.目标: 为了在采用随机梯度下降算法训练神经网络时提高最终模型在测试数据上的表现,Tensorflow提供了一种在变 ...
最新文章
- 线性代数可以速成吗_广播/学习吉他速成靠谱吗?真的可以速成吗?
- ajax传向前台的html代码里又有事件的时候,绑定事件失败解决方法
- linux压缩文件解压乱码
- 游戏必备组件有哪些_面试必备:2019Vue经典面试题总结(含答案)
- java getxxx_java的invoke与getMethod方法用法
- SDF(Signed-distance-field: 有向距离场)(12): Shadow And AO(WebGL实现)增强立体感
- 为何控件删除不了_NBA开出800万合同,易建联为何却主动解约了?湖人太没诚意了...
- Java 内存溢出(java.lang.OutOfMemoryError)解决
- 三元组法矩阵加法java_C语言实现矩阵加法、减法、乘法和数乘运算
- [转载] python单词词典_Python 字典(Dictionary)
- element step控件点击事件
- 性能优化:要2个月才跑完的程序我是如何优化到到4小时的?
- 2022-2028年中国智能机床行业市场专项调研及投资前景规划报告
- 追赶法 c++代码实现
- 一些收藏默认网站后缀
- 在vue2项目中使用腾讯云IM及常见问题
- bitcoin找零机制
- 租用服务器怎么修改密码,把租的号改密码-租用的服务器怎么改密码?
- netty 远程主机强迫关闭了一个现有的连接。
- 建筑热过程太阳辐射负荷计算
热门文章
- Excel图表导出高清矢量位图片并裁剪的方法
- 27岁还能从事软件测试吗?软件测试这个行业能干到多少岁?
- 机器学习:批量梯度下降法(线性回归中的使用)
- php8关闭jit,PHP8新功能JIT 编译器、联合类型和属性
- 科学VS迷信------------大家推荐的湘西蛊术文章(转)
- HTML表格里分割线是否显示的问题
- 智能家居产业格局初稳 企业非零和博弈
- 数据库各厂商发展历史(5. Teradata)
- 基于springboot+mybatis+themeleaf的高铁售票系统(原创+附全部代码+sql数据库+30页设计报告+演示ppt)
- CLTPHP内容管理系统5.5发布