paddle 基础函数 cosine

官方文档：https://www.paddlepaddle.org.cn/documentation/docs/zh/api_cn/layers_cn/cosine_decay_cn.html

paddle.fluid.layers.cosine_decay(learning_rate, step_each_epoch, epochs)

使用 cosine decay 的衰减方式进行学习率调整。

在训练模型时，建议一边进行训练一边降低学习率。通过使用此方法，学习速率将通过如下cosine衰减策略进行衰减：

$decayed_{lr}=learning_{rate} \times 0.5 \times (cos(epoch \times \frac{\pi}{epochs})+1)$

参数

learning_rate （Variable | float） - 初始学习率。

step_each_epoch （int） - 一次迭代中的步数。

epochs - 总迭代次数。

示例：

import paddle.fluid as fluidbase_lr = 0.1
lr = fluid.layers.cosine_decay(learning_rate = base_lr, \step_each_epoch=10000, \epochs=120)place = fluid.CPUPlace()
exe = fluid.Executor(place)
exe.run(fluid.default_startup_program())output = exe.run(fetch_list = [lr])
print(output)

结果：

[array([0.1], dtype=float32)]

发现无变化，仍为0.1，需要在训练模型时起作用。

paddle 基础函数 cosine_decay相关推荐

深度学习（三）theano学习笔记(2)基础函数-未完待续
theano学习笔记(2)基础函数 1.随机函数库的调用 2.卷积神经网络 [python] view plaincopy #-*-coding:utf-8-*- import theano impo ...
pytorch基础函数学习
深度学习框架,似乎永远离不开哪个最热哪个最实用的话题,自己接触甚浅,尚不敢对齐进行大加评论,这里也只是初步接触.目前常见的有TensorFlow,pytorch,Keras等,至于目前哪个做好用,就像 ...
ostream作为函数返回值_GO语言基础函数
GO语言基础–函数函数是组织好的.可重复使用的.用于执行指定任务的代码块.本文介绍了Go语言中函数的相关内容. 函数定义 Go语言中定义函数使用func关键字,具体格式如下: func 函数名(参数 ...
c++将小写转换为大写函数_必须掌握的基础函数组合应用技巧，提高效率，准时下班...
点击上方"Excel函数公式"免费订阅货币,生活中必不可少的东西,是物品价值等的直接体现,在实际的工作中也经常遇到,如果给定的数据中,要对其进行格式的设置,你会怎么做? 一.Do ...
python语言基础实验_实验二Python语言基础函数包练习.doc
实验二Python语言基础函数包练习实验 Python语言基础函数包练习:1208 学号: 实验目的 1.Python语言包,如math.NumPySciPy和Matplotlib等函数包的使用实验 ...
【数据库】第二章基础函数、聚合函数、条件查询、子查询和多表查询
[数据库]第二章基础函数.条件查询.聚合函数.多表查询和子查询文章目录 [数据库]第二章基础函数.条件查询.聚合函数.多表查询和子查询一.基础函数二.聚合函数 1.COUNT 2.MAX/M ...
tensorflow线性回归基础函数
以下先使用tensorflow 的矩阵乘积,注意不是内积,然后使用基础函数求平方 .平方和.均值,这是使用tensorflow 使用线性回归分析的基础,基础好了,才能走出下一步,要不然怎么数据分析呢, ...
Python学习---基础函数的学习
1.1. 基础函数函数是指将一组语句的集合通过一个名字(函数名)封装起来,要想执行这个函数,只需调用其函数名即可. 灌输一个概念:Python中函数就是对象,函数和我们之前的[1,2,3],'abc ...
Python基础-函数,高阶函数
Python基础-函数 1.函数的定义和函数的执行流程: """ 函数学习 """print('程序开始') a = 10 # 在内存中申请 ...
Python基础函数学习笔记(一)
今天晚上学习的内容是Python的一些基础函数及其应用.参考书籍--<Python计算域编程实践-多媒体方法>第二章. 主要函数有print def ord abs pickAFile m ...

paddle 基础函数 cosine_decay

参数

paddle 基础函数 cosine_decay相关推荐

最新文章

热门文章