1.MEO方法

实现师兄的一片论文，将MEO方法应用于CNN中，加快训练速度，
现在回顾一下，大概是一种梯度修剪方法，将指数移动平均应用在梯度值变化中，使其变化慢一些。
无用无用

2.查看cnn梯度

        parameter = grads.param_groups[0]print(parameter.keys())

grads.param_groups 内部是列表，列表中只有一个字典。
注意此列表不可迭代，只能用字典查看。

grads字典包含的键值：
dict_keys(['params', 'lr', 'momentum', 'dampening', 'weight_decay', 'nesterov'])

lr 是学习率
momentum 是动量
weight_decay 是权值衰减，防止过拟合
dampening 是什么，是SGD的参数吗
Nesterov 是 Nesterov动量

问题：

RuntimeError: you can only change requires_grad flags of leaf variables.
RuntimeError:只能更改需要叶变量的梯度标志。

终结：这种方法只能加快训练速度，无其他作用，属实浪费时间

修改cnn梯度下降——MEO方法应用相关推荐

梯度下降优化方法'原理_优化梯度下降的新方法
梯度下降优化方法'原理 The new era of machine learning and artificial intelligence is the Deep learning era. It ...
梯度下降优化方法的思考
写在开头:看了AndroidNG的斯坦福公开课之后,又想重新审视对之前学的似懂非懂的梯度下降方法.写篇博客研究一下其中的数学知识. 1.线性回归 1.线性回归的预测模型: hθ(x)=θ0+θ1x1+ ...
梯度下降优化方法与自动控制的关系
梯度下降的各种优化算法下面参考文献表述都很全面了,不在赘述,主要谈谈个人理解其实对SGD的优化,跟自动控制中的PID思路其实是一样的 P(Propotion)比例项即当前偏差 I(Intergrat ...
深度学习《CNN架构续篇 - 梯度下降的优化》
骚话一下: 今天是2020年10月2号,继续学习.本文依然是<CNN架构>的延续博文,重点介绍优化的新的梯度下降算法. 一:梯度下降的种类说到梯度下降的方法,确实是求最优解的比较好的途径 ...
强化学习（七） - 函数近似方法 - 随机梯度下降, 半梯度下降,及瓦片编码(Tile Coding)实例
函数近似方法 7.1 目标预测(VE‾\overline{VE}VE) 7.2 随机梯度下降和半梯度下降例7.1: 1000态随机行走的状态收敛 7.3 线性近似 7.4 线性方法的特征构造 7.4 ...
introduction to deep learning--week1简单线性回归、梯度下降、模型正则化、和深度学习中的优化方法
进阶课程需要一些基础知识: 1.机器学习基础知识 2.概率论知识 3.线性代数和微积分 4.python编程我们需要知道的机器学习基础知识: 1.线性回归:均方误差(MSE).解析解 2.逻辑回归: ...
hung-yi lee_p5-7_Gradient Descent(梯度下降)
原视频地址 https://www.bilibili.com/video/BV1JE411g7XF?p=5 文章目录梯度下降是如何优化函数的 tips 1. 使用Adagrad 2. Stochas ...
批梯度下降随机梯度下降_梯度下降及其变体快速指南
批梯度下降随机梯度下降 In this article, I am going to discuss the Gradient Descent algorithm. The next article ...
LeCun称梯度下降是最优雅的 ML 算法，Marcus：我不同意
作者|李梅编辑|陈彩娴来源|AI科技评论前几天刚跟马斯克吵完架的Gary Marcus,又双叒叕跟人吵起来了,这次的吵架对象是Yann LeCun. 一向喜欢给深度学习泼冷水的Marcus,在今 ...

修改cnn梯度下降——MEO方法应用

1.MEO方法

2.查看cnn梯度

终结：这种方法只能加快训练速度，无其他作用，属实浪费时间

修改cnn梯度下降——MEO方法应用相关推荐

最新文章

热门文章