综述：我们所了解到的机器学习算法的最终目标都是通过数据集的训练，得到一组最优参数，这个过程也称为优化，那么优化的方式有哪些呢，本文介绍梯度下降的一般定义，然后介绍不同数据集下的梯度更新方法，最后介绍深度学习中几种梯度的更新策略。

1、梯度下降简介

梯度下降是一种致力于找到函数极值点的算法。

minxf(x)其中x为数据集min_xf(x) 其中x为数据集 minxf(x)其中x为数据集

已经得到了(x0,x1,...,xi)(x_0,x_1,...,x_i)(x0,x1,...,xi),如何求xi+1x_{i+1}xi+1
xi+1=xi+Δxix_{i+1} = x_i + \Delta x_i xi+1=xi+Δxi

随着迭代次数的增加，将逐渐逼近极值点。逼近过程如下图所示。

2、梯度下降与数据集大小

当数据集的数量非常大的时候，计算梯度将耗费相当长的时间，因此在这种情况下不宜用全量训练数据训练。全量训练又称为批量梯度下降法（BGD），随机梯度下降法（SGD），小批量梯度下降法（MBGD）。

2.1 SGD

每次更新只是用一个样本，因此收敛速度比较快。但样本可能被重复抽取到，而且单个样本数据之间可能差别比较大，可能导致每一次训练时，代价函数产生较大的波动。

2.2 MBGD

小批量梯度下降法介于BGD与SGD之间，每次选取k个数据样本进行训练。MBGD在提升性能的基础上又能保持效率。

(1)深度学习_梯度下降与优化相关推荐

【深度学习】——梯度下降优化算法（批量梯度下降、随机梯度下降、小批量梯度下降、Momentum、Adam）
目录梯度梯度下降常用的梯度下降算法(BGD,SGD,MBGD) 梯度下降的详细算法算法过程批量梯度下降法(Batch Gradient Descent) 随机梯度下降法(Stochastic ...
深度学习-各类梯度下降优化算法回顾
本文是根据链接进行的翻译,回顾了深度学习的各种梯度下降优化算法.*已获得原作者的翻译许可. 文章目录一.概述二.引言三.Gradient Descent Variants(梯度下降法变体) ...
深度学习 Optimizer 梯度下降优化算法总结
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达来源:https://zhuanlan.zhihu.com/p/3 ...
人工智障学习笔记——梯度下降(2)优化算法
四.优化 4-1 Momentum 如果我们把梯度下降法当作小球从山坡到山谷的一个过程,那么在小球滚动时是带有一定的初速度,在下落过程,小球积累的动能越来越大,小球的速度也会越滚越大,更快的奔向谷底, ...
【深度学习】梯度下降和反向传播
声明:本博客只是小白博主自己的记录博客,仅供参考. 导数到底是什么? 引用知乎上的一个回答那么导数的本质是什么?就是变化率呗,例如小王今年卖了100头猪,去年90头,前年80头,,,也就是说每年增加 ...
[深度学习概念]·梯度下降原理讲解
目录梯度下降的场景假设梯度下降微分梯度梯度下降算法的数学解释梯度下降算法的实例单变量函数的梯度下降多变量函数的梯度下降梯度下降算法的实现 coding time 小结 Further ...
深度学习《CNN架构续篇 - 梯度下降的优化》
骚话一下: 今天是2020年10月2号,继续学习.本文依然是<CNN架构>的延续博文,重点介绍优化的新的梯度下降算法. 一:梯度下降的种类说到梯度下降的方法,确实是求最优解的比较好的途径 ...
神经网络：AI 实践者需要掌握的10大深度学习方法：反向传播、迁移学习、梯度下降……
[嵌牛导读]:本文总结了10个强大的深度学习方法,包括反向传播.随机梯度下降.学习率衰减.Dropout.最大池化.批量归一化.长短时记忆.Skip-gram.连续词袋.迁移学习等,这是AI工程师可以 ...
凸优化机器学习深度学习_我应该在机器学习项目中使用哪个优化程序
凸优化机器学习深度学习 This article provides a summary of popular optimizers used in computer vision, natural ...
TensorFlow 深度学习笔记 TensorFlow实现与优化深度神经网络
TensorFlow 深度学习笔记 TensorFlow实现与优化深度神经网络转载请注明作者:梦里风林 Github工程地址:https://github.com/ahangchen/GDLnote ...

(1)深度学习_梯度下降与优化

1、梯度下降简介

2、梯度下降与数据集大小

2.1 SGD

2.2 MBGD

(1)深度学习_梯度下降与优化相关推荐

最新文章

热门文章