浅析深度学习中优化方法

目前而言，深度学习是机器学习的发展前沿，一般针对大数据量的学习目标。其优化方法来源于基本的机器学习的优化方法，但也有所不同。

下面，小结一下，其基础是随机梯度下降的方法，但是为了学习的自适应性，做了如下改进：1. 因为每次训练的数据不一样，可能导致目标函数的梯度变化剧烈，为了解决这个问题，联合上次迭代的梯度和当前梯度，使梯度变化变缓（指数衰减）；2. 在学习过程中，当迭代结果接近最优值时，我们需要学习率（即步长）越来越小，去逼近最优值，要不然会出现震荡情况导致网络不收敛。为了解决这个问题，引入学习率自适应减小机制。

参考资料：

¹⁾ Ruder, An overview of gradient descent optimization algorithms http://sebastianruder.com/optimizing-gradient-descent/index.html#gradientdescentoptimizationalgorithms

²⁾ https://climin.readthedocs.org/en/latest/#optimizer-overview

³⁾ Schaul, Antonoglou, Silver, Unit Tests for Stochastic Optimization

⁴⁾ Sutskever, Martens, Dahl, and Hinton, “On the importance of initialization and momentum in deep learning” (ICML 2013)

⁵⁾ Dyer, “Notes on AdaGrad”

⁶⁾ Duchi, Hazan, and Singer, “Adaptive Subgradient Methods for Online Learning and Stochastic Optimization” (COLT 2010)

⁷⁾ Hinton, Srivastava, and Swersky, “rmsprop: Divide the gradient by a running average of its recent magnitude”

⁸⁾ Dauphin, Vries, Chung and Bengion, “RMSProp and equilibrated adaptive learning rates for non-convex optimization”

⁹⁾ Graves, “Generating Sequences with Recurrent Neural Networks”

¹⁰⁾ Zeiler, “Adadelta: An Adaptive Learning Rate Method”

¹¹⁾ Kingma and Ba, “Adam: A Method for Stochastic Optimization”

12）http://colinraffel.com/wiki/stochastic_optimization_techniques

浅析深度学习中优化方法相关推荐

浅析深度学习中Batch Size大小对训练过程的影响
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达作者丨陈志远@知乎(已授权) 来源丨https://zhuanlan ...
浅析深度学习中的mask操作
mask(掩码.掩膜)是深度学习中的常见操作.简单而言,其相当于在原始张量上盖上一层掩膜,从而屏蔽或选择一些特定元素,因此常用于构建张量的过滤器(见下图). 按照上述定义,非线性激活函数Relu(根据 ...
任奎：人工智能算法安全浅析——深度学习中的对抗攻击与防御
2020-05-19 19:52:46 任奎随着计算机产业发展带来的计算性能与处理能力的大幅提高,人工智能在音视频识别.自然语言处理和博弈论等领域得到了广泛应用.在此背景下,确保人工智能的核心--深 ...
introduction to deep learning--week1简单线性回归、梯度下降、模型正则化、和深度学习中的优化方法
进阶课程需要一些基础知识: 1.机器学习基础知识 2.概率论知识 3.线性代数和微积分 4.python编程我们需要知道的机器学习基础知识: 1.线性回归:均方误差(MSE).解析解 2.逻辑回归: ...
深度学习中的优化方法总结
转载自:https://blog.csdn.net/u012151283/article/details/78154917 梯度下降沿着整个训练集的梯度方向下降.可以使用随机梯度下降很大程度地加速,沿 ...
深度学习中的优化算法之MBGD
之前在https://blog.csdn.net/fengbingchun/article/details/75351323 介绍过梯度下降,常见的梯度下降有三种形式:BGD.SGD.MBGD,它们的 ...
深度学习中的优化算法之BGD
之前在https://blog.csdn.net/fengbingchun/article/details/75351323 介绍过梯度下降,常见的梯度下降有三种形式:BGD.SGD.MBGD,它们的 ...
深度学习中的优化简介
深度学习算法在许多情况下都涉及到优化. 1. 学习和纯优化有什么不同在大多数机器学习问题中,我们关注某些性能度量P,其定义于测试集上并且可能是不可解的.因此,我们只是间接地优化P.我们系统通过降低代 ...
深度学习中的优化算法与实现
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 GiantPandaCV导语:这篇文章的内容主要是参考沐神的mxnet/gluon视频中,Aston ...

浅析深度学习中优化方法

浅析深度学习中优化方法相关推荐

最新文章

热门文章