—————整理自DeepLearning chapter8,主要是方便做算法的对比。

1.基础算法

1.1 随机梯度下降(SGD,Stochastic Gradient Descent)

随机梯度下降可以通过从数据生成分布中独立地抽取的m个样本组成的minibatch的平均梯度来无偏地估计梯度。
还有很多其他的点,比如SGD的收敛条件等,详情请参考原书。

1.2 动量SGD(SGD with momentum)

动量方法的提出至少在1964年,与原SGD相比,主要区别在于添加了速度v。

1.3 Nesterov动量SGD(SGD with Nesterov momentum)

Nesterov Momentum是2013年提出来的。

2.自适应学习率算法(Algorithms with Adaptive Learning Rates)

2.1.AdaGrad

2011年提出的,控制梯度方便有所创新。

2.2.RMSProp

RMSProp算法(Hinton,2012)通过将梯度累积更改为指数加权移动平均值,改进AdaGrad以使它在0非凸设置中表现更好。
还有添加动量因素的RMSP算法:

2.3.Adam

2014年提出,“Adam”源自“adaptive moments”。

3.二阶优化算法

3.1 牛顿法(Newton’s Method)

牛顿法是最常用的二阶优化算法。

3.2 共轭梯度法(Conjugate Gradients)

深度学习经典优化算法-公式汇总相关推荐

  1. 深度学习的优化算法——梯度下降和随机梯度下降

    深度学习的优化算法--梯度下降和随机梯度下降 优化算法在深度学习中存在的问题 优化在深度学习中有很多挑战,下面描述其中两个,局部最小值和鞍点. 1.局部最小值 深度学习模型的目标函数可能存在若干极点- ...

  2. 深度学习(五)优化算法--提高神经网络的训练速度和精度

    转自:https://blog.csdn.net/red_stone1/article/details/78348753 上节课我们主要介绍了如何建立一个实用的深度学习神经网络.包括Train/Dev ...

  3. 深度学习常见优化算法,图解AdaGrad、RMSProp,Adam

    1. AdaGrad AdaGrad算法是梯度下降法的改进算法,其优点是可以自适应学习率.该优化算法在较为平缓处学习速率大,有比较高的学习效率,在陡峭处学习率小,在一定程度上可以避免越过极小值点.在S ...

  4. 收藏 | 从SGD到NadaMax,深度学习十种优化算法原理及实现

    点上方蓝字计算机视觉联盟获取更多干货 在右上方 ··· 设为星标 ★,与你不见不散 仅作学术分享,不代表本公众号立场,侵权联系删除 转载于:作者丨永远在你身后@知乎 来源丨https://zhuanl ...

  5. 动手学深度学习——基础优化算法梯度下降,小批量随机梯度下降

    一.梯度下降算法 挑选一个初始值w0: 重复迭代参数t=1,2,3: 在接下来不断的更新w0,使它接近最优解: 具体来说,法则如下: wt等于wt的上一时刻减去η乘以损失函数关于wt的上一时刻的梯度. ...

  6. 「深度学习之优化算法」(六)人工蜂群算法

    1. 人工蜂群算法简介 (以下描述,均不是学术用语,仅供大家快乐的阅读) 工蜂群算法(Artificial Bee Colony Algorithm,ABC)是一种模仿蜜蜂采蜜机理而产生的群智能优化算 ...

  7. 图像处理深度学习经典基础算法

    目录 前言 一.算法实现效果 二.相关算法的一个个人理解 1.LeNet-5体系结构构: 2.AlexNet网络结构: 3.GoogLeNet网络结构: 4.VGG网络结构(VGG16.VGG19) ...

  8. 【深度学习】优化算法-Ftrl

    脑图 代码实现 '''DO WHAT THE FUCK YOU WANT TO PUBLIC LICENSEVersion 2, December 2004Copyright (C) 2004 Sam ...

  9. 深度学习加速:算法、编译器、体系结构与硬件设计

    2020-03-28 10:38:33 概述 NeurlPS2019 大会的「Efficient Processing of Deep Neural Network: from Algorithms ...

最新文章

  1. 【MediaPipe】(3) AI视觉,人脸识别,附python完整代码
  2. 《人工智能标准化白皮书(2018版)》发布|附下载
  3. Vue:echarts的柱状图为什么X轴上的文字不显示?
  4. 初识计算机操作系统与进程
  5. 简述JDBC原理 + 在JAVA中异常是什么 + throws 与 throw 区别 + 简单解释以下JAVA中的多态...
  6. NBIOT的BC26使用
  7. Springboot图片上传 百度ocr文字识别提取
  8. 把幽灵和熔断关闭_比较幽灵和三巨头
  9. GhostXP_SP3电脑公司装机版v2011.04特别版
  10. CodeForces869E The Untended Antiquity
  11. 建设智能工厂建设,主要划分为哪几步?
  12. Slave SQL thread retried transaction 10 time(s) in vain, giving up. Consider raising the value of t
  13. ROS2+Qt5 开发问题汇总
  14. python树结构输出到excel_【IT专家】使用Excel电子表格表示树层次结构,以便Python CSV reader轻松解析?...
  15. Thymeleaf – Java静态页面模版框架
  16. 一个 SAP 开发工程师的成长史 - 关于信息素养和数字化资产的思考
  17. js 图片格式转换为jpg_如何将图像转换为JPG格式
  18. 通才计算机学校 顺发分校,通识教育与通才教育才是培优之道
  19. 【rmzt】NBA火箭队红色主题
  20. 寺冈labelnet使用说明_寺冈秤常用操作手册

热门文章

  1. SF1006-ASEMI超快恢复二极管SF1006
  2. 五分钟玩转Andriod开发环境配置
  3. 2020年年度总结(致敬自己)
  4. 达梦数据库联机与脱机备份还原
  5. SCL译码matlab,CRC_polar_SC_SCL 码的SC译码算法,可设置不同信噪比, 码长 改为SCL 和CA 。核心 matlab 272万源代码下载- www.pudn.com...
  6. Android程序员的十大转型之路
  7. OUU益生菌精耕胃肠健康,获奖天猫国际微生态创新大会
  8. 返款接口教程,转账到支付宝账户开通方法
  9. ArcGIS制图学习(1)
  10. c语言中如果产量的隐藏类型是,如果随着产量的增加,生产函数首先表现出边际产量增加,然后表现出边际产量递减,那么相应的边际成本曲线将 答案:是U形的...