—————整理自DeepLearning chapter8,主要是方便做算法的对比。

1.基础算法

1.1 随机梯度下降(SGD,Stochastic Gradient Descent)

随机梯度下降可以通过从数据生成分布中独立地抽取的m个样本组成的minibatch的平均梯度来无偏地估计梯度。
还有很多其他的点,比如SGD的收敛条件等,详情请参考原书。

1.2 动量SGD(SGD with momentum)

动量方法的提出至少在1964年,与原SGD相比,主要区别在于添加了速度v。

1.3 Nesterov动量SGD(SGD with Nesterov momentum)

Nesterov Momentum是2013年提出来的。

2.自适应学习率算法(Algorithms with Adaptive Learning Rates)

2.1.AdaGrad

2011年提出的,控制梯度方便有所创新。

2.2.RMSProp

RMSProp算法(Hinton,2012)通过将梯度累积更改为指数加权移动平均值,改进AdaGrad以使它在0非凸设置中表现更好。
还有添加动量因素的RMSP算法:

2.3.Adam

2014年提出,“Adam”源自“adaptive moments”。

3.二阶优化算法

3.1 牛顿法(Newton’s Method)

牛顿法是最常用的二阶优化算法。

3.2 共轭梯度法(Conjugate Gradients)

深度学习经典优化算法-公式汇总相关推荐

  1. 深度学习的优化算法——梯度下降和随机梯度下降

    深度学习的优化算法--梯度下降和随机梯度下降 优化算法在深度学习中存在的问题 优化在深度学习中有很多挑战,下面描述其中两个,局部最小值和鞍点. 1.局部最小值 深度学习模型的目标函数可能存在若干极点- ...

  2. 深度学习(五)优化算法--提高神经网络的训练速度和精度

    转自:https://blog.csdn.net/red_stone1/article/details/78348753 上节课我们主要介绍了如何建立一个实用的深度学习神经网络.包括Train/Dev ...

  3. 深度学习常见优化算法,图解AdaGrad、RMSProp,Adam

    1. AdaGrad AdaGrad算法是梯度下降法的改进算法,其优点是可以自适应学习率.该优化算法在较为平缓处学习速率大,有比较高的学习效率,在陡峭处学习率小,在一定程度上可以避免越过极小值点.在S ...

  4. 收藏 | 从SGD到NadaMax,深度学习十种优化算法原理及实现

    点上方蓝字计算机视觉联盟获取更多干货 在右上方 ··· 设为星标 ★,与你不见不散 仅作学术分享,不代表本公众号立场,侵权联系删除 转载于:作者丨永远在你身后@知乎 来源丨https://zhuanl ...

  5. 动手学深度学习——基础优化算法梯度下降,小批量随机梯度下降

    一.梯度下降算法 挑选一个初始值w0: 重复迭代参数t=1,2,3: 在接下来不断的更新w0,使它接近最优解: 具体来说,法则如下: wt等于wt的上一时刻减去η乘以损失函数关于wt的上一时刻的梯度. ...

  6. 「深度学习之优化算法」(六)人工蜂群算法

    1. 人工蜂群算法简介 (以下描述,均不是学术用语,仅供大家快乐的阅读) 工蜂群算法(Artificial Bee Colony Algorithm,ABC)是一种模仿蜜蜂采蜜机理而产生的群智能优化算 ...

  7. 图像处理深度学习经典基础算法

    目录 前言 一.算法实现效果 二.相关算法的一个个人理解 1.LeNet-5体系结构构: 2.AlexNet网络结构: 3.GoogLeNet网络结构: 4.VGG网络结构(VGG16.VGG19) ...

  8. 【深度学习】优化算法-Ftrl

    脑图 代码实现 '''DO WHAT THE FUCK YOU WANT TO PUBLIC LICENSEVersion 2, December 2004Copyright (C) 2004 Sam ...

  9. 深度学习加速:算法、编译器、体系结构与硬件设计

    2020-03-28 10:38:33 概述 NeurlPS2019 大会的「Efficient Processing of Deep Neural Network: from Algorithms ...

最新文章

  1. Windows下MemCache多端口安装配置
  2. MFC中MessageBox()用法
  3. 学生成绩等级评定python_马鞍山市初中学生综合素质评价工作政策解读来了!
  4. 将query存进数组 php,thinkphp下通过QueryList获取网站指定数据并封装成数组,存入数据库...
  5. QT的QJSEngine类的使用
  6. ubuntu中用apt命令卸载软件
  7. GWT HTTP请求替代
  8. git命令下载项目,上传android项目到github步骤,以及取消项目关联Git,设置git忽略文件
  9. 华为路由器上有没有mac表_MAC地址表、ARP缓存表、路由表及交换机、路由器基本原理...
  10. unicode编码表_关于编码
  11. 投资公司的钱是自己的吗?
  12. Verilog测试:TestBench结构
  13. 深度学习之CNN卷积神经网络
  14. APS系统哪家好(下)
  15. 51单片机内部外设:实时时钟(SPI)
  16. 大专计算机专业一般是几年制,大专需要读几年
  17. GCN学习:Pytorch-Geometric教程(二)
  18. Goldwasser-Micali 公钥加密系统
  19. python+openpyxl报KeyError: “There is no item named ‘[].xml‘ in the archive“
  20. esp32c3 问题解决

热门文章

  1. php mysql 家谱_mysql家谱表查询某人所有后代
  2. Solved Issues
  3. Vivo手机安装谷歌Play商店,安装服务框架谷歌Google,支持X90,X80,X70,X60,s系列,IQOO
  4. 网络工程师2017上半年软考上午试题
  5. 计算机基础作业1,学习平台-北京大学16春计算机基础与应用作业1答案-成人高等教育_成人本科教育报名_远程网络教育学院-江苏学历网报名服务中心...
  6. 什么是MACsec功能?有什么作用?
  7. 文件上传漏洞 — ::$DATA绕过、点和空格绕过
  8. touchGFX 添加中文字库
  9. 支付宝网站付沙箱配置
  10. 华为云服务器上安装jdk和部署tomcat