【ML】_00_03_梯度下降

文章目录

【零】 Learning Rate - 学习速率
【一】一般梯度下降
【二】 SGD - 随机梯度下降
【三】 Adagrad - 自适应梯度下降
【四】 Momentum - 动量梯度下降（流平均）
【五】 RMSProp - 均方根反向传播（Ada + 流平均）
【六】 Adam - 亚当

【零】 Learning Rate - 学习速率

【一】一般梯度下降

直接根据导数更新 W

W = W - lr * J_prime(W)

【二】 SGD - 随机梯度下降

每次迭代 使用 一个样本 来对参数进行更新，也可以选择 多个样本（10个，20个…）Mini-Batch SGD
在 pytorch框架 内，Momentum 动量随机梯度下降被集合在了SGD内部
参数更新速度快，不是在全部训练数据上的损失函数，而是在每轮迭代中，随机优化某一条训练数据上的损失函数
准确的下降，即使在目标函数为强凸函数的情况下，SGD仍无法做到线性收敛
可能收敛到局部最优，因为单个样本并不能代表全体样本的趋势
不易于并行实现

【三】 Adagrad - 自适应梯度下降

解决 二维参数更新速度不匹配 问题
初始化 存储变量 S1 S2

S1 = S2 = 0 #存储变量
S1 += J_prime(W1) ** 2 #导数平方累加
W1 = W1 - lr * (J_prime1(W1) / np.sqrt(S1)) #开平方更新参数
S2 += J_prime(W2) ** 2 #同理，导数平方累加
W2 = W2 - lr * (J_prime2(W2) / np.sqrt(S2)) #同理，开平方更新参数

【四】 Momentum - 动量梯度下降（流平均）

初始化 速度变量 V 和 比例 β

V = β * V + (1-β) * J_prime(W) # 速度
W = W -lr * V # 用 速度V 取代 W

【五】 RMSProp - 均方根反向传播（Ada + 流平均）

初始化 存储变量 S1 S2 和 比例 β
引入 校正因子 S1_correct 和 S2_correct ，细微调整，平衡初始速度过慢，后续速度过快

S1 = S2 = 0 #存储变量
β = 0.5
S1 = β * S1 + (1-β) * (J_prime1(W1) ** 2)
S1_correct = S1 / (1 - β **(i+1)) # 校正因子，i 是迭代次数，在 for 循环里面
W1 = W1 - lr * (J_prime1(W1) / np.sqrt(S1)) #开平方更新参数
# 以下同理
S2 = β * S2 + (1-β) * (J_prime2(W2) ** 2)
S2_correct = S2 / (1 - β **(i+1)) # 校正因子，i 是迭代次数，在 for 循环里面
W2 = W2 - lr * (J_prime2(W2) / np.sqrt(S2)) #开平方更新参数

【六】 Adam - 亚当

一个集成了各大门派优势的方法
通过 Momentum 解决鞍点问题
通过 Adagrad 解决对弱小方向尺度矫正的问题
通过加入偏置解决初始值过大的问题
初始化 速度变量 V1 V2，初始化 存储变量S1 S2，初始化 比例 β1 β2
引入 校正因子 V_correct 和 S_correct ，细微调整，平衡初始速度过慢，后续速度过快

V1 = V2 = 0 #速度变量
S1 = S2 = 0 #存储变量
β1 = 0.9 #针对 速度变量 V
β2 = 0.99 #针对 存储变量 S
# V1 和 S1
V1 = β1 * V1 + (1-β1) * J_prime1(W1) #无平方
V1_correct = V1 / (1 - β1 ** (i+1)) #V1矫正因子
S1 = β2 * S1 + (1-β2) * (J_prime1(W1) ** 2) #有平方
S1_correct = S1 / (1 - β2 ** (i+1)) #S1矫正因子
W1 = W1 - lr * (V1 / np.sqrt(S1)) #通过 V 和 S 进行参数更新
# V2 和 S2 以下同理
V2 = β1 * V2 + (1-β1) * J_prime2(W2) #无平方
V2_correct = V2 / (1 - β1 ** (i+1)) #V2矫正因子
S2 = β2 * S2 + (1-β2) * (J_prime2(W2) ** 2) #有平方
S2_correct = S2 / (1 - β2 ** (i+1)) #S2矫正因子
W2 = W2 - lr * (V2 / np.sqrt(S2)) #通过 V 和 S 进行参数更新

【ML】_00_03_梯度下降相关推荐

ML笔记1——什么是ML；回归LossFunction（LF）推导；LF与凸函数关系；梯度下降推导；范数与正则化。
了解什么是Machine learning 学习中心极限定理,学习正态分布,学习最大似然估计推导回归Loss function 学习损失函数与凸函数之间的关系了解全局最优和局部最优学习导数,泰勒 ...
LeCun称梯度下降是最优雅的 ML 算法，Marcus：我不同意
作者|李梅编辑|陈彩娴来源|AI科技评论前几天刚跟马斯克吵完架的Gary Marcus,又双叒叕跟人吵起来了,这次的吵架对象是Yann LeCun. 一向喜欢给深度学习泼冷水的Marcus,在今 ...
LeCun称梯度下降是最优雅的 ML 算法，Marcus：我不同意！
点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达点击进入-> CVer 微信技术交流群转载自:AI科技评论作者|李梅编辑|陈彩娴前几天刚跟 ...
ML与Optimality：最优化理论(GD随机梯度下降/QN拟牛顿法/CG共轭梯度法/L-BFGS/TR置信域/GA遗传算法/SA模拟退火算法)在机器学习中的简介、常用方法、案例应用之详细攻略
ML与Optimality:最优化理论(GD随机梯度下降/QN拟牛顿法/CG共轭梯度法/L-BFGS/TR置信域/GA遗传算法/SA模拟退火算法)在机器学习中的简介.常用方法.案例应用之详细攻略目录 ...
[ML]--梯度下降 GD 的理解和探究
文章目录 1. Content 2. References 1. Content 2. References 深度理解机器学习"梯度下降" jianshu 一文读懂梯度下降算法 c ...
『ML笔记』梯度下降法和随机梯度下降法和小批量梯度对比
目录 1. 梯度下降法(gradient descent) 2. 随机梯度下降(Stochastic gradient descent) 3. 小批量梯度下降(Mini-Batch gradient ...
Gradient Descent梯度下降（透彻分析）
----------首先了解什么是梯度? 官方解释: 梯度的本意是一个向量(矢量),表示某一函数在该点处的方向导数沿着该方向取得最大值,即函数在该点处沿着该方向(此梯度的方向)变化最快,变化率最大(为 ...
独家 | 数据科学家指南：梯度下降与反向传播算法
作者:Richmond Alake 翻译:陈之炎校对:zrx本文约3300字,建议阅读5分钟本文旨在为数据科学家提供一些基础知识,以理解在训练神经网络时所需调用的底层函数和方法. 标签:神经网络, ...
独家 | 多项式回归：从零开始学习梯度下降
作者:SETHNEHA 翻译:王可汗校对:陈丹本文约3200字,建议阅读15分钟本文为大家介绍多项式回归中的梯度下降算法. 关键词:梯度下降.多项式回归.模型优化梯度下降是一个需要理解的重要算 ...

【ML】_00_03_梯度下降

文章目录

【零】 Learning Rate - 学习速率

【一】一般梯度下降

【二】 SGD - 随机梯度下降

【三】 Adagrad - 自适应梯度下降

【四】 Momentum - 动量梯度下降（流平均）

【五】 RMSProp - 均方根反向传播（Ada + 流平均）

【六】 Adam - 亚当

【ML】_00_03_梯度下降相关推荐

最新文章

热门文章

【ML】_00_03_梯度下降

文章目录

【零】 Learning Rate - 学习速率

【一】 一般梯度下降

【二】 SGD - 随机梯度下降

【三】 Adagrad - 自适应梯度下降

【四】 Momentum - 动量梯度下降（流平均）

【五】 RMSProp - 均方根反向传播（Ada + 流平均）

【六】 Adam - 亚当

【ML】_00_03_梯度下降相关推荐

最新文章

热门文章

【一】一般梯度下降