SGD(随机梯度下降)

在深度学习领域，该优化算法是使用最优化的算法，利用它，通过不断的估计objective function的梯度，更新模型参数，不断迭代，直至收敛或者达到我们early stoping 的条件，也就是说模型相对于validation set上performance开始下降。

SGD 又称 online 的梯度下降，每次估计梯度的时候，只选用一个训练样本。

之所以称为stochastic，是因为我们训练之前Randomly shuffle examples in the training set. 这相当于我们随机的选取一个exanple 进行online 的trainging。但是这也是有区别的，因为每次训练的时候都会逐次的选取一个样本，注意随机shuffle 之后，我们取样本的次序就固定了。

我们在训练的时候，扫完一次训练数据集中所有的example的被称为一个epoch。

参数更新公式如下：

其中B = 1 的时候，就是一般的online gradient descent.

B = the training set size , 这称为standard(also called batch) gradient descent。注意此时就不能称为stochastic gradient descent 了，因为毫无随机可言，这是确定的梯度下降

B= some valur between 1(exclusive) and the training set size (exclusive)，这就称为minibatch gradient descent, 当时也属于随机梯度下降了。

B 和 learning rate 都是hyperparameter，所谓的超参数，就是这些参数需要在validation set 到达最佳的时候来确定大小的。

SGD的算法的伪代码如下：（下面我们即w 为模型参数， Q为代价函数）

SGD(随机梯度下降)相关推荐

GD(梯度下降)和SGD(随机梯度下降)
GD:gradient descent SGD:Stochastic Gradient Descent 相同点在GD和SGD中,都会在每次迭代中更新模型的参数,使得代价函数变小. 不同点在GD中, ...
神经网络优化算法：随机梯度下降
什么是优化算法? 优化算法的功能,是通过改善训练方式,来最小化(或最大化)损失函数E(x). 损失函数E(x): 模型内部有些参数,是用来计算测试集中目标值Y的真实值和预测值的偏差程度的,基于这些参数 ...
Stochastic Gradient Descent ( 随机梯度下降 )
Stochastic Gradient Descent (SGD) ( 随机梯度下降( SGD ) ) 是一种简单但非常有效的方法,用于在诸如(线性)支持向量机和逻辑回归之类的凸损失函数下的线性分 ...
批量梯度下降(BGD)、随机梯度下降(SGD)以及小批量梯度下降(MBGD)的理解
批量梯度下降(BGD).随机梯度下降(SGD)以及小批量梯度下降(MBGD)的理解 </h1><div class="clear"></div> ...
深度学习中的随机梯度下降(SGD)简介
随机梯度下降(Stochastic Gradient Descent, SGD)是梯度下降算法的一个扩展. 机器学习中反复出现的一个问题是好的泛化需要大的训练集,但大的训练集的计算代价也更大.机器学习 ...
梯度下降（BGD）、随机梯度下降（SGD）、Mini-batch Gradient Descent、带Mini-batch的SGD
原文:http://blog.csdn.net/llx1990rl/article/details/44001921 梯度下降(BGD).随机梯度下降(SGD).Mini-batch Gradient ...
深度学习必备：随机梯度下降（SGD）优化算法及可视化
补充在前:实际上在我使用LSTM为流量基线建模时候,发现有效的激活函数是elu.relu.linear.prelu.leaky_relu.softplus,对应的梯度算法是adam.mom.rmspr ...
【转载】深度学习数学基础(二)～随机梯度下降(Stochastic Gradient Descent, SGD)
Source: 作者:Evan 链接:https://www.zhihu.com/question/264189719/answer/291167114 来源:知乎著作权归作者所有.商业转载请联系作 ...
Python统计分析--- 5.统计法与随机梯度下降（SGD）
#导入包 import numpy as np import pandas as pd import matplotlib as plt import statsmodels.formula.api ...

SGD(随机梯度下降)

SGD(随机梯度下降)相关推荐

最新文章

热门文章