如果你还不了解梯度下降请参考：知乎@Ai酱：{高中生能看懂的}梯度下降是个啥？。

随机梯度下降与梯度下降之间有什么区别？

假设你已经懂了梯度下降的原理与公式。接下来我会举个例子来讲随机梯度下降与梯度下降的区别。
假如损失（误差）函数对参数w的导数是 x ( w x − l a b e l ) x(wx - label) x(wx−label)，然后我们需要更新的参数是 w w w，学习率是 α \alpha α。
现在有一堆数据 ( x 1 , l a b e l 1 ) , ( x 2 , l a b e l 2 ) , ( x i , l a b e l i ) , ( x n , l a b e l n ) {(x_1,label_1),(x_2,label_2),(x_i,label_i),(x_n,label_n)} (x1,label1),(x2,label2),(xi,labeli),(xn,labeln).
那么梯度下降会这么更新参数w：
w = w − α ∗ ∑ i = 1 n ( x i ( w x i − l a b e l ) ) w=w-\alpha*\sum_{i=1}^n {(x_i(wx_i - label))} w=w−α∗∑i=1n(xi(wxi−label))
而随机梯度下降会这么做：

遍历i从1到n{
w = w − α ∗ ( x i ( w x i − l a b e l ) ) w=w-\alpha* {(x_i(wx_i - label))} w=w−α∗(xi(wxi−label))
}

可以看到梯度下降中的导数部分是把所有样本代入到导数中，然后累加，然后更新参数。而随机梯度下降则是选一个样本计算一个导数，然后马上更新参数。
下面我用伪代码表示下随机梯度下降与梯度下降之间的区别：
梯度下降

x = [...]
lable = [...]
w = 0.666
learning_rate = 0.001
for(循环很多次){df_dw = 0for i in range(len(x)):df_dw += x[i]*(w*x[i]-label[i])passw = w - learning_rate*df_dw
}

随机梯度下降

x = [...]
lable = [...]
w = 0.666
learning_rate = 0.001
for(循环很多次){for i in range(len(x)):df_dw = x[i]*(w*x[i]-label[i])w = w - learning_rate*df_dw
}

然后随机梯度下降有很多变种，比如增加动量来加速收敛。
本来是
w = w + α ∗ f ′ ( w ) w=w+\alpha*f'(w) w=w+α∗f′(w)，然后加了动量的就变成了：
v = γ v v=\gamma v v=γv
w = w + v + α ∗ f ′ ( w ) w=w+v+\alpha*f'(w) w=w+v+α∗f′(w)

import math
def f(x):  return x**3-2*x - 10 +x**2  def derivative_f(x):  return 3*(x**2)+2*-2  x=0.0
y=0.0
learning_rate = 0.001
gradient=0
e=0.00000001  b1 = 0.9
b2 = 0.995  m = 0
v = 0
t = 0  for i in range(10000):  print('x = {:6f}, f(x) = {:6f},gradient={:6f}'.format(x,y,gradient))  if(abs(gradient)>0.00001 and (abs(gradient)<0.0001)):  print("break at "+str(i))  break  else:  gradient = derivative_f(x)  t=t+1  'mt ← β1 · mt−1 + (1 − β1) · gt '  m = b1*m + (1-b1)*gradient  'vt ← β2 · vt−1 + (1 − β2) · g2'  v = b2*v +(1-b2)*(gradient**2)  'mt ← mt/(1 − βt1)'  mt = m/(1-(b1**t))  'vbt ← vt/(1 − βt2)'  vt = v/(1-(b2**t))  x = x- learning_rate * mt/(math.sqrt(vt)+e)  y=f(x)

随机梯度下降与梯度下降的区别？相关推荐

机器学习：随机梯度下降（SGD）与梯度下降（GD）的区别与代码实现。
机器学习:随机梯度下降(SGD)与梯度下降(GD)的区别与代码实现. 梯度下降法(GD) 随即梯度下降(SGD) 代码实现如果想细致的了解:-> 梯度下降法梯度下降法(GD) 假设函数fx, ...
梯度下降和随机梯度下降为什么能下降？
梯度下降和随机梯度下降为什么能下降? 标签: 深度学习梯度下降SGD 2016-02-22 19:19 663人阅读评论(1) 收藏举报本文章已收录于: 分类: Deep Learning ...
批梯度下降随机梯度下降_梯度下降及其变体快速指南
批梯度下降随机梯度下降 In this article, I am going to discuss the Gradient Descent algorithm. The next article ...
深度学习_07_2_随机梯度下降_激活函数及梯度损失函数及梯度
07_2_随机梯度下降_激活函数及梯度&损失函数及梯度激活函数及其梯度 Activation Functions(激活函数) 研究青蛙的神经元有多个输入,比如x0,x1,x2x_0,x_1, ...
梯度下降法和随机梯度下降,批量梯度下降法,小批量梯度下降(SGD,MGD,BMGD)
梯度下降法其有着三种不同的形式: 批量梯度下降(Batch Gradient Descent). 随机梯度下降(Stochastic Gradient Descent) 以及小批量梯度下降(Mini ...
梯度算法之梯度上升和梯度下降
转载请注明出处:http://blog.csdn.net/gamer_gyt 博主微博:http://weibo.com/234654758 Github:https://github.com/thi ...
3. 机器学习中为什么需要梯度下降_梯度提升（Gradient Boosting）算法
本文首发于我的微信公众号里,地址:梯度提升(Gradient Boosting)算法本文禁止任何形式的转载. 我的个人微信公众号:Microstrong 微信公众号ID:MicrostrongAI ...
【机器学习】P17 梯度下降与梯度下降优化算法（BGD 等与 Adam Optimizer、AdaGrad、RMSProp）
梯度下降与梯度下降算法梯度下降梯度下降算法基础优化算法批量梯度下降 BGD 随机梯度下降 SGD 小批量梯度下降 MBGD 动量梯度下降 MGD 基础优化算法上的改进和优化的算法自适应梯度算 ...
|●梯度下降是什么|●梯度下降算法原理|●梯度下降实例
<老饼讲解机器学习>--一个经典的机器学习算法网站http://ml.bbbdata.com/teach#193 目录一.问题背景二.梯度下降算法思路 (一) 思路概览 (二) 关于梯 ...

随机梯度下降与梯度下降的区别？

随机梯度下降与梯度下降之间有什么区别？

随机梯度下降与梯度下降的区别？相关推荐

最新文章

热门文章