梯度下降，随机梯度下降，代码实现

分治法—可能会错过更好的取值。如果数据集或者维度大，代价也大。
我们要找一个更好的算法—梯度下降算法。

梯度：gradient,本文将用g代替。

所以：

梯度下降总是朝着下降速度最快的方向。

如果不都在随便一个辅助线之上或者之下则就是非凸函数。如果损失函数是上图的曲线，很容易卡在局部最优点。那么为什么深度学习里最普遍的就是梯度下降算法呢，是因为非凸函数在真正的深度学习里是很少见的。你我们要解决的最大问题就是鞍点。

import numpy as np
import matplotlib.pyplot as pltx_data=[1.0,2.0,3.0]
y_data=[2.0,4.0,6.0]w=1.0
a=0.01
def forward(x):return x*wdef cost(xs,ys):cost=0for x,y in zip(xs,ys):y_pred=forward(x)cost+=(y_pred-y)**2return cost/len(xs)def gradient(xs,ys):grad=0for x,y in zip(xs,ys):grad+=2*x*(x*w-y)return grad/len(xs)print("Predict (before training):",4,forward(4))cost_list=[]
epoch_list=[]for epoch in range(100):cost_val=cost(x_data,y_data)grad_val=gradient(x_data,y_data)w-=a*grad_valcost_list.append(cost_val)epoch_list.append(epoch)print("Epoch=",epoch,"w=",w,"cost=",cost_val)print("Predict(after training):",4,forward(4)

运行结果：

plt.plot(epoch_list,cost_list)
plt.ylabel("cost")
plt.xlabel("epoch")
plt.show()

训练结果一定是收敛的，如果发散则训练失败了，一般原因就是学习率a太大，调参重新训练。

此时鞍点问题还是没有解决
我们引入***随机梯度下降***（Stochastic Gradient Descent）SGD

cost所有样本的损失函数，loss是一个样本的损失函数，随机梯度下降是用样本里随即一个样本来计算。

引入随机噪声可能会将鞍点跨过去，让样本继续前进，事实证明这是一种非常有效的办法。

import numpy as np
import matplotlib.pyplot as pltx_data=[1.0,2.0,3.0]
y_data=[2.0,4.0,6.0]w=1.0
a=0.01def forward(x):return x*wdef loss_i(x,y):y_pred=forward(x)lossi=(y_pred-y)**2return lossidef Sgradient(x,y):grad=2*x*(x*w-y)return gradprint("Predict (before training):",4,forward(4))for epoch in range(100):for x,y in zip(x_data,y_data):loss_val=loss_i(x,y)grad_val=Sgradient(x,y)w-=a*grad_valprint("\tgrad: ",x,y,grad_val)print("progress:",epoch,"w=",w,"loss=",loss_val)print("Predict(after training):",4,forward(4))

处理结果：

。
。
。

梯度下降的效率高。可能无法找到最优点。
随机梯度下降运算性能太高，无法并行，时间空间复杂度高。

实际应用的时候，我们会采用折中的方式—批量随机梯度下降（batch），性能越高越好，时间复杂度越低越好。

将一个个样本分组，用随机梯度下降法来学习。
MiNi-Batch是主流。

梯度下降，随机梯度下降，代码实现相关推荐

【数据挖掘】神经网络后向传播算法 ( 梯度下降过程 | 梯度方向说明 | 梯度下降原理 | 损失函数 | 损失函数求导 | 批量梯度下降法 | 随机梯度下降法 | 小批量梯度下降法 )
文章目录 I . 梯度下降 Gradient Descent 简介 ( 梯度下降过程 | 梯度下降方向 ) II . 梯度下降示例说明 ( 单个参数 ) III . 梯度下降示例说明 ( 多个参数 ...
批梯度下降随机梯度下降_梯度下降及其变体快速指南
批梯度下降随机梯度下降 In this article, I am going to discuss the Gradient Descent algorithm. The next article ...
坐标下降+随机梯度下降
坐标下降+随机梯度下降坐标轴下降法(Coordinate Descent, CD)是一种迭代法,通过启发式的方法一步步的迭代求解函数的最小值,和梯度下降法(GD)不同的时候,坐标轴下降法是沿着坐标轴 ...
线性回归随机梯度下降_线性回归的批次梯度与随机梯度下降
线性回归随机梯度下降 In this article, we will introduce about batch gradient and stochastic gradient descent m ...
批量梯度下降 | 随机梯度下降 | 小批度梯度下降
文章目录 1. 什么是梯度?求梯度有什么公式? 2. 批量梯度下降 | 随机梯度下降 | 小批度梯度下降区别 3. 随机梯度下降的两种方式:原始形式和对偶形式 1. 什么是梯度?求梯度有什么公式 ...
线性模型（梯度下降随机梯度下降）
参考视频:03.梯度下降算法_哔哩哔哩_bilibili 显然使用穷举法效率太低了,如果权重多一些,时间复杂度将是指数级的增长.所以我们需要使用梯度下降算法来优化. 梯度Gradient: ∂ c o ...
梯度下降法—随机梯度下降
1.算法描述批量梯度下降的主要问题是它要用整个训练集来计算每一步的梯度,训练集大时算法特别慢.相反,随机梯度下降,每一步在训练集中随机选择一个实例,并且仅基于该单个实例来计算梯度. 与使用批量梯度下 ...
一般梯度、随机梯度、相对梯度和自然梯度
一般梯度也称常规梯度,就是 f ( w ⃗ ) f(\vec w) f(w ) 对 w ⃗ \vec w w 的偏导,即 ∂ f ( w ⃗ ) ∂ w ⃗ \frac{\partial f(\ve ...
【转载】深度学习数学基础(二)～随机梯度下降(Stochastic Gradient Descent, SGD)
Source: 作者:Evan 链接:https://www.zhihu.com/question/264189719/answer/291167114 来源:知乎著作权归作者所有.商业转载请联系作 ...
Sklearn官方文档中文整理4——随机梯度下降和最近邻篇
Sklearn官方文档中文整理4--随机梯度下降和最近邻篇 1. 监督学习 1.5. 随机梯度下降 1.5.1. 分类[linear_model.SGDClassifier] 1.5.2. 回归[li ...

梯度下降，随机梯度下降，代码实现

梯度下降，随机梯度下降，代码实现相关推荐

最新文章

热门文章