用Numpy搭建神经网络第二期：梯度下降法的实现

https://www.toutiao.com/a6696699352833851908/

大数据文摘出品

作者：蒋宝尚

小伙伴们大家好呀~~用Numpy搭建神经网络，我们已经来到第二期了。第一期文摘菌教大家如何用Numpy搭建一个简单的神经网络，完成了前馈部分。

这一期，为大家带来梯度下降相关的知识点，和上一期一样，依然用Numpy实现梯度下降。在代码开始之前，先来普及一下梯度下降的知识点吧。

梯度下降：迭代求解模型参数值

第一期文章中提到过，最简单的神经网络包含三个要素，输入层，隐藏层以及输出层。关于其工作机理其完全可以类比成一个元函数：Y=W*X+b。即输入数据X，得到输出Y。

如何评估一个函数的好坏，专业一点就是拟合度怎么样？最简单的方法是衡量真实值和输出值之间的差距，两者的差距约小代表函数的表达能力越强。

这个差距的衡量也叫损失函数。显然，损失函数取值越小，原函数表达能力越强。

那么参数取何值时函数有最小值？一般求导能够得到局部最小值（在极值点处取）。而梯度下降就是求函数有最小值的参数的一种方法。

梯度下降数学表达式

比如对于线性回归，假设函数表示为hθ（x1，x2…xn）=θ0+θ1x1+..+θnxn，其中wi(i=0，1，2...n）为模型参数，xi（i=0，1，2...n）为每个样本的n个特征值。这个表示可以简化，我们增加一个特征x0=1，这样h(xo，x1，.…xn)=θ0x0+θ1x1+..+θnxn。同样是线性回归，对应于上面的假设函数，损失函数为（此处在损失函数之前加上1/2m，主要是为了修正SSE让计算公式结果更加美观，实际上损失函数取MSE或SSE均可，二者对于一个给定样本而言只相差一个固定数值）：

算法相关参数初始化：主要是初始化θ0，θ1..，θn，我们比较倾向于将所有的初始化为0，将步长初始化为1。在调优的时候再进行优化。

对θi的梯度表达公式如下:

用步长（学习率）乘以损失函数的梯度，得到当前位置下降的距离，即：

梯度下降法的矩阵方式描述

对应上面的线性函数，其矩阵表达式为:

损失函数表达式为：

其中Y为样本的输出向量。

梯度表达公式为：

还是用线性回归的例子来描述具体的算法过程。损失函数对于向量的偏导数计算如下：

迭代：

两个矩阵求导公式为：

用Python实现梯度下降

import pandas as pdimport numpy as np

导入两个必要的包。

def regularize(xMat): inMat=xMat. copy() inMeans=np. mean(inMat, axis=0) invar=np. std(inMat, axis=0) inMat=(inMat-inMeans)/invar return inMat

定义标准化函数，不让过大或者过小的数值影响求解。

定义梯度下降函数：

def BGD_LR(data alpha=0.001, maxcycles=500): xMat=np. mat(dataset) yMat=np. mat(dataset).T xMat=regularize(xMat) m,n=xMat.shape weights=np. zeros((n,1)) for i in range(maxcycles): grad=xMat.T*(xMat * weights-yMat)/m weights=weights -alpha* grad return weights

其中，dataset代表输入的数据，alpha是学习率，maxcycles是最大的迭代次数。

即返回的权重就是说求值。np.zeros 是初始化函数。grad的求取是根据梯度下降的矩阵求解公式。

本文参考B站博主菊安酱的机器学习。感兴趣的同学可以打开链接观看视频哟~

https://www.bilibili.com/video/av35390140

好了，梯度下降这个小知识点就讲解完了，下一期，我们将第一期与第二期的知识点结合，用手写数字的数据完成一次神经网络的训练。

用Numpy搭建神经网络第二期：梯度下降法的实现相关推荐

基于python的梯度下降法的实现代码
基于python的梯度下降法的实现代码: def _numerical_gradient_no_batch(f, x):h = 1e-4 # 0.0001grad = np.zeros_like(x ...
TensorFlow什么的都弱爆了，强者只用Numpy搭建神经网络
https://www.toutiao.com/a6691893350573801998/ 2019-05-17 15:23:56 大数据文摘出品作者:蒋宝尚很多同学入门机器学习之后,直接用Ten ...
【吊炸天】TensorFlow什么的都弱爆了，强者只用Numpy搭建神经网络
大数据文摘出品作者:蒋宝尚很多同学入门机器学习之后,直接用TensorFlow调包实现神经网络,对于神经网络内在机理知之甚少. 编程语言与技术框架变化更新非常之快,理解背后的原理才是王道.下面文摘 ...
神经网络入门——12梯度下降代码
梯度下降过程可参考上一篇梯度下降算法 # Defining the sigmoid function for activations # 定义 sigmoid 激活函数 def sigmoid(x): ...
详解+推导神经网络中的前向传播和反向传播公式（神经网络中的梯度下降）
文章目录线性回归快速回忆逻辑回归中的正向传播与反向传播逻辑回归中的正向传播与反向传播-代码实战神经网络的正向传播与反向传播参考资料线性回归快速回忆在线性回归(y=ax+by=ax+by= ...
np实现sigmoid_【强基固本】基础算法：使用numpy实现逻辑回归随机梯度下降（附代码）...
深度学习算法工程师面试,记录一道较为基础的笔试题: 输入:目标向量Y(N*1),矩阵X(N*K):输出:使用随机梯度下降求得的逻辑回归系数W(K+1). 分析:该问题需要先列出逻辑回归的函数解析式,再 ...
一文看懂神经网络中的梯度下降原理图像说明
本文是一篇关于深度学习优化方法--梯度下降的介绍性文章.作者通过长长的博文,简单介绍了梯度下降的概念.优势以及两大挑战.文中还配有大量生动形象的三维图像,有兴趣的亲了解一下? 从很大程度上来说,深度学 ...
神经网络之Mini-Batch梯度下降
传统的梯度下降算法,遍历全部数据集算一次损失函数,然后算函数对各个参数的梯度,更新梯度.这种梯度下降法叫做这称为Batch gradient descent(BDG).我们知道 Batch 梯度下降的 ...
【一】零基础入门深度学习：用numpy实现神经网络训练
(给机器学习算法与Python学习加星标,提升AI技能) 作者 | 毕然百度深度学习技术平台部主任架构师内容来源 | 百度飞桨深度学习集训营本文转自飞桨PaddlePaddle 本课程是百度官方 ...

用Numpy搭建神经网络第二期：梯度下降法的实现

用Numpy搭建神经网络第二期：梯度下降法的实现相关推荐

最新文章

热门文章