浅析深度学习mini_batch的BP反传算法

在深度学习中，如果我们已经定义了网络，输入，以及输出，那么接下来就是损失函数，优化策略，以及一般由框架完成的BP反传。这篇博文我们主要探讨一下深度的BP反传算法（以梯度下降为例），尤其是mini_batch的BP反传，目标是如何更新网络的参数：权重和偏置。

首先，我们来看网络中基本参数的一些定义。

使用梯度下降法，一般计算所有样本的损失函数的平均值，进而计算梯度方向。但是，当样本n特别多的时候，计算会比较困难。因此，提出了随机梯度下降的方法，即我们从样本集中随机抽取m个样本，其计算的平均梯度近似于通过全部样本计算的平均梯度。

当m=1时，SGD算法如下：

当m=k时，mini_batch算法如下：

通过对比m=1和m=k算法流程，我们发现，mini_batch方法的梯度是由mini_batch里的样本共同决定（平均值），计算出来的梯度一般比k=1的时候准确。

关于算法中的公式，我们通过以下方法进行推导：

参考资料：http://neuralnetworksanddeeplearning.com/index.html

浅析深度学习mini_batch的BP反传算法相关推荐

机器不学习：浅析深度学习在实体识别和关系抽取中的应用
机器不学习 jqbxx.com -机器学习好网站命名实体识别(Named Entity Recognition,NER)就是从一段自然语言文本中找出相关实体,并标注出其位置以及类型,如下图.命名实体 ...
浅析深度学习中Batch Size大小对训练过程的影响
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达作者丨陈志远@知乎(已授权) 来源丨https://zhuanlan ...
从保龄球得分计算方法浅析深度学习
起因周六被小伙伴拖去游泳,美名其曰:锻炼身体.其实某人就是去泡澡的,哈哈.说正题吧,游完泳在体育场里闲逛,里面很大,转着转着看到一个保龄球馆,怀着对未知事物的好奇,决定和某人去尝试一下.我和S同学一 ...
【深度学习训练流程】浅析深度学习训练流程
深度学习训练流程是一套固定的模板 optimizer定义,选择不同的optimizer,权重衰减,梯度更新. scheduler定义,选择不同的scheduler,进行学习率的更新.(可选,可不使用s ...
浅析深度学习中的mask操作
mask(掩码.掩膜)是深度学习中的常见操作.简单而言,其相当于在原始张量上盖上一层掩膜,从而屏蔽或选择一些特定元素,因此常用于构建张量的过滤器(见下图). 按照上述定义,非线性激活函数Relu(根据 ...
浅析深度学习中优化方法
目前而言,深度学习是机器学习的发展前沿,一般针对大数据量的学习目标.其优化方法来源于基本的机器学习的优化方法,但也有所不同. 下面,小结一下,其基础是随机梯度下降的方法,但是为了学习的自适应性,做了如 ...
饮水思源--浅析深度学习框架设计中的关键技术
点击上方"深度学习大讲堂"可订阅哦! 编者按:如果把深度学习比作一座城,框架则是这座城中的水路系统,而基于拓扑图的计算恰似城中水的流动,这种流动赋予了这座城以生命.一个优雅的框架在 ...
浅析深度学习与计算机视觉
目录第一章深度学习与计算机视觉 1.1 图像基础 1.2深度学习与神经网络基础第一章深度学习与计算机视觉 1.1 图像基础在计算机中,图像的最基本组成单元为像素,图片是包含很多像素的集合.像 ...
任奎：人工智能算法安全浅析——深度学习中的对抗攻击与防御
2020-05-19 19:52:46 任奎随着计算机产业发展带来的计算性能与处理能力的大幅提高,人工智能在音视频识别.自然语言处理和博弈论等领域得到了广泛应用.在此背景下,确保人工智能的核心--深 ...

浅析深度学习mini_batch的BP反传算法

浅析深度学习mini_batch的BP反传算法相关推荐

最新文章

热门文章