随机梯度下降，mini-batch梯度下降，在线学习机制，mapreduce

随机梯度下降算法

1.h为假设函数，J为代价函数

梯度下降算法是反复更新参数西塔的值

过程：

1.随机打乱所有数据，把m个训练样本重新随机排列，此为数据预处理过程。

2.用公式对西塔进行更新操作，并对样本进行逐一拟合。由于每次更新只需要对一个数据进行拟合，所以算法的速度很快。

左端为梯度下降算法，右端为随机梯度下降算法

区别：梯度下降算法每次更新都要用到所有的样本数据，速度较慢；而随机梯度下降算法每次更新只需要用到一个样本数据，梯度较快，不需要进行过多的并行计算

mini-batch梯度下降算法：采用随机梯度下降算法的思想，每次对b个数据进行更新

有点：结合梯度下降和随机梯度下降算法的特点，当有合适的向量化参数时，运算速度将比随机梯度下降算法还快

随机梯度下降算法收敛判断

1.原梯度下降算法缺点：如果要想得知该算法是否收敛，需要遍历整个训练集才行，否则就要暂停算法的运行。而梯度下降算法一般是运行一次就可通过查看cost函数来判断算法是否收敛，也可运用mini-batch函数对前一千个样本数据运用cost函数进行局部梯度下降来判断算法是否收敛。

1.5000取样的曲线要比1000取样的曲线要平滑

2.如果曲线上下跳动得很明显甚至看不出下降趋势的话，可能的原因为样本数据量过小，应该适当增加样本的数据量。

3.如果代价函数曲线是往上走的，可能的原因就是a值太大，即学习梯度过大，应当使用小点的a值

代价函数一般在收敛后会在某个值附近震荡，解决办法就是让a的值如上图所示，随着迭代次数的增加，a的值会不断减小，震荡幅度就越不明显。

在线学习机制：随机梯度下降的一个变种

由于是在线算法，会有源源不断的数据量，因此每个数据一般只使用一次

MapReduce

算法机制

将工作量分给多台电脑工作后再进行汇总到一台电脑上合并运算

前提就是算法能能在大量数据的基础上表示成对训练集的求和

如果一台电脑拥有多个核心，也可以运行mapreduce算法，这样就不用过多考虑数据传输等问题

随机梯度下降，mini-batch梯度下降，在线学习机制，mapreduce相关推荐

Mini batch梯度下降法（吴恩达深度学习视频笔记）
深度学习并没有在大数据中表现很好,但是我们可以利用一个巨大的数据集来训练神经网络,而在巨大的数据集基础上进行训练速度很慢,因此进行优化算法能够很大程度地增加训练速度,提升效率. 本节,我们将谈谈Min ...
梯度下降算法_批梯度下降法，Minibatch梯度下降法和随机梯度下降法之间的区别...
什么是梯度下降法? 梯度下降法是一种机器学习中常用的优化算法,用来找到一个函数(f)的参数(系数)的值,使成本函数(cost)最小. 当参数不能解析计算时(如使用线性代数),并且必须通过优化算法搜索时 ...
10.3 在线学习与 MapReduce-机器学习笔记-斯坦福吴恩达教授
在线学习与 MapReduce 在线学习用户登录了某提供货运服务的网站,输入了货运的发件地址和收件地址,该网站给出了货运报价,用户决定是购买该服务(y=1)( y=1 )(y=1)或者是放弃购买该服 ...
机器学习中在线学习、批量学习、迁移学习、主动学习的区别
一.批量学习在监督学习的批量方法中,多层感知器的突出权值的调整在训练样本集合的所有N个例子都出现后进行,这构成了训练的一个回合.换句话说,批量学习的代价函数是由平均误差能量定义的.多层感知器的突触权 ...
随机梯度下降（Stochastic gradient descent）和批量梯度下降（Batch gradient descent ）的公式对比、实现对比
随机梯度下降(Stochastic gradient descent)和批量梯度下降(Batch gradient descent )的公式对比.实现对比标签: 梯度下降最优化迭代 2013 ...
随机梯度下降（Stochastic gradient descent）和批量梯度下降（Batch gradient descent ）的公式对比...
转自:here 注意下面说的全局最优是特殊的情况,一般还是梯度下降的方法还是很容易变成局部最优. 梯度下降(GD)是最小化风险函数.损失函数的一种常用方法,随机梯度下降和批量梯度下降是两种迭代求解思路 ...
最优化方法：梯度下降（批梯度下降和随机梯度下降）
http://blog.csdn.net/pipisorry/article/details/23692455 梯度下降法(Gradient Descent) 梯度下降法是一个一阶最优化算法,通常也称 ...
pytorch手动实现梯度下降法，随机梯度法--基于logistic Regression并探索Mini batch作用
简述基于这次凸优化的大项目作业. 下面会围绕着通过logistic Regression来做MNIST集上的手写数字识别~ 以此来探索logistic Regression,梯度下降法,随机梯度法, ...
【数据挖掘】神经网络后向传播算法 ( 梯度下降过程 | 梯度方向说明 | 梯度下降原理 | 损失函数 | 损失函数求导 | 批量梯度下降法 | 随机梯度下降法 | 小批量梯度下降法 )
文章目录 I . 梯度下降 Gradient Descent 简介 ( 梯度下降过程 | 梯度下降方向 ) II . 梯度下降示例说明 ( 单个参数 ) III . 梯度下降示例说明 ( 多个参数 ...

随机梯度下降，mini-batch梯度下降，在线学习机制，mapreduce

随机梯度下降，mini-batch梯度下降，在线学习机制，mapreduce相关推荐

最新文章

热门文章