吴恩达机器学习笔记 —— 18 大规模机器学习

http://www.cnblogs.com/xing901022/p/9417633.html

本章讲了梯度下降的几种方式：batch梯度下降、mini-batch梯度下降、随机梯度下降。也讲解了如何利用mapreduce或者多cpu的思想加速模型的训练。

更多内容参考机器学习&深度学习

有的时候数据量会影响算法的结果，如果样本数据量很大，使用梯度下降优化参数时，一次调整参数需要计算全量的样本，非常耗时。

如果训练集和验证集的误差像左边的图形这样，就可以证明随着数据量的增加，将会提高模型的准确度。而如果像右边的图，那么增加样本的数量就没有什么意义了。

因此可以考虑缩小m的使用量，可以使用随机梯度下降。随机梯度下降的过程是：随机打散所有的样本，然后从第一个样本开始计算误差值，优化参数；遍历所有的样本。这样虽然优化的方向比较散乱，但是最终还是会趋于最优解。

还有一种方式叫做小批量梯度下降，每次使用一小部分的数据进行验证。比批量梯度下降更快，但是比随机梯度下降更稳定。

针对损失函数和batch的数量，可以画出下面的图：图1的震荡曲线可以忽略，此时的震荡可能是由于局部最小值造成的；图2如果增加数量能使得曲线更平滑，那么可以考虑增加batch的数量。图3 可能是模型根本没有在学习，可以考虑修改一下其他的参数。图4可能是因为学习太高，可以使用更小的学习率。

在线学习就是随着数据的获取，增量的来当做每个batch进行训练。

如果数据的样本很大，其实也可以通过map reduce的方式来进行并行处理，比如把数据切分成很多块，每个map运行完，统一在reduce端进行参数梯度下降学习。多CPU的情况下，也是同样的道理。

吴恩达机器学习笔记 —— 18 大规模机器学习相关推荐

P3 吴恩达推荐笔记：22张图总结深度学习全部知识
吴恩达推荐笔记:22张图总结深度学习全部知识本文简要的解释了深度学习中的基本概念,包括监督学习.逻辑回归.正则化等等. 并且,在了解了一些基本概念后,本文还对目标检测.人脸识别.自然语言处理进行了简 ...
干货|机器学习零基础？不要怕，吴恩达课程笔记第三周！逻辑回归与正则
吴恩达Coursera机器学习课系列笔记课程笔记|吴恩达Coursera机器学习 Week1 笔记-机器学习基础干货|机器学习零基础?不要怕,吴恩达机器学习课程笔记2-多元线性回归 1 Logis ...
吴恩达深度学习 | (18) 卷积神经网络专项课程第二周学习笔记
课程视频第二周PPT汇总吴恩达深度学习专项课程共分为五个部分,本篇博客将介绍第四部分卷积神经网络专项的第二周课程:深度卷积网络:实例探究. 目录 1. 为什么要进行实例探究 2. 经典网络 3. ...
吴恩达推荐笔记：22 张图总结深度学习全部知识
来源|Sophia@知乎 https://zhuanlan.zhihu.com/p/152362317 编辑 | 公众号极市平台本文仅用于学术分享,如有侵权,联系后台作删文处理最近在做笔记查阅内容 ...
吴恩达机器学习笔记(九)——大规模机器学习
大规模机器学习 1 大规模机器学习可行性由之前机器学补充里的知识可知,有的时候并不是数据越多对算法越好,当方差偏小的时候,说明此时的拟合度会比较大,数据缺乏泛性,这个时候使用更大的数据集可能会对算法 ...
机器学习-吴恩达 p85 笔记
推荐一个比吴恩达的还要优质的机器学习课程
相信很多朋友对机器学习算法都有所了解,有尝试学习并利用机器学习算法以及工具做一些AI产品!但是仅仅停留在"调包"的阶段.想去深入理解一些算法的核心内涵却被 XGBoost | GB ...
RNN-循环神经网络-吴恩达读书笔记
参考博文:http://www.ai-start.com/dl2017/html/lesson5-week1.html#header-n114 1.为什么选择序列模型?(Why Sequence Mo ...
手机上的机器学习资源！Github标星过万的吴恩达机器学习、深度学习课程笔记，《统计学习方法》代码实现！...
吴恩达机器学习.深度学习,李航老师<统计学习方法>.CS229数学基础等,可以说是机器学习入门的宝典.本文推荐一个网站"机器学习初学者",把以上资源的笔记.代码实现做成 ...

吴恩达机器学习笔记 —— 18 大规模机器学习

吴恩达机器学习笔记 —— 18 大规模机器学习相关推荐

最新文章

热门文章