机器学习笔记（十六）：大规模机器学习

2024-05-17 11:12:47

目录

1）Learning with large datasets

2）Stochastic gradient descent

3）Mini-batch gradient descent

4）Stochastic gradient descent convergence

1）Learning with large datasets

回顾一下我们之前提到的这句话：

对于机器学习，我们首先都要考虑我们是否需要更多的数据，看一下我们的学习曲线：

2）Stochastic gradient descent

之前我们介绍的梯度下降算法用到的是整个训练集，计算量很大，我们可以尝试使用随机梯度下降算法SGD。下图是我们的批量梯度下降算法：

我们来看看随机梯度下降算法与批量梯度下降算法的对比：

随机梯度下降算法是：

1）单一样本代价函数：

$cost(\theta,(x^{(i)},y^{(i)}))=\frac{1}{2}(h_{\theta}(x^{(i)})-y^{(i)})^2$

2）随机打乱数据集；

3）重复m次；计算梯度，不需要对所有训练集进行求和。一般迭代10次。

$\theta_j:=\theta_j-\alpha(h_{\theta}(x^{(i)})-y^{(i)})x^{(i)}_j$

3）Mini-batch gradient descent

下面是批量梯度下降，随机梯度下降，小批量梯度下降算法对训练集的对比：

下面是小批量梯度下降算法：一般迭代20次。

4）Stochastic gradient descent convergence

机器学习笔记（十六）：大规模机器学习相关推荐

Stanford机器学习---第十三讲.大规模机器学习
之前一直在看Standford公开课machine learning中Andrew老师的视频讲解https://class.coursera.org/ml/class/index 同时配合csdn知名 ...
机器学习笔记(十六)强化学习
16.强化学习 16.1任务与奖赏强化学习(reinforcementlearning)的过程就是机器通过一系列的动作和环境交互,从而得到最佳的动作序列.图示: 强化学习任务用马尔可夫决策(Mark ...
机器学习笔记(十六)——EM算法概述
一.引言按照计划,这周应该学习HMM中的第三个基本问题:参数估计问题,但是其中的内容涉及到了EM算法,所以打算先把EM算法搞定之后再去继续HMM的问题.EM算法的推导过程比较复杂,这节我只给出简述和 ...
李宏毅机器学习笔记(十六)——无监督学习(四)：自编码器
文章目录一.自编码器的引入二.自编码器的应用 1.文本检索 2.寻找相似图片 3.预训练神经网络 4.面向图片的自编码器 5.进行内容生成三.自编码器的改进 1.去除噪音 2.重定义损失函数 3 ...
吴恩达机器学习（十六）机器学习流水线、上限分析
目录 0. 前言 1. 流水线 2. 上限分析(Ceiling analysis) 学习完吴恩达老师机器学习课程的照片OCR,简单的做个笔记.文中部分描述属于个人消化后的理解,仅供参考. 如果这篇文章 ...
机器学习笔记十四：随机森林
在上一篇机器学习笔记十三:Ensemble思想(上)中,简要的提了一下集成学习的原理和两种主要的集成学习形式. 而在这部分要讲的随机森林,就算是其中属于bagging思路的一种学习方法.为了篇幅,b ...
吴恩达《机器学习》学习笔记十四——应用机器学习的建议实现一个机器学习模型的改进
吴恩达<机器学习>学习笔记十四--应用机器学习的建议实现一个机器学习模型的改进一.任务介绍二.代码实现 1.准备数据 2.代价函数 3.梯度计算 4.带有正则化的代价函数和梯度计算 5 ...
机器学习笔记（六）-神经网络：概述
本次学习笔记主要记录学习机器学习时的各种记录,包括吴恩达老师视频学习.李宏毅老师视频学习.周志华老师的<机器学习>(西瓜书)以及李航老师的<统计学习方法>.作者能力有限,如有错 ...
斯坦福大学机器学习第十课“应用机器学习的建议(Advice for applying machine learning)”
斯坦福大学机器学习第十课"应用机器学习的建议(Advice for applying machine learning)" 斯坦福大学机器学习斯坦福大学机器学习第十课"应 ...
【机器学习笔记】可解释机器学习-学习笔记 Interpretable Machine Learning (Deep Learning)
[机器学习笔记]可解释机器学习-学习笔记 Interpretable Machine Learning (Deep Learning) 目录 [机器学习笔记]可解释机器学习-学习笔记 Interpre ...

最新文章

热门文章