神经网络与机器学习笔记—小规模和大规模学习问题

监督学习的可行性依赖于下面的关键问题：

由N个独立同分布的样本(X1，D1),(X2,D2),…,(Xn,Dn)

组成的训练样本是否包含了构造具有良好泛化性能的机器学习的足够信息？

计算考虑：

神经网络模型（例如单层多层感知器）必须是可控变量，使得它能够被自由地调整以达到对从未出现过的数据的最好测试性能。另一个可控变量是用于训练的样本数量。为了增加监督训练过程的实际真实性，Bottou通过考虑一个新的可控变量来介绍结算代价。这个新的可控变量就是最优精确度。

小规模学习问题

只考虑小规模学习问题时，机器学习设计者可以得到以下三个变量：

训练样本个数，N。

逼近网络函数族F的容许大小K。

引入的计算误差δ可以是0。

大规模学习问题

大规模学习问题的主动预算约束是计算时间。在处理第二类学习问题时，面对更复杂的这种，因为现在必须对计算时间T负责。

在大规模学习问题中，通过调整如下可提供变量来最小化：

样本个数，N。

逼近网络函数的容许大小K。

计算误差δ，它不再是0。

做这样的最小化分析是极为困难的，因为计算时间T实际上依赖于所有三个变量N，为了解释着以依赖性，我们给误差分配一个小的值来减少最优化误差。为了实现这一减少，遗憾的是，我们必须调整另外两个变量，他们中的任一个都将具有对逼近和估计误差的不良影响。

一般来说，在机器学习问题的研究中出现三种误差：

1.逼近误差，这是在给定训练样本的固定大小N后，由训练神经网络或者机器学习所招致的误差。

2.估计误差，这是在机器的训练完成后，用以前没有出现过的数据测试其性能所招致的误差；从效果上而言，估计误差是泛化误差的另一个途径。

3.最优化误差，这是对于预先给定的计算时间T来说，训练机器的计算精度所引起的。

在小规模学习问题中，我们发现主动预算约束是训练样本大小，其隐含意义在于最优化误差实际上通常是0。因此结构风险最小化的Vapnik理论对于处理小规模学习问题来说是足够的。另一方面，在大规模学习问题中，主动预算约束是可用的计算时间T，此时最优化误差自身起着关键的作用。特别地，学习过程的计算精确度以及因此而来的最优化误差收到用于求解学习问题的最优化算法类型的巨大影响。

神经网络与机器学习笔记—小规模和大规模学习问题相关推荐

神经网络与机器学习笔记—基本知识点（上）
神经网络与机器学习笔记-基本知识点(上) 0.1 什么是神经网络: 神经网络是由简单处理单元构成的大规模并行分布处理器,天然具有存储经验知识和使之可用的特性.神经网络在两个方面与大脑类似. 神经网络 ...
神经网络与机器学习笔记—LMS（最小均方算法）和学习率退火
神经网络与机器学习笔记-LMS(最小均方算法)和学习率退火 LMS算法和Rosenblatt感知器算法非常想,唯独就是去掉了神经元的压制函数,Rosenblatt用的Sgn压制函数,LMS不需要压制 ...
神经网络与机器学习笔记—基本知识点（下）
神经网络与机器学习笔记-基本知识点(下) 0.1 网络结构: 神经网络中神经元的构造方式与用于训练网络的学习算法有着密切的联系,有三种基本的网络结构: 0.7 知识表示 ...
神经网络与机器学习笔记—时序模式、非线性滤波
时序模式.非线性滤波以多层感知器为例的静态神经网络的原型应用是结构化模式识别.时序模式识别或飞翔性滤波要求对随时间演化的模式进行处理,对特定的时刻的相应不仅依赖于输入的当前值,还依赖于以前的值.简单 ...
神经网络与机器学习笔记—卷积神经网络（CNN）
卷积神经网络之前的一些都是考虑多层感知器算法设计相关的问题,这次是说一个多层感知器结构布局相关的问题.来总结卷积神经网络.对于模式分类非常合适.网络的提出所隐含的思想收到了神经生物学的启发. 第一个 ...
【Datawhale可解释性机器学习笔记】预备知识学习
人工智能黑箱子灵魂之问 AI的脑回路是怎样的? AI如何做出决策? 是否符合人类的直觉和常识如何衡量不同特征对AI预测结果的不同贡献? AI什么时候work?AI什么时候不work? AI有没有过拟 ...
神经网络与机器学习笔记—核方法和径向基函数网络（下）
径向基函数(RBF)网络结构,基于产值理论输入层,由m0个源节点组成,其中m0是输入向量x的维数. 隐藏层,由和训练样本的大小N相同个数的计算单元组成,每个单元都从数学上用一个径向基函数描述: 第j ...
神经网络与机器学习笔记—复制器（恒等）映射
反向传播算法是一个对于计算代价函数的梯度(即一阶导数)计算有效的技术.代价函数由刻画多层感知器的可调参数(突触权值和偏置)的函数来表示.算法计算能力是由两个明显的性质而导出的:反向传播算法是局部计算简 ...
神经网络与机器学习笔记—泛化和交叉验证
泛化和交叉验证泛化在反向传播学习中,一般从一个训练样本开始,而且通过网络中装载尽可能多的训练样本来使用反向传播算法计算一个多层感知器的突触权值.希望这样设计的神经网络可以很好的泛化.对于从未在生成 ...

神经网络与机器学习笔记—小规模和大规模学习问题

神经网络与机器学习笔记—小规模和大规模学习问题相关推荐

最新文章

热门文章

神经网络与机器学习 笔记—小规模和大规模学习问题

神经网络与机器学习 笔记—小规模和大规模学习问题相关推荐

最新文章

热门文章

神经网络与机器学习笔记—小规模和大规模学习问题

神经网络与机器学习笔记—小规模和大规模学习问题相关推荐