论文链接

《Approximation Capabilities of Multilayer Feedforward Networks》

前言

我在知乎上面看到有一篇关于这篇论文的解读，感觉还挺好的，请参见《深度神经网络可以逼近Borel可测函数》；

学术名词

compact input sets: 紧输入集。
measure: 测度。

摘要

作者表明，对于任意有限输入环境测度μ\muμ，只要有足够多的隐藏单元，由单隐藏层和任意有界非常数激活函数构成的多层前馈网络，是关于性能标准度量LP(μ)L^P\left(\mu\right)LP(μ)的万能拟合器。
（注1：这里输入环境测度的原文是“input environment measures”，也就是这里使用的是数学上测度的概念，开始我一直有些疑惑，以为这里的测度μ\muμ是不是对用着“深度学习中的 loss function”，后来请教了一下崔博士才理解，这里的测度μ\muμ仅仅是数学上的一个定义，跟深度学习的算法过程实际上没有任何关系。
注2：我感觉数学中的测度有点像信号中能量的概念，体现了一种类似于积分的存在性）
如果激活函数是连续的、有界的、并且是非常数的，则可以在紧集（有界闭集）上均匀地学习连续映射。作者还给出了一般性条件，以保证神经网络在使用足够平滑的激活函数的情况下能够任意精确地逼近一个函数及其导数。

1 引言

神经网络架构的拟合能力被许多学者所探究，其中包括CarrollandDickinson(1989)、Cybenko(1989)、Funahashi(1989), GallantandWhite(1988), HechtNielsen(1989), HornikStinchcombeandWhite(1989), HornikStinchcombeandWhite(1990), IrieandMiyake(1988), LapedesandFarber(1988), StinchcombeandWhite(1989)和StinchcombeandWhite(1990)等。
如果我们将神经网络认为是一种给出kkk个输入单元计算lll个输出单元值的规则，来实现RkR^kRk到RlR^lRl的映射，则可以询问神经网络可以将RkR^kRk到RlR^lRl的任意映射拟合到多好的程度，特别是，如果给定的内部单元可以无限使用的情况下。
如何衡量拟合的精度取决于我们如何衡量函数之间的紧密度，而这又随着要处理的具体问题而显着变化。在许多应用中，对于紧集XXX包含于RkR^kRk，需要使网络在中取出的所有的输入样本都表现好。在这种情况中，紧密度由XXX上函数间的均匀距离来衡量，即，
ρμ,X(f,g)=supx∈X∣f(x)−g(x)∣\rho_{\mu,X}\left ( f,g\right) = \underset{x\in X}{\text{sup}}\left| f\left ( x\right) - g\left ( x\right) \right | ρμ,X(f,g)=x∈Xsup∣f(x)−g(x)∣
在其它应用中，我们认为输入是随机变量于是关心于平均性能，其均值取决于输入环境测度μ\muμ，其中μ(Rk)\mu\left ( \mathbf{R}^k\right )μ(Rk)。在这种情况下，紧密度由LP(μ)L^P\left(\mu\right)LP(μ)距离距离来衡量
ρp,μ(f,g)=[∫Rk∣f(x)−g(x)∣pdμ(x)]1/p,\rho_{p,\mu}\left ( f,g\right) = {\left [ \int_{R^k} {\left| f\left ( x\right) - g\left ( x\right) \right |}^p d\mu\left ( x\right ) \right ]}^{1/p}, ρp,μ(f,g)=[∫Rk∣f(x)−g(x)∣pdμ(x)]1/p,
1⩽p<∞1\leqslant p < \infty1⩽p<∞，最为常见的选择是p=2p=2p=2，遵循均方误差。
的确，存在许多其它衡量函数近似度的方式。特别地，在很多应用中，用NN实现近似函数的导数也必须与待逼近函数的导数非常接近，并达到某个阶数。这个问题由HornikStinchcombeandWhite(1990)首次提出，他们在细节上讨论了平滑函数近似的需要。典型的例子出现在机器人技术（学习平滑运动）和信号处理（分析混沌时间序列）；关于统计和计量经济学中非参数推理问题的最新应用，请参阅 GallantWhite(1989)。
到目前为止（thus far），这些建立多层感知器的某些近似能力的论文都只是通过对激活函数ψ\psiψ做出或多或少明确的假设而取得成功，例如，假设ψ\psiψ是可积的，或者S形挤压（S形且单调的）等等。在本文中，作者将证明这些假设都是不必要的。作者将展示，当ψ\psiψ是有界且非常数时，那么，对于任意输入环境测量μ\muμ，如果近似度以ρp,μ\rho_{p,\mu}ρp,μ来衡量，在有足够多的隐含单元时，带有激活函数ψ\psiψ的标准多层前馈网络将能够以任意精度近似Lp(μ)L^p(\mu)Lp(μ)空间内的任何一个函数（其中，Lp(μ)L^p(\mu)Lp(μ)值在RkR^kRk上所有函数的空间且有∫Rk∣f(x)∣pdμ(x)<∞\int_{R^k}\left| f\left(x\right) \right|^p d\mu\left(x\right) < \infty∫Rk∣f(x)∣pdμ(x)<∞）。

《Approximation Capabilities of Multilayer Feedforward Networks》的学习笔记相关推荐

Squeeze-and-Excitation Networks(SENet) 学习笔记
1. 简介作者提出了一个SE块的概念,它是根据channel之间的相关性来进行显式建模,从而实现自适应地channel-wise上的特征响应,把重要的特征进行强化.不重要的特征进行抑制来提升准确率. ...
cs224w（图机器学习）2021冬季课程学习笔记11 Theory of Graph Neural Networks
诸神缄默不语-个人CSDN博文目录 cs224w(图机器学习)2021冬季课程学习笔记集合文章目录 1. How Expressive are Graph Neural Networks? 2. D ...
【论文学习笔记】《An Overview of Voice Conversion and Its Challenges》
<An Overview of Voice Conversion and Its Challenges: From Statistical Modeling to Deep Learning&g ...
通用近似定理（学习笔记）
通用近似定理(学习笔记) -----用任意深度的神经网络逼近函数,张玉宏的<深度学习之美>阅读笔记. 发展历程 "通用近似定理"1989年被提出[1],其中George ...
Deep Feedforward Networks（1）
CODE WORKS Work Here! CONTENTS Deep feedforward networks, also often called feedforward neural netwo ...
论文阅读：ResMLP: Feedforward networks for image classification with data-efficient training
ResMLP: Feedforward networks for image classification with data-efficient training [pdf] 目录 Abstract ...
联邦学习笔记—《Communication-Efficient Learning of Deep Networks from Decentralized Data》
摘要: Modern mobile devices have access to a wealth of data suitable for learning models, which in tur ...
ufldl学习笔记与编程作业：Multi-Layer Neural Network(多层神经网络+识别手写体编程)...
ufldl学习笔记与编程作业:Multi-Layer Neural Network(多层神经网络+识别手写体编程) ufldl出了新教程,感觉比之前的好,从基础讲起,系统清晰,又有编程实践. 在dee ...
cs224w（图机器学习）2021冬季课程学习笔记16 Community Detection in Networks
诸神缄默不语-个人CSDN博文目录 cs224w(图机器学习)2021冬季课程学习笔记集合文章目录 1. Community Detection in Networks 2. Network Com ...

《Approximation Capabilities of Multilayer Feedforward Networks》的学习笔记

论文链接

前言

学术名词

摘要

1 引言

《Approximation Capabilities of Multilayer Feedforward Networks》的学习笔记相关推荐

最新文章

热门文章