【随笔】通用近似定理
机器学习在本质上就是找到个好用的函数。
而人工神经网络最牛的地方可能就在于，它可以在理论上证明：“一个包含足够多隐含层神经元的多层前馈网络，能以任意精度逼近任意预定的连续函数”。
这个定理也被称为通用近似定理（UniversalApproximationTheorem这里的“Universal”，也有人将其翻译成“万能的”，由此可以看出，这个定理的能有多大。
通用近似定理告诉我们，不管函数 f(x) 在形式上有多复杂，我们总能确保找到一个神经网络，对任何可能的输入，以任意高的精度近似输出 f(x) 。换句话说，神经网络在理论上可近似解决任何问题，这就厉害了！有关神网络可以计算任何函数的可视化证明。
仅有一层的前馈网络，的确足以有效地表示任何函数，但是，这样的网络结构可能会格外庞大，进而无法正确地 学习和泛化。
如下图，在区间[-2,2]中神经网络对函数拟合的不错，但是当超过此区间时，结果便大相径庭，也就很难 “泛化” 支撑其他输入。
参考文献：《深度学习之美:AI时代的数据处理与最佳实践》
猜你喜欢：
【随笔】通用近似定理相关推荐
- 在理解通用近似定理之前，你可能都不会理解神经网络
©作者 | 陈萍.蛋酱 来源 | 机器之心 通用近似定理很好地解释了为什么神经网络能工作以及为什么它们经常不起作用. 此前,图灵奖得主.深度学习先驱 Yann LeCun 的一条推文引来众多网友的讨论 ...
- 通用近似定理（学习笔记）
通用近似定理(学习笔记) -----用任意深度的神经网络逼近函数,张玉宏的<深度学习之美>阅读笔记. 发展历程 "通用近似定理"1989年被提出[1],其中George ...
- 希尔伯特第 13 问题，Kolmogorov–Arnold representation theorem 和通用近似定理（Universal approximation theorem）
文章目录 1. 希尔伯特第十三问题 1.1 介绍 1.2 历史 1.2.1 近期发展 1.2.1.1 打开和关闭,然后再打开 1.2.1.2 事情的根源 1.2.1.3 视觉思考 1.2.1.4 迈向 ...
- 神经网络通用近似定理
https://blog.csdn.net/YPP0229/article/details/101752001?depth_1-utm_source=distribute.pc_relevant.no ...
- 形象的表述sigmoid的神经网络万能近似定理
我们了解神经网络以及它们从数据科学到计算机视觉的多个领域中的无数成就.众所周知,它们在解决有关泛化性方面的复杂任务中表现良好.从数学上讲,他们非常擅长近似任何的复杂函数.让我们形象化地理解这种近似概念 ...
- 相关-10. 万能近似定理(universal approximation theorem)
李沐老师在课上大概描述过: 一层的感知机,理论上可以拟合任何一个函数,但是实际上无法实现,因为优化函数接不住 用官方的语言描述: 万能近似定理(universal approximation theo ...
- 【经典论文精读】浅谈神经网络的万能近似定理（下）
上篇文章我们介绍了神经网络强大的根本:万能近似定理的一些证明思路,今天这篇文章我们继续来聊一聊它,并给出若干定义,以及定理的简要证明和一些理解. 原文链接:https://doi.org/10.10 ...
- 【经典论文精读】浅谈神经网络的万能近似定理
近年来随着人工智能(Artificial Intelligence, AI)和深度学习(Deep Learning, DL)的兴起,其方法被越来越多的行业所应用,而这之中最具代表性的模型就是神经网络模 ...
- 210322验证万能近似定理实验记录
试验记录 E1: E2 E3: E4: E5: E1: E2 E3: E4: E5:
最新文章
- gp338信令_【对讲机的那点事】摩托罗拉GP338的MDC1200信令选呼如何编程？
- 【数据竞赛】十组不同类型的组合特征！
- mysql id生成器自定义_MybatisPlus使用自定义Id生成器数据自动填充
- Bootstrap 响应式导航条
- python和java语言的区别
- IDEA - Live Template
- 手握IP却不知如何讲好城市故事？“宝藏天津”慢直播支招城市营销
- 软件工程复习 第三章 软件立项
- [深入理解Android卷一全文-第六章]深入理解Binder
- vue前端$axios向后台传json数组如何接受，以及URL乱码/解码的问题。
- 【C++设计模式】Singleton 单例设计模式与线程安全
- 汽车租赁系统 ssm
- javascript百炼成仙 第一章 掌握JavaScript基础01 初入宗门
- execjs调用第三方js库
- win10进入不了系统修复方法
- C语言写的一个简单的计算器
- MTK Android Driver ：Camera
- 【Android】利用WindowsManager悬浮窗播放本地视频以及下载线上视频保存在本地
- 水滴公司：左手口碑，右手商业
- p系统ndows10的功能更新1903,Win10 2019年四月版（Win10 1903）更新功能介绍和下载
热门文章