马毅沈向洋曹颖最新AI综述火了!耗时3月打造,网友:必读论文
白交 发自 凹非寺
量子位 | 公众号 QbitAI
千呼万唤始出来,马毅教授的AI综述论文终于出炉!
耗时三个多月,联合神经科学家曹颖、计算机大牛沈向洋,协作完成。
据本人描述,这篇论文是将他“过去五年的工作以及智能七十多年的发展有机结合起来”,并且还表示:
一生从未在一篇文章上花这么多精力和时间。
具体而言,就是“理出了智能的起源以及计算原理的基本轮廓和框架,能让大家认识到这种理论联系实践的可能性。”
此前在社交网络上预告时,许多网友都期待十足。
结果今天刚发不久,就有学者表示,正好要设计新的生成模型,给了我灵感。
来看看这是篇怎样的论文?
两大原则:简约和自洽
过去十年中,人工智能的进展主要依赖于训练同质化的黑箱模型,决策过程、特征表示等方面在很大程度上都是难以解释的。
而这种端到端的粗暴训练,不仅导致了模型大小、训练数据以及计算成本不断增长,而且在实践中还伴随着许多问题。
学到的表征缺乏丰富性;训练中缺乏稳定性;缺乏适应性,容易出现灾难性遗忘……
基于这样的背景,研究人员假设,在实践中出现这些问题的根本原因之一,是对智能系统的功能和组织原则缺乏系统和综合的理解。
而这背后是否存在一个统一的方法来解释。
为此这篇文章提出了两个基本原则——简约和自洽,分别回答两个关于学习的基本问题。
1、学什么:从数据中学习的目标是什么,如何衡量?
2、如何学:我们如何通过高效和有效的计算来实现这样一个目标?
他们认为这两个原则制约着任何智能系统的功能和设计,而且完全可以以可测量和可计算的方式重新表述。
以简约性为例。智能的基础是环境中的低维结构,这让预测和泛化变成可能,这也就是简约原则。而应该如何来度量?本文提出了个几何公式来衡量简约性。
基于这两个原则, 得出了感知/智能的通用架构:压缩器和生成器之间的闭环转录。
它暗示了两者之间的交互应该是一种追逃游戏。在这个游戏中,他们扮演联合目标函数的对立面,而非自动编码器。
这也是此框架的主要优势之一,通过自我监督和自我批判进行自我学习,这是最自然和有效的。
从根本上说,这个框架可以扩展到完全无监督的环境中, 这时候只需将每个新样本和它的增量做看作新的累。
自监督类型+自我批评的游戏机制,这样一个闭环转录就会很容易学会。
值得一提的是,这种学习特征的结构,类似于在灵长类动物的大脑中观察到的类别选择区域的结构。
作者之一曹颖表示,这个框架与此前诸多想法类似,包括预测编码、对比学习、生成模型、Transformer……
除此之外,他们还给出了些新方向,比如CV与图形学之间的闭环关系。
最后整合在一起,一个自主的智能体,学习某种任务的最佳策略,是将感知(反馈)、学习、优化和行动整合到一个闭环中。
它统一并解释了现代深度网络和许多人工智能实践的演变。虽然整个文章主要以视觉数据的建模为例。
但研究人员相信这两个原则,将统一对广泛自主智能系统的理解,并为理解大脑提供一个框架。
最后,他们还以热力学之父的话作为结尾。
大致意思是只有当你能测量,并用数字来表示你所讲的东西时,你就对它有了解;如若不然,它可能是知识的开始,但在你的思想中,你几乎没有推进到科学的阶段。
One More Thing
有意思的是,就在提交arXiv之际,马毅教授还在网络上求助:
有人就不能写一个接口吗?一键提交论文的那种。而不是花费大量时间在修改论文。
网友们也纷纷支招:使用LaTeX 编译器,而不是PdfLaTeX。
还有人直接上图。
好了,感兴趣的旁友可戳下方链接了解更多~
论文链接:
https://arxiv.org/abs/2207.04630
参考链接:
[1]https://weibo.com/u/3235040884?profile_ftype=1&is_all=1#1657668935671
[2]https://twitter.com/YiMaTweets/status/1546703643692384256
[3]https://twitter.com/doristsao/status/1546722505091534851
马毅沈向洋曹颖最新AI综述火了!耗时3月打造,网友:必读论文相关推荐
- 【综述专栏】马毅沈向洋曹颖最新AI综述火了!
来源:量子位 在科学研究中,从方法论上来讲,都应"先见森林,再见树木".当前,人工智能学术研究方兴未艾,技术迅猛发展,可谓万木争荣,日新月异.对于AI从业者来说,在广袤的知识森林中 ...
- 智源社区周刊:LeCun等撰文回应Marcus;朱松纯团队价值对齐工作登Science官网头条;马毅沈向洋等公开AI智能综述论文...
汇聚每周AI观点.研究和各类资源,不错过真知灼见和重要资讯!欢迎扫码,关注并订阅智源社区AI周刊. 观点 Yann LeCun等撰文回应Marcus:当前对符号推理的争论都是边缘问题 [摘编]深度学习 ...
- 微软45年前预言成真!沈向洋:未来AI beings的数量将超过人口
在今天举办的第八代小冰发布会上,小冰公司董事长.原微软全球执行副总裁沈向洋表示,未来不会只有几个人工智能助理,也不仅是每个人都会拥有自己的助理,AI beings的数量将超过人口. 沈向洋表示,每天数 ...
- 【MLA首日报告摘要】周志华、马毅等教授分享机器学习最新进展
来源:专知 概要:第15届中国机器学习及其应用研讨会今天11月4日在北京交通大学举行,海内外从事机器学习及相关领域研究的10余位专家与会进行学术交流. 第15届中国机器学习及其应用研讨会今天11月4日 ...
- 【伯克利马毅老师】强化学习与最优控制综述
来源:专知 本文多图,建议阅读5分钟 本文为你详细介绍强化学习与最优控制.
- 沈向洋:读论文的三个层次
Datawhale干货 来源:AI科技评论,沈向洋博士 作者 | 蒋宝尚 编辑 | 丛 末 5月14日,沈向洋博士在全球创新学院(GIX)课程上曾做了一场线上公开课<You are how ...
- 【深度好文】沈向洋:读论文的三个层次
5月14日,沈向洋博士在全球创新学院(GIX)课程上曾做了一场线上公开课<You are how you read>,分享他对于科研论文阅读.撰写的宝贵经验,引起一时轰动.由于围观网友太多 ...
- 小冰发布全球首款人工智能Office,沈向洋:我们不走寻常路
「以后,你们管我叫小冰公司就可以了.」 机器之心报道 昨天的小冰年度发布会和以往有所不同.7月13日,小冰已经宣布成为了一家独立公司,欢迎外界的融资,也将离开微软中国大楼,拥有自己的独立办公室. 或许 ...
- 美国科技界最受瞩目华人高管沈向洋官宣!微软之后他去哪儿了?
热点追踪 / 深度探讨 / 实地探访 / 商务合作 去年11月,时任微软集团执行副总裁.微软AI+研究部负责人的沈向洋博士宣布离职微软,"美科技巨头再无华人高管" 的报道刷爆全网. ...
最新文章
- Windows下有关NDK安装出现的问题的总结
- linux使用openssl查看文件的md5数值
- 一图看懂边缘计算整体架构
- C#LeetCode刷题之#892-三维形体的表面积(Surface Area of 3D Shapes)
- phoenix的元数据一般存在哪里_ElasticSearch文档元数据(Metadata)
- Oracle Sql优化一例---利用函数索引
- 象棋名手手机版2019最新版_象棋名手326手机版-象棋名手增强版v6.58 安卓版-单机手游网...
- foobar 更换皮肤
- 深入浅出理解 Java回调机制(异步)
- c# 使用NOPI 操作Excel
- aspcms用mysql_aspcms分类列表调用的几个实例
- python拆分大文件(大文件分割)
- 输入一个数,判断它是否是素数,如果是素数输出yes,否则输出no
- 修改Element UI自带的小图标,替换成自己的(类似自定义Element UI图标)
- burpsuite 越权_越权漏洞之测试与修复
- Python3,2行代码添加水印,发朋友圈,图片再也不怕被盗了!!!
- oracle 把结果加上百分号_用一条sql语句显示数据百分比并加百分号
- java 绘图板_非常值得学习的java 绘图板源代码
- Oracle 12c 读书笔记——筑梦之路
- 保研面试/考研复试:英语口语面试必备话题及常用句型句式整理(一)