DeepMind最新发现!神经网络的性能竟然优于神经符号模型
来源: 新智元
本文约1700字,建议阅读5分钟
根据研究人员的最新发现,神经网络对数据的要求,居然比神经符号模型还要低!
[ 导读 ]DeepMind最新的研究结果再一次打破了传统认知——根据研究人员的最新发现,神经网络对数据的要求,居然比神经符号模型还要低!不仅如此,实验结果证实,神经网络的在关键任务上的效果还要更好。不需要预先训练,完全无监督,居然这么神奇?
按照之前的常识,结合了算法和符号推理技术的神经符号模型(Neurosymbolic Models),会比神经网络更适合于预测和解释任务,此外,神经符号模型在反事实方面表现更好。
而Neural-Symbolic,本质上其实是将现代数学中的分析学和代数学结合的产物。
分析学擅长处理数值、函数、逼近等问题, 代数学擅长处理推演、抽象、结构等问题,如果能适当将两者结合,会有很可观的效果。
然而,近日,DeepMind的研究人员声称,在正确的测试条件下,神经网络的性能会优于神经符号模型。
与之前的研究结论相反,研究人员认为,对于可以衡量高级认知功能并基于视觉的任务来说,基于分布式表示的神经网络模型确实表现良好,并已经明显胜过了现有的神经符号模型。
在论文中,作者描述了一种关于视频的时空推理的体系结构,此结构可以学习到视频中的所有成分,并且所有中间的表示都贯穿分布在整个神经网络层中。
论文地址:
https://arxiv.org/pdf/2012.08508.pdf
该团队表示,该体系结构在一个流行的数据集上的所有任务的表现,都超过了神经符号模型,并在反事实问题上优势最明显。
这一研究成果,可能会非常有助于设计和开发具有推断作用的机器。
该文章提出的神经网络架构,主要利用注意力机制,来实现对集成信息的高效提取。
有人可能要问了,什么是注意力机制呢?
注意力(attention)其实是一个非常常见,但是又会被忽略的事实。比如天空一只鸟飞过去的时候,往往你的注意力会追随着鸟儿,天空在你的视觉系统中,自然成为了一个背景(background)信息。
计算机视觉中的注意力机制(attention)的基本思想,就是想让系统学会注意力——能够忽略无关信息而关注重点信息。
总的来说,注意力机制就是一种一次只专注于一个元素或几个元素的算法机制。
对于DeepMind这一研究来说,整个训练过程都是自我监督的,这意味着该模型必须使用底层的动态机制,来推断视频中被掩盖的对象,以便提取更多信息。
而且该架构可以确保视频中的视觉元素与物理对象相对应,论文作者认为,这一步骤对于更高层次的推理至关重要。
在实验部分,研究人员将他们的神经网络与视频表示和推理的CoLlision事件(也就是CLEVRER数据集)进行了基准比较。
其中,CLEVRER数据集包含由机器生成的20,000多个5秒钟的物体碰撞视频(这几种物体是三种形状,拥有八种颜色的两种材料),以及300,000多个问题和答案。
这些问答都聚焦于逻辑推理的四个要素:描述性(例如,“什么颜色” ),说明性(“造成的原因”),预测性(“接下来会发生什么”)和反事实(“如果某种情况出现,会发生什么”)。
在这里小编附上CLEVRER资源链接:
论文链接:
https://arxiv.org/abs/1910.01442
项目链接:
http://clevrer.csail.mit.edu/
实验结果表明,在没有预先训练,没有标记数据,且训练数据少40%的情况下,他们的神经网络和最佳神经符号模型性能相当,这无疑挑战了神经网络比神经符号模型更需要数据这一观点。
此外,它在最困难的反事实问题上的得分为59.8%(这一得分比机会模型和所有其他模型都好)。
同时,此模型还可以可以推广到其他任务,包括CATER(旨在预测目标对象在视频最后一帧中的位置的对象跟踪视频数据集)。
研究人员在论文中写道:“我们的研究结果证明了在得益于分布式表示的灵活性和表现力的同时,深层网络可以复制人类认知和推理的许多特性。”
“神经模型在数学上也取得了一些成功,从直觉上讲,该领域需要执行严格的规则,需要操纵各种各样的复杂符号。但是,令人惊讶的是,大型神经语言模型其实并不需要需进行目标任务的明确训练,也可获得算术推理和类推的能力。
这表明,在扩展到更多数据,并使用更大,更高效的体系结构时,当前的神经网络局限性得到了改善。”
参考链接:
https://blog.csdn.net/hanss2/article/details/90345517
https://venturebeat.com/2020/12/21/deepmind-researchers-claim-neural-networks-can-outperform-neurosymbolic-models-on-visual-tasks/
编辑:文婧
DeepMind最新发现!神经网络的性能竟然优于神经符号模型相关推荐
- 人均年薪400万、公司年亏40亿,正在盖大楼的DeepMind最新财务数据曝光
乾明 栗子 安妮 发自 凹非寺 量子位 出品 | 公众号 QbitAI 人才依然很贵,营收赚钱有起色,但巨额亏损仍在扩大. 这不是随便哪家AI公司,这是打造了AlphaGo的DeepMind,也可能是 ...
- 在《我的世界》里挖钻石把AI难哭了,DeepMind最新算法终于扳回颜面
鱼羊 Alex 发自 凹非寺 量子位 | 公众号 QbitAI 又一个AI老大难问题,被DeepMind攻克了: 一只名叫DreamerV3的AI,在啥也不知道的情况下被丢进<我的世界>( ...
- DeepMind 最新论文解读:首次提出离散概率树中的因果推理算法
翻译 | 高卫华 出品 | AI科技大本营 头图 | CSDN付费下载自视觉中国 当前,一些前沿AI研究人员正在寻找用于表示上下文特定的因果依赖关系清晰的语义模型,这是因果归纳所必需的,在 DeepM ...
- 神经网络推理_分析神经网络推理性能的新工具
神经网络推理 Measuring the inference time of a trained deep neural model on different hardware devices is ...
- 神舟炫龙银魂t1是哪年的_我的天呐 对比发现炫龙银魂T1竟然这么强
原标题:我的天呐 对比发现炫龙银魂T1竟然这么强 随着社会生活压力的加大,很多人都会通过玩游戏来释放压力,出于便捷及节省空间的需要,游戏本也随之成为了越来越多消费者的首要选择.如果你希望游戏过程中能获 ...
- AI测谎仪:通过微表情在法庭检测谎言,性能已优于人类
作者:By SHIVALI BEST FOR MAILONLINE 编译:萌艺.吴双.Yawei 犯罪推理剧Lie to me展现了人类侦探对于微表情的极致观察力,通过捕捉常人容易忽略的细节成功破案. ...
- 当神经网络的性能不好怎么办?
20210209 - 0. 引言 本次写这篇文章是因为最近在训练的过程中,遇到了这个问题,而遇到这个问题其实也挺奇葩.因为之前的时候,也遇到过,但是那时候没有这样想,没有往这个方向想也是因为现象不同. ...
- 全校师生放6天春假;清华大学设立天文系;郭守敬望远镜光谱数突破千万;《自然》发表最新发现;百度败诉需道歉;这就是今天的大新闻...
今天是3月29日 农历二月廿三 今天星期五 早上上班等了N趟车 愣是没挤上去 下面是今天的大新闻 全校师生放6天"春假" (中国青年网)3月28日,四川西南航空职业学院发布了< ...
- 机器学习速成课程 | 练习 | Google Development——编程练习:提高神经网络的性能
提高神经网络性能 学习目标:通过将特征标准化并应用各种优化算法来提高神经网络的性能 注意:本练习中介绍的优化方法并非专门针对神经网络:这些方法可有效改进大多数类型的模型. 设置 首先,我们将加载数据. ...
最新文章
- 我的mongo学习之路
- Android SDK版本号 与 API Level 对应关系
- 开发一次、多端覆盖的开源统一框架
- ajax只能用get吗,基本的Ajax,但无法使用GET或POST方法
- Android之Window与WindowManager
- mysql丢失链接_MySQL远程连接丢失问题解决方法
- 大学计算机——所有大学生都应学习的一门计算思维基础教育课程,_大学计算机_所有大学生都应学习的一门计算思维基础教育课程...
- JavaScript总结(3)
- android初步ui线程案例,android – 它是一个bug还是一个功能?在某些情况下,可以从未在UI线程上运行的任务访问UI线程...
- oracle DB死锁
- 【微软黑科技一周概览】
- 2013,HTML5将席卷国内互联网
- [读后感]Java 控制台执行 Jar 传參的编码问题
- C++多线程编程(真实入门)
- 鸿蒙系统 第4节 Hi3861 WiFi操作,热点连接
- 解决VsCode下载慢问题
- 细胞自动机 通用计算机,科学网—《走近混沌》-27-初级细胞自动机 - 张天蓉的博文...
- 77页智慧应急解决方案 2022
- Excel插入斜线表头
- 微信小程序wepy框架+minui踩坑之路
热门文章
- 高德地图2020最新版下载导航wince_导航定位错误致青城山严重拥堵,高德地图回应:已优化...
- 搭建高可用web和数据库集群
- 新闻网站的详情页面流程分析
- os.makedirs和os.mkdir 生成文件夹
- Java的类加载机制
- 异常以及异常处理框架探析
- [C# 网络编程系列]专题十一:实现一个基于FTP协议的程序——文件上传下载器...
- Oracle proceduce返回数据集小结
- 互联网项目管理要点(转)
- 实现统计一个字符串中的每个单词出现的次数--基于Go语言