Hinton反思新作:我说反向传播不好,但还是没谁能颠覆它
栗子 问耕 发自 凹非寺
量子位 出品 | 公众号 QbitAI
32年前,人工智能、机器学习界的泰斗Hinton提出反向传播理念,如今反向传播已经成为推动深度学习爆发的核心技术。
然而反向传播自诞生起,也受到了无数质疑。这些质疑来自各路科学家,也来自Hinton自己。
主要是因为,反向传播机制实在是不像大脑。
去年九月,Hinton站在众人面前,亲口说出他对反向传播“深感怀疑”,并且振臂一呼的号召:“我的观点是把它全部抛掉,重头再来。”
他不止这么说,也在亲自践行。
这些年来,科学家们也为反向传播寻找了不少“生物学上更合理”、也就是更像大脑工作机制的替代品。但这些是通往未来的道路么?
Hinton决定亲自尝试一下。他集结了来自DeepMind和多伦多大学的强大力量,对这些替代品进行了一次评估。结论是:
在比较复杂的分类任务 (如ImageNet) 里,那些更像大脑机制的算法,都远不及反向传播。
对比测试
在Hinton参与的新论文Assessing the Scalability of Biologically-Motivated Deep Learning Algorithms and Architectures里,反向传播的挑战者包括:
1号选手,目标传播 (Target-Propagation,TP) 。
2号选手,反馈对比 (Feedback Alignment,FA) 。
3号选手,目标差传播 (Difference Target Propagation,DTP) 。
三位选手,还各自拥有几种变体。
加上守擂方反向传播,四者挑战的有MNIST、CIFAR以及最难的ImageNet这几个分类数据集。
谁的学习能力,能更好地推广到复杂的数据集里,就代表它更有潜力,去解释大脑的运作。
先来看MNIST和CIFAR两项比赛的成绩。
△下划线加粗为最佳
无论是在全连接 (Fully-Connected) 还是局部连接 (Locally-Connected) 的神经网络中,反向传播的表现都是最好的。
除此之外,用BP训练的CNN,拥有共享权重 (Shared Weights) ,也能有效提升模型的表现。
这一点值得注意,是因为CNN在生物学意义上,有一个“不太可取”的特性,就是权重共享。
因为,每个神经元的权值,都需要非常精确地传递开来,这个操作在自然界里太不现实。
不过,数据证明,权重共享并不是“不可取”。它的存在,大大减少了自由参数,让模型的学习能力更容易向复杂任务中推广。于是,BP ConvNet击败了亲近自然的方法,和它们更加自然的变体。
说到更加复杂的任务,下一个比赛场地,就是ImageNet数据集了。
遗憾的是,在ImageNet这座大山面前,所有的方法成绩都不理想。
但在所有的不理想中间,反向传播的表现依然优于其他选手,且以卷积网络的版本为最优。
也就是说,即便无法像人类一样轻取复杂问题,反向传播依然离这个目标更近,加上共享权重就更近。
研究团队在论文中说,如果想从生物学上,找到学习效果更好的算法,反向传播的挑战者们还有很长的路要走。
不论是现有的“生物学合理”的算法,还是大家要找的新方法。
是啊,路还长,这次的比赛成绩也只是阶段性结果。
未来,翘首以待。
论文
为了完成这个研究,来自多家著名机构的学者,组成了一个特混战队。
其中Hinton来自多伦多大学和Google Brain,Sergey Bartunov(一作)和Adam Santoro来自DeepMind,Blake A. Richards来自多伦多大学。Timothy P. Lillicrap来自DeepMind和UCL。
外界对这篇论文也有一些很强烈的赞誉之声。
譬如,有人说这是一个伟大的研究,随着时间的推移,这些讨论会变得越来越有意思;也有人说被这个研究惊到了。
当然,也有人持保留意见。
不知道你会怎么认为,去读Paper吧。
这篇评估了反向传播各路替代品的论文是:
Assessing the Scalability of Biologically-Motivated Deep Learning Algorithms and Architectures
作者:Sergey Bartunov, Adam Santoro, Blake A. Richards, Geoffrey E. Hinton, Timothy Lillicrap
最近这篇论文也发到了arXiv上,大家有空可以看一看。
传送门:
https://arxiv.org/pdf/1807.04587.pdf
特立独行
Hinton从来都不是一个跟随主流的人。他声名煊赫的整个家族都弥漫着这样的一种气质。
1972年,25岁的Hinton在爱丁堡大学攻读博士学位,并把神经网络作为研究重点。导师几乎每周都会提醒他在浪费时间。然而Hinton不为所动。
实际上几十年来,Hinton一直徘徊在人工智能研究的边缘地带。他像一个局外人一样坚守着一个简单的观点:计算机可以像人类一样思考,依靠直觉而不是规则。
一直到大约2009年前后,神经网络才又引发更多人的关注。谈到那些灰暗的日子,Hinton给出了这样的回答:
“是什么支持着你不放弃?”
“其他人都错了。”
“我们本来在体制之外,力图证明传统路线是错的,然而有趣的是,转眼间我们成了正统。”Hinton的学生、OpenAI创始人Ilya Sutskever说。
作为机器学习的先锋,Hinton从中开辟了“深度学习”这个子领域,这让计算机可以自动建立起一层层的智慧。
得益于近年来计算力的猛增,深度学习成为主流方法,从我们智能手机里的语音识别、图像探测到亚马逊为你推荐的图书,都离不开它。
因为患有腰间盘突出,坐下变成一种痛苦,从2005年开始,Hinton就不再坐着了,工作时就一直站着。而现在站立工作,似乎也是一种风潮。
“我领先于潮流,”Hinton说。
— 完 —
活动报名
诚挚招聘
量子位正在招募编辑/记者,工作地点在北京中关村。期待有才气、有热情的同学加入我们!相关细节,请在量子位公众号(QbitAI)对话界面,回复“招聘”两个字。
量子位 QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技术和产品新动态
Hinton反思新作:我说反向传播不好,但还是没谁能颠覆它相关推荐
- Lesson 11.1-11.5 梯度下降的两个关键问题反向传播的原理走出第一步:动量法开始迭代:batch和epochs在Fashion—MNIST数据集熵实现完整的神经网络
在之前的课程中,我们已经完成了从0建立深层神经网络,并介绍了各类神经网络所使用的损失函数.本节课开始,我们将以分类深层神经网络为例,为大家展示神经网络的学习和训练过程.在介绍PyTorch的基本工具A ...
- TensorFlow 2.0深度学习算法实战 第七章 反向传播算法
第七章 反向传播算法 7.1 导数与梯度 7.2 导数常见性质 7.2.1 基本函数的导数 7.2.2 常用导数性质 7.2.3 导数求解实战 7.3 激活函数导数 7.3.1 Sigmoid 函数导 ...
- 用反向传播算法解释大脑学习过程?Hinton 等人新研究登上 Nature 子刊
机器之心报道 魔王.Jamin.杜伟 反向传播可以解释大脑学习吗?近日 Hinton 等人的研究认为,尽管大脑可能未实现字面形式的反向传播,但是反向传播的部分特征与理解大脑中的学习具备很强的关联性.该 ...
- Hinton:我终于想明白大脑怎么工作了!神经学家花三十年,寻找反向传播的生物机制...
作者:Anil Ananthaswamy 编译:梦佳 「有一天晚上,我回家吃饭,激动地说『我终于想明白大脑是怎么工作的了!』我15岁的女儿对我说,怎么又来了,老爸.」 ...
- 「反向传播非你原创」,Jürgen发文直指Hinton不应获2019本田奖
来源:机器之心 LSTM 之父 Jürgen Schmidhuber 再次掀起争论,这回他指向了深度学习之父.图灵奖得主 Geoffrey Hinton.不过,这次他站出来质疑的是 Hinton 的最 ...
- 反向传播不香了?解读 Hinton 大佬的 Forward-Forward 算法
今天解读一篇Hinton大佬最近分享的论文. 在最近的NeurIPS2022会议上,图灵奖得主Hinton作为演讲嘉宾,分享了一个题为<The Forward-Forward Algoritm: ...
- Geoffrey Hinton 最新访谈:不出五年,我们就会破解大脑的运作机制,但不是通过反向传播...
整理:李梅.黄楠 编辑:陈彩娴 过去十年,AI 在计算机视觉.语音识别.机器翻译.机器人.医学.计算生物学.蛋白质折叠预测等等领域取得了一个又一个突破,而这些突破的背后,均离不开深度学习.那么,深度学 ...
- Geoffrey Hinton:放弃反向传播,我们的人工智能需要重头再来
1986 年,Geoffrey Hinton 与别人合作了一篇论文(<Experiments on Learning by Back Propagation>). 近几年来,这篇论文中点B ...
- AI大事件 | Geoffrey Hinton决定抛弃反向传播,预期策略梯度算法
大数据文摘作品 编译 | 宁云州 呜啦啦啦啦啦大家好呀,又到了本周的AI大事件时间了.过去的一周中AI圈都发生了什么?大佬们互撕了哪些问题?研究者们发布了哪些值得一读的论文?又有哪些开源的代码和数据库 ...
最新文章
- svn清理失败且乱码 问题解决(转)
- Python 哪种方式循环最快,或许颠覆你的认知
- PHP实现常见排序算法
- 在相同的后端上重新设计前端是什么效果? | 每日趣闻
- File类的使用(java)
- hdu 3022 Sum of Digits
- mysql 结构体_mysql模块使用结构体生成数据库表,不识别long类型
- Tornado与Django
- servlet container:tomcat jetty and undertow
- 第一个国产Apache 顶级项目 Kylin,了解一下!| 原力计划
- linux内核源码下载地址
- 《Python黑帽子:黑客与渗透测试编程之道》读书笔记(六):基于github的木马
- 安装SqlServer 2017 时出现“Polybase要求安装Oracle JRE 7 更新51(64位)或更高版本规则失效”报错的解决办法
- Java日志体系(三) jul 配置文件详解,日志示例
- 无常之美·《炉香》-扎西拉姆·多多
- 24段魔尺拼图指南_拼图项目动手指南
- unity实现小地图和放大镜功能
- Linux上安装Matlab2020a
- Linux 摸索:使用VM安装CenOS 7之后,开机启动黑屏
- 如何选择加密芯片以及加密芯片的工作原理
热门文章
- 人工智能为什么要从本科生抓起?
- mysql 5.6参数_初识 MySQL 5.6 新功能、参数
- python类添加方法以及pow和cmp的使用
- vc如何打开plt图像_opencv_python从zero到hero————之图像基本操作01
- redhat 6.5 mysql rpm_CentOS6.5和RedHat6.5下以rpm方式安装mysql-5.6.20
- python如何用色度表示数值大小_python入门004数字(例程界面很清晰大小也合适)
- 程序的图标无法改变_想体验程序猿日常工作的快乐吗?来玩国产烧脑益智游戏《异常》...
- 不要在循环,条件或嵌套函数中调用 Hook
- AbortController 中止一个或多个Web请求
- centos 安装mysql5.6.20_Linux学习15-CentOS安装mysql5.6环境