LeCun称梯度下降是最优雅的 ML 算法,Marcus:我不同意!
点击下方卡片,关注“CVer”公众号
AI/CV重磅干货,第一时间送达
点击进入—> CVer 微信技术交流群
转载自:AI科技评论 作者|李梅 编辑|陈彩娴
前几天刚跟马斯克吵完架的Gary Marcus,又双叒叕跟人吵起来了,这次的吵架对象是Yann LeCun。
一向喜欢给深度学习泼冷水的Marcus,在今天发帖谈了谈与LeCun的「旧账」和「新仇」,并给了LeCun一个白眼:
事情是这样的。
几天前,有人在推特上发帖问: 在机器学习中,最优雅美丽的idea是什么?感觉数学家和物理学家经常谈论美学,但我们却很少,为什么?
于是网友们都来认真答题:多重权重更新算法(multiplicative weights update)、核技巧(kernel trick)、降维(dimension reduction)、一些凸优化方法(convex optimization)、变分推理(variational inference)、熵和信息论等等。
大家还就机器学习研究的美学性讨论了起来。有人认为,机器学习理论家其实也在谈论优雅这个东西,尤其是那些具有理论计算机背景或者传统物理学背景的人。也有人言语犀利:之所以很少有人谈论美学,是因为机器学习重在应用,而不是像纯粹数学那样「毫无价值」。
谷歌大脑的研究员Chris Olah也来转贴评论说:
ML的优雅是一种生物学的优雅,而非数学或物理的那种优雅。梯度下降创造了令人难以置信的结构和行为,正如进化创造了令人敬畏的自然复杂性。
LeCun表示:梯度下降?这我熟!
近4年来,我一直试图让我许多更注重理论的同事相信梯度下降所具有的不可思议的力量。
LeCun在1989年发表的那篇论文,就是通过使用梯度下降的方法训练了CNN进行图像识别,梯度下降后来成为计算机视觉研究的基础理论。
LeCun还回忆了2000年丹佛NIPS会议上的一次经历。当时一位非常杰出的ML研究人员在晚宴上问道:「我们在ML中学到的最重要的东西是什么?」LeCun回答说:「梯度下降」。当时那位研究人员脸上目瞪口呆的表情表明他对这个回答嗤之以鼻。
LeCun这个「仇」记得还挺久......
那么,「梯度下降」是最优雅的ML算法吗?有人赞成有人反对。
毫无疑问GD是过去十年来我们在AI领域所看到的所有进步背后的核心驱动力。
GD很了不起,...但这并不是AI。
LeCun正忙着与网友进行友好交流,Marcus也来了。有讨论深度学习的地方,怎能没有我Marcus的身影?
的确。但重要的是,令人难以置信的力量≠无穷的力量。要意识到(梯度下降)的极限,才能知道下一步要做什么来获得进步。
LeCun一看:所以你的意思是要抛弃梯度下降了??
1.基于梯度的优化是学习的一个要素,而不是人类级人工智能的一整套组件。
2.未来会有什么方案可能替代基于梯度的优化?你是相信(a)无梯度优化不好?,还是(b)优化本身不好?
对此,Marcus表示很委屈:我的意思是DL需要「补充」,而不是「替换」!
我感觉自己又被「稻草人谬误」攻击了,附上我的论点核心:我从未呼吁要替代深度学习/梯度下降。未来会出现的是「其他」工具,比如与SGD一起工作的符号处理操作。
Marcus还搬出发表于2018年的一篇文章“Deep Learning: A Critical Appraisal”作为证据:
尽管有我所描述的这些问题,但我认为我们不需要抛弃深度学习。相反,我们需要重新定义它:不是一种通用的办法,而只是众多工具的一种。
还有最近的一场keynote演讲:
我们不需要舍弃深度学习,但我们需要找到办法来作为对它的补充,因为智能本身是多方面的。
但是,LeCun并不买账,他接着Marcus的话回复:
所以「DL是办法的一种,但我们需要新的推理组建」?欢迎来到我的世界!
这可把Marcus惹急了:
我给的引用是来自2018年,那篇你称之为「大部分都是错误的」的文章。我的主张自1992年以来就没变过,唯一迟到的是你「欢迎来到我的世界」这句话,而这句话其实是你对我实际立场的认可。
那就来翻翻旧账,针对Marcus在2018年写的那篇文章,LeCun的确曾这样评论(虾仁猪心):
到这儿大家也能看出来,二人讨论的对象和观点是有错位的。LeCun希望如果有新的方案,仍需要封装在DL下,而Marcus的意思是新的方案需要围绕着DL进行封装,前者是关于规模的扩展,后者则是一种混合和补充。
大家怎么看?
点击进入—> CV 微信技术交流群
ICCV和CVPR 2021论文和代码下载
后台回复:CVPR2021,即可下载CVPR 2021论文和代码开源的论文合集
后台回复:ICCV2021,即可下载ICCV 2021论文和代码开源的论文合集
后台回复:Transformer综述,即可下载最新的3篇Transformer综述PDF
目标检测和Transformer交流群成立
扫描下方二维码,或者添加微信:CVer6666,即可添加CVer小助手微信,便可申请加入CVer-目标检测或者Transformer 微信交流群。另外其他垂直方向已涵盖:目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer等。
一定要备注:研究方向+地点+学校/公司+昵称(如目标检测或者Transformer+上海+上交+卡卡),根据格式备注,可更快被通过且邀请进群▲扫码或加微信: CVer6666,进交流群
CVer学术交流群(知识星球)来了!想要了解最新最快最好的CV/DL/ML论文速递、优质开源项目、学习教程和实战训练等资料,欢迎扫描下方二维码,加入CVer学术交流群,已汇集数千人!▲扫码进群
▲点击上方卡片,关注CVer公众号
整理不易,请点赞和在看
LeCun称梯度下降是最优雅的 ML 算法,Marcus:我不同意!相关推荐
- LeCun称梯度下降是最优雅的 ML 算法,Marcus:我不同意
作者|李梅 编辑|陈彩娴 来源|AI科技评论 前几天刚跟马斯克吵完架的Gary Marcus,又双叒叕跟人吵起来了,这次的吵架对象是Yann LeCun. 一向喜欢给深度学习泼冷水的Marcus,在今 ...
- 基于梯度下降的变压器铁心柱横截面设计算法
基于梯度下降的变压器铁心柱横截面设计算法 一.应用背景 二.实现思路 1.数学模型建立 2.梯度下降算法 三.实现代码 四.一点总结 一.应用背景 变压器铁心柱横截面通常为多级矩形,本算法旨在当给定铁 ...
- 使用随机梯度下降SGD的BP反向传播算法的PyTorch代码实现
Index 目录索引 写在前面 PyTorch的 .data() PyTorch的 .item() BP with SGD的PyTorch代码实现 参考文章 写在前面 本文将用一个完整的例子,借助Py ...
- 线性规划、梯度下降、正规方程组——斯坦福ML公开课笔记1-2
转载请注明链接:http://blog.csdn.net/xinzhangyanxiang/article/details/9101621 最近在看Ng的机器学习公开课,Ng的讲法循循善诱,感觉提高了 ...
- 机器学习中为什么需要梯度下降_机器学习101:一文带你读懂梯度下降
原标题 | Machine Learning 101: An Intuitive Introduction to Gradient Descent 作者 | Thalles Silva 译者 | 汪鹏 ...
- 梯度下降优化算法概述
本文原文是 An overview of gradient descent optimization algorithms,同时作者也在 arXiv 上发了一篇同样内容的 论文. 本文结合了两者来翻译 ...
- Lesson 4.34.4 梯度下降(Gradient Descent)基本原理与手动实现随机梯度下降与小批量梯度下降
Lesson 4.3 梯度下降(Gradient Descent)基本原理与手动实现 在上一小节中,我们已经成功的构建了逻辑回归的损失函数,但由于逻辑回归模型本身的特殊性,我们在构造损失函数时无法采用 ...
- sklearn GBDT(梯度下降树)模型使用RandomSearchCV获取最优参数及可视化
sklearn GBDT(梯度下降树)模型使用RandomSearchCV获取最优参数及可视化 gbdt全称梯度下降树,在传统机器学习算法里面是对真实分布拟合的最好的几种算法之一,在前几年深度学习还没 ...
- 机器不学习:浅显易懂!「高中数学」读懂梯度下降的数学原理
https://www.toutiao.com/a6677899033182208523/ 梯度下降是最常用的机器学习优化算法之一,Towards Data Science 近日发布了一篇文章,浅显易 ...
最新文章
- 使用Docker快速搭建PHP开发环境
- jrtplib 分包处理
- USB开发基础:USB命令(请求)和USB描述符
- 网站开发绝不像你看到的那么简单!
- 预测2019:数据中心将有哪些变化
- RTMPdump(libRTMP) 源代码分析 7: 建立一个流媒体连接 (NetStream部分 2)
- MCU提高ADC采样精度的几种方案
- php 命令链模式,设计模式之------命令链模式
- shiro学习(3):用户权限
- Linux 环境下安装 MySQL,各种踩坑、疑难杂症 | 原力计划
- 禁止snmpd写入日志到syslog
- 利用 Python分析北京雾霾天,发现这么秘密
- PostScript 打印描述语言 介绍
- nginx实现rtmp,flv,mp4流媒体服务器
- Eclipse XML 编辑器
- QWT官方例子--barchart
- C语言种根号怎么表示 比如(1-x)的二分之一次方
- Luogu P3717 [AHOI2017初中组]cover
- testcenter自动化
- unity简单小球下落
热门文章
- [Nvidia Jetson ]设备-Nvidia Jetson Nano刷机安装EMMC镜像(不使用sdkmanager工具)
- 开机后黑屏看不到桌面_开机后黑屏看不到桌面怎么解决
- 青云QingCloud 在不同场景化中的云计算应用
- 解决SecureFX无法连接linux服务器
- 因素分析的基本原理对SPSS因素分析结果的解释
- 表达式的操作(UF函数)
- 天鹅到家“天鹅之星”:品质化家政的新标杆
- 2017 移动端 iOS 年终工作总结-纯干货请自备酒水
- gradle编译错误:Unfortunately you can't have non-Gradle Java modules and Android-Gradle modules in one
- BUUCTF——web([GXYCTF2019]Ping Ping Ping、[极客大挑战 2019]Knife、[极客大挑战 2019]Http)