LSTM之父:吐槽了两年,来划划重点:“这5篇最高引论文都源于我们。”
点击上方“视学算法”,选择加"星标"或“置顶”
重磅干货,第一时间送达
作者 | 陈彩娴
编辑 | 青暮
昨晚,“递归神经网络之父”Jürgen Schmidhuber 在推特上亲自发文,称目前引用数最高的5项神经网络工作都基于他的团队成果,一时引起了网友的广泛讨论。这并不是他首次发声,Jürgen Schmidhuber近两年来发表无数文章和言论,每次提及几项他过去的研究,表示是他首创,并抱怨学界不承认他对AI领域的贡献。
这篇博文也算是为我们划了重点,即他过去两年来提过的几十项“不是你首创”AI研究中,有哪些更具影响力。
Jürgen 称,人工神经网络(neural networks,简称“NN”)与深度学习是现代人工智能的两大主题,而现今最受欢迎的五大神经网络都是基于他在慕尼黑工业大学和 IDSIA 实验室的研究团队所取得的成果,这五大神经网络就包括:
1)LSTM(Long Short-Term Memory,长短期记忆人工神经网络),是 20 世纪被引用最多的神经网络;当然这项工作已经被公认是他的首创,Yann LeCun也在自传中提及了这一点;
2)ResNet,21世纪被引用最多的神经网络,Jürgen 认为是他们早期提出的高速网络(Highway Net,第一个真正有效的深度前馈神经网络)的门控版本;
3)AlexNet 与 VGG Net,21世纪引用数排第二与第三的神经网络,Jürgen 称这两个网络都是基于他们早期提出的 DanNet(第一个在图像识别竞赛中取胜的深度卷积神经网络);
4)GAN(Generative Adversarial Networks,生成对抗网络),基于他早期提出的“对抗性人工好奇心”(Adversarial Artificial Curiosity);
5)Transformer的变体,Jürgen 认为,线性 Transformer 的形式与他早期所提出的 Fast Weight Programmers 一样。许多工作是从他们在 1990 年至 1991 年间提出的 Annus Mirabilis 开始的,当时的计算代价比现在要贵一百万倍。
回顾神经网络的发展历程,Jürgen 所提出的五大工作都在现代人工智能领域的研究中发挥了重要作用。比如,LSTM 被广泛应用于医疗健康、学习机器人、游戏、语音处理与机器翻译等研究方向。
在他所发表的博文中,Jürgen 本人特地谈到,何恺明等人在2015年所提出的 ResNet(残差网络)借鉴了他们在 2015 年 5 月发布的 Highway Net。他指出,Highway Net 是第一个具有 100 层以上的前馈神经网络(以前的神经网络最多只有几十层),而 ResNet 的本质其实是“开放的” Highway Nets。Highway Net 展示了具有跳跃式传递(skip connection)的深度神经网络是如何工作的,且在 ImageNet 上的表现与 ResNet 大致相同。但美国专利商标局在 2001 年就将这项发明的专利授予了 NNAISENSE。
论文链接:https://arxiv.org/pdf/1505.00387.pdf
值得注意的是,20 世纪与 21 世纪被引用最高的神经网络(LSTM与ResNet)是紧密相连的,因为 Highway Net 实际上是 Jürgen 团队所提出的循环 LSTM 的前馈神经网络版本。深度学习主要是聚焦于神经网络的深度。LSTM 打破了监督循环神经网络的深度局限性,而 Highway Nets 将其引到了前馈神经网络。
在 Jürgen 所写的文章中,他感慨,这些工作为谷歌、Facebook、微软等大企业做出了巨大贡献,颇有点“为他人做嫁衣”的唏嘘:何恺明是在 MSRA 期间发表的 ResNet,后来他加入了Facebook;而 AlexNet 与 VGG Net 的大多作者去了谷歌,谷歌在 2017 年发布了Transformer,都与他在 1991 年发表的线性 Transformer 相关,然后谷歌还收购了他实验室里一位学生参与联合创立的 DeepMind;而 DanNet 的二作、GAN 的一作去了苹果公司。
“上述这些公司都广泛使用了我的 LSTM。”
或许是抱怨过于频繁,Jürgen Schmidhuber形象早已濒临崩塌边缘。
广大吃瓜群众亦不耐烦,在推特和reddit上纷纷对Jürgen Schmidhuber开启了嘲讽模式,一句“他的自负大于他的引用次数”可谓精辟。
在Reddit上,一位网友中肯地评价道:
不可否认,他做了真正开创性的工作,并帮助开创了深度学习,但这篇文章看起来像一个孩子在大喊,“看我,我是最棒的”。
参考链接:
1.https://www.reddit.com/r/MachineLearning/comments/pk69xy/d_schmidhuber_the_most_cited_neural_networks_all/
2.https://people.idsia.ch/~juergen/most-cited-neural-nets.html
3.http://people.idsia.ch/~juergen/deep-learning-miraculous-year-1990-1991.html
点个在看 paper不断!
LSTM之父:吐槽了两年,来划划重点:“这5篇最高引论文都源于我们。”相关推荐
- LeCun论文被指「洗稿」? LSTM之父发文怒怼:抄我的还标原创
编 | 好困 Joey David 源 | 新智元 LSTM之父.暴脾气大爷Jürgen Schmidhuber又开炮了?这回怼的是LeCun,说最近的新论文是炒了自己20多年前的冷饭,只不过换了种说 ...
- Transformer深至1000层还能稳定训练,微软实习生一作,LSTM之父转发
博雯 发自 凹非寺 量子位 | 公众号 QbitAI 近几年,随着业内"大力出奇迹"的趋势,Transformer的模型参数量也是水涨船高. 不过,当参数从数百万增加至数十亿,甚至 ...
- LSTM之父再度炮轰Hinton:“本田奖”不该授予他,颁奖词有六大谬误
晓查 发自 凹非寺 量子位 报道 | 公众号 QbitAI LSTM之父Schmidhuber又来了,他和深度学习三巨头的战争从来没有停止过. 这次他把枪口对准了最德高望重的Hinton. 这一切要 ...
- 世界欠他一个图灵奖! LSTM之父的深度学习“奇迹之年”
来源:新智元 本文约9600字,建议阅读10+分钟. 近日LSTM之父发表了一篇长文,详细论述了近 30 年前他和团队进行的许多研究. [ 导读 ]LSTM的发明人.著名深度学习专家Jürgen Sc ...
- LSTM之父撰文,纪念这位图灵奖遗珠、“AI理论之父”
原文:1931: Kurt Gödel, founder of theoretical computer science, shows limits of math, logic, computing ...
- LSTM之父再称ResNet、GAN等五大网络都有他的功劳,网友却说:自负大于引用数
丰色 发自 凹非寺 量子位 报道 | 公众号 QbitAI "现在引用最多的几个神经网络都是建立在我的实验室成果之上的!" 能说出此话的不是别人,正是在深度学习领域作出了巨大贡献的 ...
- “AI理论之父应该是哥德尔”,LSTM之父再抛惊人观点,网友:他有点走火入魔...
晓查 发自 凹非寺 量子位 报道 | 公众号 QbitAI LSTM之父又发新博文了. 这位Jürgen Schmidhuber,几乎每隔一段时间就出来回顾AI历史,抛出一些极具争议的观点,这次也不 ...
- 从PM到GAN——LSTM之父Schmidhuber横跨22年的怨念(文字版)
前段时间我受极视角邀请,在斗鱼上直播分享有关GAN的话题.考虑到现在网上关于GAN的文章.视频都已经非常多了,所以我就故意选择了一个之前没有什么人讲过的主题:LSTM之父Schmidhuber与GAN ...
- LSTM 之父发文:2010-2020,我眼中的深度学习十年简史
作者 | Jürgen Schmidhuber 译者 | 刘畅.若名 出品 | AI科技大本营(ID:rgznai100) 作为LSTM发明人.深度学习元老,Jürgen Schmidhuber于2月 ...
最新文章
- 项目描述_单元测试技巧:创建描述性测试
- 图像质量损失函数SSIM Loss的原理详解和代码具体实现
- 【Binder 机制】Native 层 Binder 机制分析 ( binder_loop | svcmgr_handler | binder.c | binder_parse )
- Leetcode 168. Excel表列名称 解题思路及C++实现
- Spring的7种事务传播行为类型
- Leetcode题库191.位1的个数(C实现)
- java 20_java20 - 芥末小弟 - OSCHINA - 中文开源技术交流社区
- IntelliJ IDEA启动Tomcat控制台乱码问题解决
- 利用属性观察器实现数据绑定
- php代码里面的居中,css代码如何居中
- jQuery 停止动画
- 年会 炫酷 抽奖小程序
- Google Chrome浏览器导入导出书签
- neo4j :rel_Neo4j:足球转移图表
- 第一章:客户端网页编程简介
- Golang jwt跨域鉴权
- Leetcode:347. 前 K 个高频元素(C++)
- win11安卓子系统如何安装app
- 分享65个NET源码,总有一款适合您
- Excel工作表之SQL查询方法
热门文章
- 股市币市:数据分析与交易所最新公告(20190303)
- 3000 字推荐一个可视化神器,50 行 Python 代码制作数据大屏
- 有的放矢,远程操控中实时音视频的优化之道
- 首届“陇剑杯”网络安全大赛线上赛圆满结束
- 破解数据流通痛点,华控清交的隐私计算之道
- 改善AI性别偏见的4种方法 | CSDN博文精选
- 他们用卷积神经网络,发现了名画中隐藏的秘密
- AutoML前沿技术与实践经验分享 | 免费公开课
- CVPR 2019超全论文合集新鲜出炉!| 资源帖
- AlphaGo“兄弟”AlphaFold出世,DeepMind再创记录