LSTM之父再称ResNet、GAN等五大网络都有他的功劳,网友却说:自负大于引用数
丰色 发自 凹非寺
量子位 报道 | 公众号 QbitAI
“现在引用最多的几个神经网络都是建立在我的实验室成果之上的!”
能说出此话的不是别人,正是在深度学习领域作出了巨大贡献的LSTM之父——Jürgen Schmidhube。
但这也不是他第一次为“自己的开创性工作没得到足够的尊重”而公开发声。
在这篇“直抒胸臆”的推文里,他还专门链出了个博客,里面历数了他和他的团队在LSTM、ResNet、AlexNet和VGG、GAN以及Transformer变体——这五个赫赫有名的神经网络上的早期贡献。
来看看他是怎么说的。
“五大神经网络都是建立在我的实验室成果之上”
首先是LSTM (Long Short-Term Memory)。这是Jürgen和他的学生们在1997年提出的一种新的RNN,解决了神经网络长短期记忆的难题。
根据谷歌学术,这是20世纪被引用次数最多的神经网络。
现在已经“渗透”进医疗保健、学习机器人(learning robot)、游戏、语音处理、机器翻译等领域,每天被无数人使用数十亿次。
其厉害之处不用多说,大家对Jürgen的这项成就也没啥异议。主要看另外四个:
ResNet
作为21世纪被引用次数最多的神经网络,Jürgen说它引用了他们的Highway Net、然后把它做成了另一个版本。
Highway Net,是他的学生们发明的第一个具有100多层的真正的深度前馈神经网络。
它用跳层连接解决了非常深度的神经网络的训练,其性能也与ImageNet上的ResNet差不多。
这俩的争议很多人都有分析过,虽然两者都用了跳层连接技术,但选择的机制不同;多数人认为ResNet应该只是受到了Highway Net的启发。
但Jürgen不这么认为,他还专门强调了一下,Highway Net也是基于LSTM的思想才得以解决深度训练的问题的。意思是ResNet“一脉相承”了他两个成果。
AlexNet和VGG Net
对于这俩在引用次数排第二、第三的神经网络,Jürgen表示:都类似DanNet——他们在2011年提出的第一个赢得图像识别比赛的深度卷积神经网络,并且DanNet在AlexNet出现之前赢了4场。
因为2012年出生的AlexNet论文中引用了DanNet,用到了Jürgen团队提出的摒弃无监督预训练为纯监督学习的DNN思想。
而VGG则是同样采用了DanNet使用小卷积滤波器增加神经网络深度的track。
GAN
博文中写道,大名鼎鼎的GAN也是Jürgen本人在1990年提出的Adversarial Curiosity原则的应用,它们都由两个神经网络进行“对抗”(Adversarial Curiosity则是一个叫生成器,一个叫预测器)。
“炮轰”GAN可不是第一次了,Jürgen甚至还公开和GAN的提出者battle过,但很多学者分析,GAN并不能视为Adversarial Curiosity的一个简单变种。
Transformer
最后一个是Transformer,如今风靡的Transformer又和Jürgen有什么关系呢?
Jürgen说,Transformer的变体-线性Transformer,在形式上相当与他于1991年提出的快速权重存储系统(Fast Weight Programmers)的延伸(除了标准化部分)。
真的是这样的吗?
不得不说,Jürgen的某些思想非常超前,但其实上面的这些内容都不是Jürgen第一次公开说明了。
一如既往,网友们的回应褒贬不一。
追捧他的表示:
“这是Schmidhuber的世界,我们凡人只是居住在其中!”
“Schmidhuber is all you need.”
但更多的人都是在承认他巨大贡献的同时,指出他过于美化自己的贡献,想把这二三十年所有相关的进步都归功于他。
就像博文中提到的ResNets,许多人的观点认为它只是HighwayNets中一个非常微不足道的延伸;
而Transformer则是在发展壮大了三年之后才被Jürgen联系到了Fast Weight Programmers身上;(如果真的那么相关,怎么一开始不指出来)
上面提到的种种几乎和他的团队成就没啥关系,没有他的那些论文,那些模型照样会被提出来。
而他最重要的两个贡献是:用LSTM思想解决RNN训练难题以及梯度消失难题的理论分析。但这都还主要是他的学生Hochreiter领导的。
因此有人觉得Jürgen这种行为简直就像个孩子一直在说“看我,我是最棒的”一样:
甚有直言:“他的自负大于他的引用次数”。
你觉得呢?
参考链接:[1]https://www.reddit.com/r/MachineLearning/comments/pk69xy/d_schmidhuber_the_most_cited_neural_networks_all/
[2]https://twitter.com/SchmidhuberAI/status/1435499479306809346
[3]https://people.idsia.ch/~juergen/most-cited-neural-nets.html
LSTM之父再称ResNet、GAN等五大网络都有他的功劳,网友却说:自负大于引用数相关推荐
- “AI理论之父应该是哥德尔”,LSTM之父再抛惊人观点,网友:他有点走火入魔...
晓查 发自 凹非寺 量子位 报道 | 公众号 QbitAI LSTM之父又发新博文了. 这位Jürgen Schmidhuber,几乎每隔一段时间就出来回顾AI历史,抛出一些极具争议的观点,这次也不 ...
- LSTM之父再语出惊人:图灵被吹得太过了,计算机科学之父根本不是他
[导读]LSTM之父Jürgen Schmidhuber的考据瘾又上来了.他近日发文称,图灵对计算机科学的贡献被吹过头了,"现代计算机之父"也不是图灵.将图灵一人捧上神坛,过度夸大 ...
- 从PM到GAN——LSTM之父Schmidhuber横跨22年的怨念(文字版)
前段时间我受极视角邀请,在斗鱼上直播分享有关GAN的话题.考虑到现在网上关于GAN的文章.视频都已经非常多了,所以我就故意选择了一个之前没有什么人讲过的主题:LSTM之父Schmidhuber与GAN ...
- LSTM 之父发文:2010-2020,我眼中的深度学习十年简史
作者 | Jürgen Schmidhuber 译者 | 刘畅.若名 出品 | AI科技大本营(ID:rgznai100) 作为LSTM发明人.深度学习元老,Jürgen Schmidhuber于2月 ...
- 一个被图灵奖遗忘的暴脾气老大爷:LSTM之父又发威!
点击 机器学习算法与Python学习 ,选择加星标 精彩内容不迷路 新智元报道 LSTM之父Jürgen Schmidhuber又开炮了,他在博客上发文表示,现在引用最多的神经网络论文成果,都是 ...
- LSTM之父:吐槽了两年,来划划重点:“这5篇最高引论文都源于我们。”
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达 作者 | 陈彩娴 编辑 | 青暮 昨晚,"递归神经网络之父 ...
- 世界欠他一个图灵奖! LSTM之父的深度学习“奇迹之年”
来源:新智元 本文约9600字,建议阅读10+分钟. 近日LSTM之父发表了一篇长文,详细论述了近 30 年前他和团队进行的许多研究. [ 导读 ]LSTM的发明人.著名深度学习专家Jürgen Sc ...
- 「LSTM 之父」亲笔万字长文,只为向世人证明:深度学习不是在母语为英语的地方被发明的
导语:最重要的并不是谁发明了某项技术,而是技术本身对于人类文明发展所具有的无上价值! 雷锋网 AI 科技评论按:毫无疑问,深度学习是影响当今世界科技发展的最重要的技术之一.2018 年,深度学习「三巨 ...
- LeCun论文被指「洗稿」? LSTM之父发文怒怼:抄我的还标原创
编 | 好困 Joey David 源 | 新智元 LSTM之父.暴脾气大爷Jürgen Schmidhuber又开炮了?这回怼的是LeCun,说最近的新论文是炒了自己20多年前的冷饭,只不过换了种说 ...
最新文章
- 遇见你们,真好 ---致我的舍友
- Koa源码分析(二) -- co的实现
- 网站快照更新不及时有什么好的解决办法吗?
- 修改Linux的基本配置(如主机名、ip等)
- Android--批量插入数据到SQLite数据库
- android屏幕录制鸿洋,Android之自定义View笔记(鸿洋)
- java零碎要点001--深入理解JVM_Java的堆内存_栈内存_以及运行时数据区的作用
- Hibernate关联关系映射-----基于连接表的单向一对多映射配置
- 从零开始学习 cookie 8月28日
- 计算机体系结构量化研究方法学习(二)
- educoder—web:页面元素和属性
- 光伏电站运维管理方案
- 分组急救技能竞赛方法在急诊专科护士培训中的运用
- win10下CUDA和CUDNN的安装(超详细)!亲测有效!
- git不显示贡献度的解决方案
- C/C++捕获段错误,打印出错的具体位置(精确到哪一行
- D435i安装驱动时遇到的configuring Secure Boot问题
- TC118S/TC118H单通道直流马达驱动IC
- 自动化测试框架结构图
- plc 滑台流程图_PLC控制直线模组滑台运动概述