历史需要重写？AlexNet之前，早有算法完成计算机视觉四大挑战

2012 年，深度学习三巨头之一、图灵奖得主 Geoffrey Hinton 的学生 Alex Krizhevsky 提出了 AlexNet，并在当年度的 ILSVRC（ImageNet 大规模视觉挑战赛）以显著的优势获得当届冠军，成绩远超第二名。这一成绩引起了学界和业界的极大关注，计算机视觉也开始逐渐进入深度学习主导的时代。但这样一个划时代的研究最近也受到了质疑。

近日，有网友在 reddit 上声称，Jurgen Schmidhuber 团队的 Dan Ciresan 提出的 DanNet（也是一种基于 CUDA 的卷积神经网络）先于 AlexNet 完成了四项图像识别挑战。

DanNet 早于 AlexNet 的有力证据

发帖者在在 reddit 中展示了如下一些证据：

1. 发帖者从 Jurgen 发表的《Deep Learning: Our Miraculous Year 1990-1991》第 19 章节的参考文献中看出了端倪；

2. 发帖者表示，在 AlexNet（2012 年 ImageNet 竞赛冠军）之前，Jurgen 团队的罗马尼亚博士后 Dan Ciresan 就已在 2011 年 5 月 15 日和 2012 年 9 月 10 日之间赢得了四项重要的计算机视觉竞赛，所采用的 CUDA CNN 姑且称为 DanNet；

图中红框标注的 IDSIA 即 Dan Ciresan 等人所在的团队，他们在 2011 年 5 月 15 日和 2012 年 9 月 10 日期间赢得了中文书写、交通标识、脑区域分割和癌症检测四项重要的计算机视觉竞赛。

3. 发帖者曾看到有新闻报道称，AlexNet 在 2012 年开启了深度学习革命，但事实上根据 Jurgen 的文章，DanNet 在 2011 年就成为首个赢得 superhuman 视觉模式识别竞赛的方法，并且还采用比 AlexNet 更大的图像赢得了医疗成像竞赛；

Dan Ciresan 参与首次赢得了 superhuman 视觉模式识别竞赛。

Dan Ciresan 参与赢得了乳腺癌组织学图像的有丝分裂检测竞赛。

4. DanNet 被引最多的论文《Multi-column Deep Neural Networks for Image Classification》（CVPR，2012 年 7 月）要比介绍 AlexNet 的论文《ImageNet Classification with Deep Convolutional Neural Networks》（NIPS，2012 年 12 月）早了 5 个月，但关于 DanNet 更早的论文出现在 IJCAI 2011 和 IJCNN 2011 会议上；

Dan Ciresan 的论文。

Alex Krizhevsky 的论文。

5. 公平地说，AlexNet 引用了 DanNet，并承认两者相似，但 AlexNet 并没有提到 DanNet 曾早于它赢得了四项计算机视觉挑战；

6. ResNet 在 2015 年的 ImageNet 竞赛中击败了 AlexNet，但 ResNet 实际上是更为早期的 Highway networks 的一个特例，后者也是 Jurgen 实验室最早提出的，在「第一个超过 100 层的可行前向传播网络」中，Jurgen 把他们的先行性研究归功于自己的学生 Rupesh Kumar Srivastava 和 Klaus Greff。

Jurgen 认为微软的 ResNet 是其团队提出 Highway Nets 的一种特例。

7. 在 Jurgen 文章的第五章节中，他详述了「GAN 的起源」，而在第四章节中，他介绍了 2009 年获得成功的 LSTM。上述内容大家已经耳熟能详，不过大多数人可能还不知道 Jurgen 团队还是第一个在 CUDA 上搞 CNN 并取得成功的。

以上就是发帖者认为 DanNet 先于 AlexNet 出现的一些文献证据。

世间欠 Schmidhuber 一个图灵奖？

那么这样看来，当今深度学习的很多概念，都是 30 年前 LSTM 之父 Jürgen 玩过的？Reddit 上热闹的讨论，源自于今年 10 月，Jürgen Schmidhuber 专门对此发表的一篇文章，其详细论述了近 30 年前（1990-1991 年间）他和团队所进行的很多研究。据他本人称，其中的研究思想为当今的许多深度学习前沿研究奠定了基础，包括 LSTM、元学习、遗忘门机制、注意力和强化学习等。

人们对于 Jürgen Schmidhuber 的印象通常是「LSTM 之父」，他来自德国，现任瑞士 Dalle Molle 人工智能研究所负责人，是人工智能领域的著名学者。在 LSTM 之外，他还一直认为近年来发展很快的 GAN 模型是其早在 1992 年提出的 PM 模型的变体。除此之外，他还在语音识别等方向上有着不小的贡献。

在今年 3 月，计算机领域最高荣誉图灵奖颁发给深度学习三巨头 Geoffrey Hinton、Yoshua Bengio 和 Yann LeCun 之后，有关「学界欠 Jürgen 一座图灵奖」的讨论一时变得热闹起来。

人工智能著名学者，南京大学人工智能学院院长周志华也曾表示：「要论对深度学习的贡献，Hinton 无疑居首，LeCun 和 Schmidhuber 贡献都很大。但 HLB 总捆绑在一起，而 S 跟 HLB 都不对劲……获奖需有提名有投票，人缘也重要……不过没关系，有 LSTM 这样教科书级的贡献足以淡定。」

Jürgen 本人对于自身学术地位「遭受不公待遇」一直颇有微词，他近年来总是在各个场合宣扬自己的创造性研究，甚至不惜与其他著名学者公开对质（你或许会对 Jürgen 在人工智能顶会 NIPS 2016 现场大战「GAN 之父」Ian Goodfellow 的事件记忆犹新）。因此，人们对于 Jürgen 的看法也呈现两极分化的情形。

今天的讨论也没有例外，在 DanNet 超前于 AlexNet 讨论刚刚开始的时候，占上风的观点是这样的：

好了好了，Jürgen 就是我们的造物主。

但总的来说，对于个人性格的调侃还是要让位于理性，人们最终还是认为 Jürgen Schmidhuber 确实吃了名声的亏。

正视他的贡献吧，网友说道：

虽然我们都在幸灾乐祸，但 Jürgen 的确配得上获得图灵奖。在 LSTM 之外，他的很多研究都令人印象深刻。

在计算机科学领域里，有很多个性乖张的学者，特立独行总是不受欢迎的。但我总是奇怪人们会拿这个理由来评判他们的学术贡献。

我认为目前以北美为中心的 CS 学术体系完全压制了全球其他研究机构类似的贡献。

参考链接：https://www.reddit.com/r/MachineLearning/comments/dwnuwh/d_dannet_the_cuda_cnn_of_dan_ciresan_in_jurgen/

http://blog.itpub.net/31077337/viewspace-2158712/

————

编辑 ∑Gemini

来源：机器之心

☞一盘红烧肉告诉你：本科、硕士、博士，区别在哪儿？

☞现代数学确实在改变世界

☞数学家们的故事

☞经典 | 奇异值分解(SVD) 的几何意义

☞算法你都懂_如何一年赚它几百万

☞他的科学生涯堪称加速器，30岁当博导，38岁当选中科院院士，40岁当选德国科学院院士。。。

算法数学之美微信公众号欢迎赐稿

稿件涉及数学、物理、算法、计算机、编程等相关领域，经采用我们将奉上稿酬。

投稿邮箱：math_alg@163.com

历史需要重写？AlexNet之前，早有算法完成计算机视觉四大挑战相关推荐

最早的算法可追溯到三千年前，“所谓的 AI 并非源自先进的技术”！
算法究竟从何而来?所谓的"AI"是否纯粹依靠先进的技术?人工智能与人类智能之间又究竟有着什么关系?...... 本文作者追溯到三千年前的火坛祭仪式,通过介绍火坛祭仪式的古代几何学. ...
中国星际争霸历史回顾(重写版)
作者:[AOQ]Cat -------------------------------------------------------------------------------- 这个事情并非说 ...
AI并非源自现代技术?最早的算法可追溯到三千年前
作者 | Matteo Pasquinelli 译者 | 弯月,责编 | 郭芮出品 | CSDN(ID:CSDNnews) 导语:算法究竟从何而来?所谓的"AI"是否纯粹依靠先进 ...
学完java学swift_前言最近学完Swift之后一直没有机会实战，发现由于Swift发展历史原因，目前网上大部分的算法都是使用C、Java或其他语言实现的，几乎没有使用Swift实...
前言最近学完Swift之后一直没有机会实战,发现由于Swift发展历史原因,目前网上大部分的算法都是使用C.Java或其他语言实现的,几乎没有使用Swift实现的,所以自己打算使用Swift去实现一 ...
CV：人工智能之计算机视觉方向的简介(CV发展史+常用数据集+CV职位)、传统方法对比CNN类算法、计算机视觉十大应用(知识导图+经典案例)之详细攻略
CV:人工智能之计算机视觉方向的简介(CV发展史+常用数据集+CV职位).传统方法对比CNN类算法.计算机视觉十大应用(知识导图+经典案例)之详细攻略目录计算机视觉的简介 1.计算机视觉的研究方向 ...
三维声技术在赛事直播中的应用，TWS耳机中音频技术落地实践，通话降噪算法落地应用及挑战...
三维声技术在赛事直播中的应用 Topic <三维声技术在赛事直播中的应用探析> 韩建咪咕文化科技有限公司资深音频技术专家作为元宇宙重要的技术基石之一,三维声技术也随着元宇宙概念的走 ...
【金融案例分析04】阿姆斯特丹股票交易所的历史（世界上最早的永续债券股票股票基金、郁金香泡沫、荷兰皇家壳牌集团、东印度公司）
在欧洲西北部,有一个和英国隔海相望的国家,它的名字叫做荷兰. 在绝大多数现代人的眼中,这里的关键词是风车,郁金香,甚至还有同性婚姻与安乐死的合法化.但越来越少人知道这个国家在现代经济学史上举足轻重的地 ...
机器学习——人工神经网络之发展历史（神经元数学模型、感知器算法）
目录一.神经元的数学模型二.感知器算法(SVM算法前身) 1.目的 2.流程 >>>问题1:下图w和b的调整是什么意思? 3.算法的有效性验证 1)原算法 2)增广矩阵 3) ...
CNN的发展历史（LeNet,Alexnet,VGGNet,GoogleNet,ReSNet）
欢迎转载,转载请注明:本文出自Bin的专栏blog.csdn.net/xbinworld. 关于卷积神经网络CNN,网络和文献中有非常多的资料,我在工作/研究中也用了好一段时间各种常见的model了, ...

历史需要重写？AlexNet之前，早有算法完成计算机视觉四大挑战

历史需要重写？AlexNet之前，早有算法完成计算机视觉四大挑战相关推荐

最新文章

热门文章