图说2016深度学习十大指数级增长

转自：https://www.52ml.net/21402.html

http://mp.weixin.qq.com/s?__biz=MzI3MTA0MTk1MA==&mid=2651990615&idx=1&sn=1ff17104df9820d3f3b8298db20e1998（2016-12-12 弗格森 ）

来源：新智元(微信号AI_era)

编辑：弗格森
原文链接：图说2016深度学习十大指数级增长
本文为新智元授权转载，严禁二次转载。

【新智元导读】深度学习火热不是假象，以下的十个指数级增长趋势证明：深度学习在过去的一年内获得了极快的发展，已经成为当下人工智能的“顶梁柱”。本文从 ImageNet、NIPS和CVPR等顶级学术会议，以及谷歌、英伟达等企业应用，还有深度学习人才与投资、收购等角度分析，用13 张图解读深度学习到底有多火。

1. 图像识别准确率的指数级增长

似乎一切都是从 2015年的 ImageNet 挑战赛开始的，当年在图像识别准确率上，机器首次超过了人类，被认为是一个里程碑式的突破。

图：ILSVRC top-5 错误率

2010年算法的图像识别错误率至少在25%左右，但到2015年，计算机图像识别错误率已经低于人类（人类水平大概是4%左右）。2015年是0.03567，也就是3.5%。2016年，ImageNet 竞赛，图像识别错误率进一步下降，错误率今年的最好成绩为：平均错误率0.02991，也就是2.99%左右。

从上图可以看到，在ImageNet 竞赛中，其实从2012年，开始，使用深度学习方法，错误率只有15.3 %左右。这是 Hinton 教授和他的两个研究生 Alex Krizhevsky, Illya Sutskever 的成果。据说，他们使用了两个 Nvidia 的 GTX 580 CPU (内存 3GB, 计算速度 1.6 TFLOPS), 让程序接受一百二十万个图像训练, 花了接近六天时间。

搜索热度的指数级增长

“深度学习”在2012年开始崭露头角。下图是 Google Trends 中“Deep Learning”的搜索趋势。

深度学习在近两年来已经成为名副其实的热词。

学术会议上深度学习影响力的指数级增长

现实表明，学术研究领域确实迎来爆发式增长

图：NIPS 增长趋势

2016 年，作为学界顶级盛会的 NIPS 共收到投稿超过 2500 篇，最终接收了 568 篇——保守估计接收率 22.7%。这个论文接收率并不算那么低（相较其他顶会）。

再看参会人数及其近年来的增长趋势（上图右），2016参会人数已经超过了5000人——尤其是近两年，用“直线上升”形容毫不夸张。

CVPR 是计算机视觉领域的国际顶级会议。下面是 CVPR 的增长趋势图：

图：CVPR 参会人数趋势

新智元在此前的报道曾统计过，本届会议共收到论文 2145 篇，创下历史记录（有效 1865 篇）。会议接收论文 643 篇（接收率 29.9%）。

2016 CVPR 会议接收的论文里，发表的论文中有 80% 到 90%，口头报告更是接近 100% 都来自深度学习领域。

深度学习技术在企业内部应用的指数级增长

以上能显示深度学习理论的增长趋势。但只有理论吗？让我们看看 Google 内部对深度学习技术的使用情况。

图：Google 使用深度学习的趋势

从上图可以看到，2014年到2015年间，谷歌内部对深度学习技术的使用呈直线上升趋势。应用领域包括：APP、地图、照片、邮箱、语音、安卓、Youtube、翻译、机器人研究、图像理解、自然语言理解、毒品探测。

谷歌大脑负责人Jeff Dean 在接受《福布斯》的采访时曾提到，2011年到2012年间，公司使用深度神经网络技术的团队只有十几组，现在已经超过200多组，有上千人在训练这类的模型，使用的就是谷歌大脑团队搭建的软件。

他说：“5年前，当我们第一次开始组建机器学习研究组，调查使用大量的计算和深度卷积网络处理问题的情况，当时公司里还没有多少人在使用这种方法。后来，我们发现少数看起来可以有效应用的几个地方，其中包括语音识别系统，所以我们跟语音识别团队的同事紧密合作，把深度神经网络加入到语音识别系统中去，从而在识别精准度上获得了显著的提升。然后，我们又与几个计算机视觉相关的团队合作，比如图像识别和一些街景团队，其中包括，用图像中的原始像素去训练模型做一些有意思的事情，从图像中提取文本或者理解图像（是美洲豹，垃圾车或是别的什么东西）。

有趣的是，随着时间的过去，更多的团队开始采用这些方法，因为他们会听到别的团队说在尝试一些别的东西，并且获得了好的结果。不然就是，我们可以把他们与这些团队联系起来，或者我们可以提供一些在他们特定的问题语境下如何使用这些方法的建议。后来，我们把这些都正规化，所以现在我们就有了一个团队来做这些扩展工作。首先是联系想要在产品中用到这些机器学习模型的团队，他们会描述自己遇到的难题，一般情况下，我们团队会说：“这似乎跟其他团队所遇到的难题很像，我们的解决方案很有用，试试看我们的方案，然后给我们反馈”。

深度学习人才需求的指数级增长

从2015年开始，市场对深度学习人才的需求直线上涨，2016年下半年开始更是以超大幅度上涨。另外，2015年开始，我们也看到了大量的学术界顶尖人才流向产业界。

深度学习投资上的指数级增长

图：最近几年对AI技术企业的投资逐年增长

2016年二季度期间，融资交易量最多的地区是美国，共发生47起交易，融资额合计5.245亿美金。

除美国以外，全球有15个国家和地区在2016年二季度发生了AI相关领域创业公司的股权投融资活动，包括中国（及香港）、印度、瑞典、乌克兰、法国和加拿大等。

其中加拿大、英国、以色列、德国的AI领域投资相对较为活跃，尤其值得注意的几笔交易是：在加拿大，GE Ventures两次参与了BitStew Systems的C轮融资，该创业公司主要做工业物联网（IIoT）的数据分析平台；在英国伦敦，Lerer Hippeau Ventures，Bloomberg Beta和Salesforce Ventures参与了DigitalGenius的种子轮融资，该创业公司主要为客服领域提供AI解决方案；在以色列，阿里巴巴集团投资了电商搜索发现创业公司Twiggle的A轮融资，而包括Khosla Ventures和Marc Benioff在内的投资机构则支持了医疗创业公司Zebra Medical Vision的B轮融资；在德国，New Enterprise Associates参与了Konux的A轮融资，该创业公司面向产业界提供基于AI技术的传感器解决方案。

大公司收购的指数级增长

人工智能企业并购历史

2016年，每一个季度，都有至少10起关于人工智能的并购发生。这一指数级的增长趋势从2014年开始，目前没有任何下降的趋势。

2016年内在AI领域发生了一些非常高调的收购案，包括6月份公开的推特（Twitter）花费1.5亿美金收购Magic Pony Technology，后者是一家专注视觉处理（visual processing）相关的机器学习（machine learning）算法技术公司。英特尔于今年8月以超过4以美元的金额收购 Nervana 等等。

其中，2016也成为英特尔向人工智能和深度学习发力的转型之年，英特尔副总裁 Jason Waxman 在接受 Recode 采访时表示，向人工智能转型可能会有损英特尔向云计算进军的努力。但 Waxman 也强调了机器学习的重要性，他表示在英特尔从一个用户控制大量连网设备到世界向一个数十亿件设备都相互连并相互对话的世界转型之际，机器学习非常重要。

大众在投资的指数级增长

人工智能特别是深度学习的发展，极大地推动了英伟达的股价的上涨。从2015年开始，英伟达的股价一直都高于纳斯达克平均水平。

最新资料显示，英伟达了2016年第三财季财报报告当季公司营收实现大幅增长，远超市场预期。财报公布后，英伟达股价大涨近30%至87.97美元，创历史新高。英伟达股价自2015年9月以来持续走高，涨幅已超过三倍多。

今年8月，CEO黄仁勋在投资人会议上强调，深度学习是英伟达十分重要的增长动力，也是公司一直持续大力投资的领域，“过去5年来，我们一直默默投资深度学习，因为我们相信深度学习未来对整个软件产业、整个计算机产业都有着深远的影响，我们把一切都赌在了深度学习上”。

黄仁勋还指出，英伟达数据中心业务，大约有一半都是深度学习系统，这也是得益于公司在深度学习芯片方面的大力投入。

深度学习是 AI 的主要驱动力吗？

上图是在“Google Trend” 中分别查询人工智能和深度学习在过去5年的搜索趋势，蓝色是“深度学习”，红色是“人工智能”。“深度学习”在总量上要少于“人工智能”，但是增长趋势非常明显，最近更是越来越接近。并且，从增长的趋势来看，深度学习增长非常明显。

最后是最重要的一个趋势

人工智能的“智力”水平不断增长，未来或许会超越人类，甚至是高智商的人类水平，但是，目前看来，人工智能的智力水平程度也还只比蚂蚁好一些。（图来自Wait Buy Why）。

参考文献来源：

1. 新智元微信公众号

2.https://medium.com/intuitionmachine/8-exponential-hockey-stick-charts-for-deep-learning-74bba7a0284c#.6ok8ke2qd

欢迎加入我爱机器学习QQ11群：191401275

微信扫一扫，关注我爱机器学习公众号

微博：我爱机器学习

图说2016深度学习十大指数级增长相关推荐

2016深度学习统治人工智能？深度学习十大框架
2019独角兽企业重金招聘Python工程师标准>>> 2015 年结束了,是时候看看 2016 年的技术趋势,尤其是关于深度学习方面. 新智元在 2015 年底发过一篇文章< ...
2017年深度学习十大趋势预测
2017年深度学习十大趋势预测本文作者曾经多次预测了技术发展的趋势,最近的一次预测是"2011年软件发展的趋势与预测".10项预言中,准确地命中了6项,比如JavaScript ...
对比深度学习十大框架
原文链接:http://www.sohu.com/a/123190925_465975 2016 年已经过去,BEEVA Labs 数据分析师 Ricardo Guerrero Gomez-Ol 近日 ...
Python深度学习十大核心算法！
深度学习已经成为了一种热门的技术,它的应用领域正在不断扩大.在深度学习中,有一些核心的算法是非常重要的,这些算法为深度学习的应用提供了强大的基础.在本文中,我们将介绍基于Python深度学习的十大核心 ...
业界丨2018深度学习十大趋势：元学习成新SGD，多数硬件创企将失败
2018年,一切可能都会发生戏剧性的变化. 深度学习在2017年取得的那些不可思议的突破,将在2018年全面爆发.去年大量研究工作将转移到日常的软件应用中. 跟去年一样,我也将对2018年的深度学习发 ...
2018深度学习十大趋势：元学习成新SGD，多数硬件创企将失败
原作 Carlos E. Perez 李杉编译自 Intuition Machine博客量子位出品 | 公众号 QbitAI 2018年,一切可能都会发生戏剧性的变化. 深度学习在2017年取得 ...
深度学习框架zf_深度学习十大框架比较
框架比较(转): 1 TensorFlow 对于那些听说过深度学习但还没有太过专门深入的人来说,TensorFlow 是他们最喜欢的深度学习框架,但在这里我要澄清一些事实. 在 TensorFlow ...
2023北京智源大会亮点回顾 | 高性能计算、深度学习和大模型：打造通用人工智能AGI的金三角
AIGC | Aquila | HuggingFace AGI | DeepMind | Stability AI 通用人工智能(AGI)是人工智能领域的最终目标,也是一项极具挑战性的任务.在诸多技 ...
大科学时代，指数级增长的科学仍然拥有前所未有的朝气与活力
湛庐文化出品 2021年12月来源:集智俱乐部作者:王大顺.AL. Barabási 译者:贾韬.汪小帆编辑:邓一雪导语科学家什么时候能够迎来事业巅峰?科学创新的生命周期是多久?职业生 ...

图说2016深度学习十大指数级增长

图说2016深度学习十大指数级增长相关推荐

最新文章

热门文章