元学习兴起，卷积“落幕” | NeurIPS2020研究趋势总结

AMiner平台（https://www.aminer.cn）由清华大学计算机系研发，拥有我国完全自主知识产权。平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱，提供学者评价、专家发现、智能指派、学术地图等科技情报专业化服务。系统2006年上线，吸引了全球220个国家/地区1000多万独立IP访问，数据下载量230万次，年度访问量超过1100万，成为学术搜索和社会网络挖掘研究的重要数据和实验平台。

NeurIPS作为一个关于机器学习和计算神经科学的国际会议，最早是由连接学派（connectionist）神经网络的学者于1987年在加拿大创办。目前固定在每年的12月举行,由NIPS基金会主办。NeurIPS是机器学习领域的顶级会议，是神经计算方面最好的会议之一。在中国计算机学会的国际学术会议排名中，NeurIPS为人工智能领域的A类会议。在各种学术会议统计中，NeurIPS也被认为有着很强的影响力和很高的排名。

本文旨在对NeurIPS2020录用的论文进行数据归类和深度分析来总结出机器学习和计算机神经科学近年来的发展方向，希望可以为相关领域的研究者提供一些思路和些许帮助。由于受个人视野所限，本文统计的数据和得出的结论如有不当之处，欢迎大家留言指正。

NeurIPS2020将于12 月 6 日以线上的形式召开。据官网消息，本次会议的全部演讲和keynote、Orals 也会免费放出。

目前，会议已经公布论文收录结果，通过对本次会议收录论文的分析论文，我们来看看哪些研究趋势值得关注。

NeurIPS2020论文数据分析

首先，我们来看一下今年的投稿与入选情况。NeurIPS2020共有9454篇论文被提交，其中共有1899篇论文入选，录取率仅为20.09%，其中105篇被接收为oral，280篇被接收为spotlight。

从上图我们可以看到，NeurIPS2020，共录用论文1899篇，论文作者6225人。其中586位作者有2篇论文入选，165位作者有3篇论文入选，51位作者有4篇论文入选，入选数量大于等于5篇论文的作者共有75位。

从上图我们可以看到，入选NeurIPS2020论文最多的学者是Sergey Levine，共12篇论文入选。而华人学者当中，汪昭然9篇、杨林9篇、朱军8篇、汪张扬8篇、陶大程7篇、张潼7篇、王云鹤6篇、杜少雷 6篇，都取得了不凡的成绩。

根据AMiner平台学者库信息可以得知，排名第一的Sergey Levine“大神”，本、硕、博毕业于斯坦福大学的计算机科学专业，现为 UC Berkeley 电气工程和计算机科学系的助理教授。他的主要研究方向是决策、控制相关的机器学习，聚焦于深度学习和强化学习算法的研究。

从上图我们可以看到，从每篇论文作者数量来看，NeurIPS2020接收的论文大多数都有3-4个共同作者，其中有3个共同作者的论文共有488篇，有4个共同作者的论文共有448篇，拥有10个共同作者及以上的论文共有25篇，最多的1篇文章拥有31共同个作者。

从上图我们可以看到，从作者所属国籍来看，有华人参与的论文共有568篇，占总论文数的29.91%。其中华人为第一作者的论文共有321篇，占华人参与论文数的56.51%，占总论文数的16.90%。

从图五我们可以看到，从论文所属机构来看，谷歌高居榜首，入选论文共计202篇。麻省理工排名第二，共有109篇论文入选。斯坦福大学排名第三，共有106篇论文入选。国内高校清华大学入选论文最多，共有63篇论文入选，排在总榜的第7位；北京大学有37篇论文入选，排在总榜的第20位。

论文选题研究方向及发展趋势

关于文章的领域主题，在7月份，NeurIPS组委会就在官方Medium平台上发布了NeurIPS 2020的投稿状况，当时，文章中称：

NeurIPS 2020的论文主题的分布也有所变化，在今年的入选论文中有关算法方面的论文占比29%，深度学习方面的论文占比19%，应用方面的论文占比18%，强化学习和规划（planning）方面的论文占比9%，纯理论方面的论文占比7%，概率方法方面的论文占比5%，机器学习社会方面（ Social aspects of machine learning）方面的论文占比5%，优化方面的论文占比5%，神经科学和认知科学方面的论文占比3%。与2019年相比，深度学习和应用领域的论文略有下降(均下降了2%)，而机器学习社会方面有所增加（增加了3%）。

通过上述AMiner-NeurIPS2020词云图也可以看出，在NeurIPS 2020收录的论文中，神经网络、深度学习、强化学习，图像学习等成为了机器学习和计算机神经科学的热门主题。
联邦学习
联邦学习在NeurIPS 2020上也异常火热，投稿量高达200篇，收录高达20+篇。这是一个很接地气的方向，覆盖机器学习、CV/NLP/DM、分布式系统、安全/隐私、无线网络、移动通信等交叉学科，并不会随着深度学习热退潮而消退，它的现实需求一直会存在，并且随着5/6G、物联网的逐渐成熟变得更加重要。
图形机器学习
另一个值得注意的点是，在NeurIPS 2020提交的论文中，约有7%的论文在某一部分使用了图形机器学习（Graph Machine Learning），这些论文涵盖的主题非常广泛，从从理论上的机器学习到对特定GNN模型的实际改进。
目前最流行的图神经网络是图卷积神经网络（GCN），这是意料之中的，因为图和卷积都可以编码局部的信息。卷积以寻找输入中邻近部分之间的关系为目标编码一种偏置。而图通过边对输入中关系最密切的部分进行编码。另外，今年关于卷积神经网络的论文有33篇。
凸优化
而在凸优化方面，在NeurIPS 2020上热度仍然不减。具体来看，在今年的 NeurIPS 上，有 29 篇论文是关于这个凸优化的。虽然比NeurIPS 2019的32 篇论文略少，但是仍有一定的体量。
凸优化问题之所以吸引人，是因为它们可以被精确地求解（可以实现 1e-10 的容错率），而且速度很快。它们也不会产生奇怪的或意料之外的输出，而这对于现实世界中的应用是至关重要的。尽管在真实场景中遇到的许多问题是非凸的，但是将它们分解为一系列凸问题可以达到很好的效果。
贝叶斯
NeurIPS2020一共有10 篇论文与贝叶斯方法有关。
深度学习使用的是一种「试错」的方法，我们通过实验看看会得到什么结果，然而贝叶斯原理迫使你事先考虑一个假设（先验）。

与常规的深度学习相比，贝叶斯深度学习有两个主要的优势：非确定性估计以及在小数据集上更好的泛化性能。贝叶斯神经网络是一种自然的集成，它的作用类似于正则化，并且能够防止过拟合。训练具有数百万参数的贝叶斯神经网络仍然需要非常大的计算开销。要想使网络收敛到一个后验上可能需要花费数周的时间，因此诸如变分推断这样的近似方法越来越流行。

接着，我们计算出了从 2019 年到 2020 年这些关键词的百分比变化。例如，如果在2019年，所有被接收的论文中有 1% 包含关键词「X」，而在2020年，这个数字是 2% ，那么这一比例的变化是（2-1） / 1=100% 。在下图中，我将绝对比例变化在 20% 以上的关键词绘制了出来。

即使是在机器人领域之外，强化学习也得到了进一步发展。具有显著正向变化的关键词有：反馈、遗憾值、控制。生成模型依然很流行。同去年一样，元学习仍然吸引着我们的想象力，但是炒作变少了。

与硬件相关的关键词也在增加，这表明有更多考虑到硬件的算法诞生。这是解决「硬件成为机器学习瓶颈」这一问题的方法。

同样，循环神经网络和卷积神经网络依然延续了去年的下降趋势。尽管“贝叶斯”一词的比例下降了，但“非确定性”却上升了。去年，有许多论文使用了贝叶斯原理，但并不是将其运用在深度学习中。
令人遗憾的是，“数据”这一关键词的百分比处于下降趋势。

最后，我们“跨年度”总结一下，从上图1987-2020年和2010-2020年NeurIPS领域趋势可以看出，“神经网络”复兴了，“深度学习”出现了，各种“学习”研究推动了ML领域的发展。

NeurIPS2020即将开始，欢迎各位作者老师和同学加入分享团队，促进学术交流，让知识正真流动起来！
相关链接：https://www.aminer.cn/conf/neurips2020