图片来源于Facebook

译者| 琥珀

出品| AI科技大本营

尽管经历了审稿信息泄露、大会名称更换、 200 多位黑人论文作者拒签的种种风波，但依然抵挡不住今年 NIPS 大会 8400 名技术人的踊跃前来。

本周（12 月 3 日-12 月 8 日），神经信息处理系统大会（NeurIPS 2018）在加拿大蒙特利尔会展中心举办。作为年度最大的机器学习盛会之一，NIPS 最早成立于 1986 年，并于今年改名为 NeurlPS。截止目前，该会议已成功举办 32 届，并成为在数据科学家、研究人员和学者等人工智能社区中备受瞩目的年度聚会。

据了解，

1. NeurIPS 2018 共收到 4856 篇投稿，创历史最高记录，最终录取了 1011 篇论文，论文录取率为 21%。其中 Spotlight 论文 168 篇，Poster 论文 812 篇，Oral 论文 30 篇。

2. 接受的论文主题中排名第一的是算法，其他依次为：深度学习、应用、强化学习与规划、概率方法、理论、优化方法、神经网络与认知科学、数据及其他。

3. 此次投稿的论文中，有 69% 的论文作者表示公布代码，实际上只有 44% 的提供了代码或数据。

4. 此次参会注册人数超过 9000 人。从现场活动值得关注的是，女性在机器学习领域的从业者开始逐渐增多。

5. 今年共计有 7 场主题演讲、9 场 Tutorial Session和 41 场 Workshop，本次会议主题演讲范围覆盖算法、机器学习、强化学习、神经网络等。同样可以看到，这些主题也是目前学术界热衷的研究方向。

当然，最值得一提的是，在大会首日的开幕式环节，4 篇最佳论文奖、1 篇时间检验奖等诸多奖项悉数揭晓。

除了Google AI、微软研究院、多伦多大学向量研究所、INRIA 等我们所熟知的研究机构或院校外，来自华为诺亚方舟实验室（法国）成员 Kevin Scaman 也榜上有名。根据领英上公布的简历，Kevin 于今年 1 月加入华为，此前工作于微软研究院。如果年龄没估计错的话，他今年应该还不过 30 岁，可谓靠才华吃饭的一枚“小鲜肉”。

回归此次大会主题，4 篇最佳论文分别是：

• Neural Ordinary Differential Equations

• Optimal Algorithms for Non-Smooth Distributed Optimization in Networks

• Non-delusional Q-learning and value iteration

• Nearly tight sample complexity bounds for learning mixtures of Gaussians via sample compression schemes

▌Neural Ordinary Differential Equations 

神经常微分方程

作者：Ricky T. Q. Chen, Yulia Rubanova, Jesse Bettencourt, David Duvenaud（四人均来自多伦多大学向量研究所）

值得一提的是，Ricky T. Q. Chen 中文名为陈天琪，恰与 XGBoost 开发者华盛顿大学计算机系博士生陈天奇的英文名重名。

摘要：我们引入了一种新的深度神经网络模型家族。我们并没有规定一个离散的隐藏层序列，而是使用神经网络将隐藏状态的导数参数化。然后使用黑箱微分方程求解器计算网络的输出。这些连续深度模型的内存成本是恒定的，并根据输入调整评估策略和显示地用数值精度换取运算速度。我们构造了连续归一化流，一个可以使用最大似然度的方式训练的生成模型，无需对数据维度进行分割或排序。对于训练，我们展示了如何通过任何 ODE 求解器进行可扩展的反向传播，无需访问其内部操作。这使得可以在较大规模内实现端到端的 ODE 训练。

论文地址：https://arxiv.org/pdf/1806.07366.pdf

▌Nearly tight sample complexity bounds for learning mixtures of Gaussians via sample compression schemes

利用样本压缩方案学习高斯混合的近似紧样本复杂界限

作者：Hassan Ashtiani，Shai Ben-David，Nicholas Harvey，Christopher Liaw，Abbas Mehrabian，Yaniv Plan（来自加拿大麦克马斯特大学、滑铁卢大学、不列颠哥伦比亚大学、麦吉尔大学等）

摘要：我们证明了 样本对于学些中的 K高斯混合模型是充分且必要的，直至整体偏差距离误差ε。这改善了该问题已知的上限和下限。对于轴对准高斯混合，我们证明了 匹配一个已知的下限是足够的。上限是基于样本压缩概念的分布式学习新技术。任何一类允许这种样本压缩概念的方案也可以通过很少的样本来学习。我们的核心结果是证明了高斯混合类具有有效的样本压缩。

论文地址：

https://papers.nips.cc/paper/7601-nearly-tight-sample-complexity-bounds-for-learning-mixtures-of-gaussians-via-sample-compression-schemes.pdf

▌Optimal Algorithms for Non-Smooth Distributed Optimization in Networks

网络中非光滑分布优化的优化算法

作者：Kevin Scaman, Francis Bach, Sébastien Bubeck, Yin Tat Lee, Laurent Massoulié （来自华为诺亚方舟实验室、INRIA、微软研究院、华盛顿大学等）

摘要：在这项研究中，我们利用计算单元网络的非光滑凸函数的分布式优化。我们两个正则性假设下研究这个问题：（1）全局目标函数的Lipschitz连续性，(2)局部单个函数的Lipschitz连续性。在局部正则性假设下，我们提出第一个最优一阶分散算法——多步原对偶算法(MSPD)，并给出了相应的最优收敛速度。这个结果的显著影响是，对于非光滑函数，当误差的主要项在 O(1/t) 中时，通信网络的结构仅影响 O(1/t) 中的二阶项，其中 t 是时间。也就是说，即使在非强凸目标函数的情况下，由于通信资源的限制而导致的误差也会减小。在全局正则性假设下，我们提出了一种基于目标函数局部平滑的分布式随机平滑（DRS）算法，并证明了 DRS 在最优收敛率的 d1/4 乘因子内，其中 d 为底层维数。

论文地址：

https://arxiv.org/pdf/1806.00291.pdf

▌Non-delusional Q-learning and value-iteration

非妄想 Q学习和价值迭代

作者：Tyler Lu，Dale Schuurmans，Craig Boutilier（均来自 Google AI）

摘要：在 Q学习（ Q-learning）和其他形式的动态规划中，我们用函数逼近法确定了误差的根本来源。当近似结构限制了可表达的贪婪策略的类别时，就会产生偏差。由于标准 Q-updates 对可表达的策略类做出了全局不协调的动作选择，因此可能导致不一致甚至冲突的 Q 值估计，从而导致病态行为，例如高估/低估、不稳定甚至分歧。为了解决这个问题，我们引入了策略一致性概念，并定义了一个本地备份流程，通过使用信息集来确保全局一致性。我们证明了使用这种备份的基于模型和无模型的算法可消除妄想（delusional）偏差，从而产生第一种已知算法，可在一般条件下实现最优结果。这些算法只需要多项式的一些信息集（来自潜在指数的支持）。我们建议尝试使用其他启发式方法如 Value-iteration 和 Q 学习减少妄想偏差。

论文地址：

https://papers.nips.cc/paper/8200-non-delusional-q-learning-and-value-iteration

时间检验奖

▌The Tradeoffs of Large Scale Learning

大规模学习的权衡

作者：Léon Bottou，Olivier Bousquet （分别来自 NEC 美国实验室和 Google）

摘要：本文建立了一个理论框架，将近似优化对学习算法的影响考虑在内。分析表明，对于小规模和大规模学习问题的权衡是明显的。小规模学习问题受到通常的近似估计权衡的影响；大规模学习问题受到底层优化算法的非平凡方式的计算复杂性，得到了不同程度的权衡影响。

论文地址：

https://papers.nips.cc/paper/3323-the-tradeoffs-of-large-scale-learning.pdf

附上此次大会链接：

https://nips.cc/

及直播链接：

https://www.facebook.com/nipsfoundation/

本文为AI科技大本营原创文章，转载请联系微信1092722531。

NEW

菜单升级啦，一键直通CSDN会员服务。你关心的开发问题，这里都有答案！

搜索：开发疑难/资源一键查找，搜遍CSDN全站

会员购买：专属VIP购买，免积分下载/免广告/获免费课程

下载APP：安装CSDN APP，CSDN资源随身带

个人中心：掌上CSDN个人助手，专属您的个人空间

◆

精选推荐

◆

由CSDN学院重磅打造的「人工智能工程师实战班」来了！约用百天时间帮助你成为高端人工智能开发工程师的系统课程，更有知名企业推荐就业机会，帮你百天挑战薪资翻倍！扫码沟通一对一职场规划！

推荐阅读

孟岩对话元道：通证经济将在两个方向上闯出新路

AWS Lambda重大更新，跨越编程语言差异之门？

程序员婚恋现状大调查：有人三十岁没谈过恋爱，有人丁克万岁

C++20 要来了！

太嚣张了，会Python的人！