NeurIPS 2021六篇杰出论文公布,谷歌工程师11年前论文获时间检验奖
来源:量子位
NeurIPS 2021将于下周正式召开。
近日,大会委员会公布了NeurIPS 2021的杰出论文奖,时间测试奖,以及今年新设的数据集和测试基准最佳论文奖。
杰出论文奖
今年有六篇论文被选为杰出论文奖的获得者。委员会之所以选择这些论文,是因为它们具有出色的清晰度、洞察力、创造力和持久影响的潜力。
A Universal Law of Robustness via Isoperimetry
论文地址:
https://openreview.net/pdf?id=z71OSKqTFh7
这篇论文来自微软以及斯坦福大学,关键字为对抗鲁棒性、过参数化和isoperimetry(等周图形学)。
获奖理由:
本文提出了一个理论模型,来解释为什么许多SOTA深度网络模型需要比平滑拟合训练数据还需多得多的参数。
特别地,在训练分布的某些规律性条件下,O(1)-Lipschitz函数在标签噪声scale之下插入训练数据所需的参数数量为nd,其中n是训练示例的数量,d是数据的维度。
这一结果与传统结果形成鲜明对比。传统结果表明一个函数需要n个参数来插入训练数据,而现在则发现,参数d似乎是保证数据平滑插入所必需的。
该理论简单而优雅,和对MNIST分类具有鲁棒泛化能力的模型规模的观察结果也一致。
这项工作还为ImageNet分类开发稳健模型所需的模型大小提供了可测试的预测。
On the Expressivity of Markov Reward
论文地址:
https://openreview.net/forum?id=9DlCh34E1bN
这篇论文来自DeepMind、普林斯顿大学和布朗大学,研究方向为强化学习,通过检查马尔可夫奖励函数可以表达什么样的任务来研究有限环境中马尔可夫奖励函数的表达能力。
获奖理由:
马尔可夫奖励函数是不确定性和强化学习下顺序决策的主要框架。
本文详细、清晰地阐述了马尔可夫奖励何时足以或不足以使系统设计者根据其对行为、特定行为的偏好,或对状态和动作序列的偏好来指定任务。
作者通过简单的说明性示例证明,存在一些无法指定马尔可夫奖励函数来引发所需任务和结果的任务。
幸运的是,他们还表明,可以在多项式时间内确定所需设置是否存在兼容的马尔可夫奖励,如果存在,也存在多项式时间算法来在有限决策过程设置中构建这样的马尔可夫奖励。
这项工作阐明了奖励设计的挑战,并可能开辟未来研究马尔可夫框架何时以及如何足以实现人类所需性能的途径。
Deep Reinforcement Learning at the Edge of the Statistical Precipice
论文地址:
https://openreview.net/forum?id=uqv8-U4lKBe
论文来自谷歌、蒙特利尔大学和麦吉尔大学,研究方向也是强化学习。
获奖理由:
方法的严格比较可以加速有意义的科学进步。本文提出了提高深度强化学习算法比较严谨性的实用方法。
具体而言,新算法的评估应提供分层的引导程序置信区间、跨任务和运行的性能概况以及四分位数均值。
该论文强调,在许多任务和多次运行中报告深度强化学习结果的标准方法,可能使评估新算法和过去方法之间的一致性和提升变得困难,并通过实证示例说明了这一点。
所提出的性能比较方法旨在通过每个任务的少量运行进行计算,这对于许多计算资源有限的研究实验室来说可能是必要的。
MAUVE: Measuring the Gap Between Neural Text and Human Text using Divergence Frontiers
论文地址:
https://openreview.net/forum?id=Tqx7nJp7PR
论文作者来自华盛顿大学、艾伦研究所和斯坦福大学。
获奖理由:
本文介绍了 MAUVE,这是一种比较模型生成文本分布与人类生成文本分布的散度度量。这个想法简单而优雅,它基本上使用了被比较的两个文本的量化嵌入的(soft)KL 散度测量的连续族。
本出提议的MAUVE度量本质上是对连续度量系列的集成,目标是捕获I类错误(生成不切实际的文本)和II类错误(不捕获所有可能的人类文本)。
实验表明,与之前的散度指标相比,MAUVE可以识别模型生成文本的已知模式,并且与人类判断的相关性更好。
这篇论文写得很好,研究问题在开放式文本生成快速发展的背景下很重要,而且结果很明确。
Continuized Accelerations of Deterministic and Stochastic Gradient Descents, and of Gossip Algorithms
论文地址:
https://openreview.net/forum?id=bGfDnD7xo-v
本篇论文来自巴黎文理研究大学、洛桑联邦理工学院、格勒诺布尔-阿尔卑斯大学、MSR-Inria联合中心。
获奖理由:
本文描述了Nesterov加速梯度方法的“连续化”版本,其中两个独立的向量变量在连续时间内共同演化——很像以前使用微分方程来理解加速度的方法——但使用梯度更新,随机时间发生在泊松点过程。
这种新方法导致了一种(随机化)离散时间方法:
(1)与Nesterov方法具有相同的加速收敛性;
(2) 带有利用连续时间参数的清晰透明的分析,这可以说比之前对加速梯度方法的分析更容易理解;
(3) 避免了连续时间过程离散化的额外错误,这与之前使用连续时间过程理解加速方法的几次尝试形成鲜明对比。
Moser Flow:Divergence-based Generative Modeling on Manifolds
论文地址:
https://openreview.net/forum?id=qGvMv3undNJ
本文作者来自魏茨曼科学研究学院、Facebook和加州大学洛杉矶分校。
获奖理由:
本文提出了一种在黎曼流形上训练连续归一化流 (CNF) 生成模型的方法。关键思想是利用 Moser (1965) 的结果,该结果使用具有几何规律性条件的受限常微分方程(ODE)类来表征 CNF的解,并使用散度明确定义目标密度函数。
本文提出的Moser Flow方法使用此解决方案概念,来开发基于参数化目标密度估计器的CNF方法。训练相当于简单地优化密度估计器的散度,回避运行标准反向传播训练所需的ODE求解器。
实验表明,与之前的CNF工作相比,它的训练时间更快,测试性能更出色,并且能够对具有非常数曲率的隐式曲面的密度进行建模。
时间检验奖
从去年开始,NeurIPS时间检验奖(Test of Time Award)选择了更广的年限范围。因此,今年大会委员会选择2010年2011年论文。
在16篇引用量超过500的论文里,委员会选择了这篇论文:
Online Learning for Latent Dirichlet Allocation
论文地址:
https://proceedings.neurips.cc/paper/2010/file/71f6278d140af599e06ad9bf1ba03cb0-Paper.pdf
作者来自普林斯顿大学和法国国家信息与自动化研究所。
第一作者Matthew D. Hoffman发表这篇论文时,曾经在普林斯顿攻读博士学位,现在他是谷歌一名高级研究科学家。
本文介绍了一种基于随机变分梯度的推理过程,用于在非常大的文本语料库上训练潜在狄利克雷分配 (LDA) 模型。在理论方面,它表明训练过程收敛到局部最优,令人惊讶的是,简单的随机梯度更新对应于ELBO目标的随机自然梯度。
在实证方面,作者首次表明 LDA 可以轻松地在数十万个文档的文本语料库上进行训练,使其成为解决“大数据”问题的实用技术。
这个想法在机器学习社区产生了很大的影响,因为它是更广泛模型类别的一般随机梯度变分推理过程的基础。这篇论文之后,就没有充分的理由再使用完整的批次训练程序进行变分推理了。
数据集和基准测试最佳论文奖
今年 NeurIPS 推出了新的数据集和基准测试(Datasets & Benchmarks)赛道,表彰在数据领域的工作。
该领域的2篇最佳论文奖分别是:
Reduced, Reused and Recycled: The Life of a Dataset in Machine Learning Research
论文地址:
https://openreview.net/forum?id=zNQBIBKJRkd
这篇论文作者来自加州大学洛杉矶分校和谷歌。
本文分析了数千篇论文并研究了不同机器学习子社区中数据集使用的演变,以及数据集采用和创建之间的相互作用。
作者发现,在大多数社区中,随着时间的推移,使用不同数据集的人更少了,而且人们使用的数据集基本都来自少数精英机构。
这种变化是有问题的,因为基准变得不那么具有普遍性,这些数据集来源中存在的偏见可能会被放大,并且研究界更难接受新的数据集。
这对整个机器学习社区来说是一个重要的“警钟”,让他们更加批判性地思考哪些数据集用于基准测试,并更加重视创建新的、更多样化的数据集。
ATOM3D: Tasks on Molecules in Three Dimensions
论文地址:
https://openreview.net/forum?id=FkDZLpK1Ml2
这篇文章作者来自于斯坦福大学和芝加哥大学。
本文介绍了一组基准数据集,其中包含小分子和/或生物聚合物的3D表示,用于解决单分子结构预测和生物分子之间的相互作用,以及分子功能和设计与工程任务问题。
这篇文章将3D模型的实现与具有1D或2D表示的SOTA模型进行基准测试,并显示出比低维对应物更好的性能。这项工作提供了有关如何为给定任务选择和设计模型的重要见解。
这项工作不仅提供了基准数据集,还提供了基线模型和开源工具来利用这些数据集和模型,大大降低了机器学习人员进入计算生物学和分子设计的门槛。
原文地址:
https://blog.neurips.cc/2021/11/30/announcing-the-neurips-2021-award-recipients/
推荐阅读
【重磅】斯坦福李飞飞《注意力与Transformer》总结,84页ppt开放下载!
一文总结微软研究院Transformer霸榜模型三部曲!
Swin Transformer为主干,清华等提出MoBY自监督学习方法,代码已开源
加性注意力机制!清华和MSRA提出Fastformer:又快又好的Transformer新变体!
MLP进军下游视觉任务!目标检测与分割领域最新MLP架构研究进展!
周志华教授:如何做研究与写论文?(附完整的PPT全文)
都2021 年了,AI大牛纷纷离职!各家大厂的 AI Lab 现状如何?
常用 Normalization 方法的总结与思考:BN、LN、IN、GN
注意力可以使MLP完全替代CNN吗? 未来有哪些研究方向?
欢迎大家加入DLer-计算机视觉&Transformer群!
大家好,这是计算机视觉&Transformer论文分享群里,群里会第一时间发布最新的Transformer前沿论文解读及交流分享会,主要设计方向有:图像分类、Transformer、目标检测、目标跟踪、点云与语义分割、GAN、超分辨率、视频超分、人脸检测与识别、动作行为与时空运动、模型压缩和量化剪枝、迁移学习、人体姿态估计等内容。
进群请备注:研究方向+学校/公司+昵称(如Transformer+上交+小明)
NeurIPS 2021六篇杰出论文公布,谷歌工程师11年前论文获时间检验奖相关推荐
- NeurIPS'22杰出论文奖:3项研究出自华人团队,AlexNet获时间检验奖
Pine 发自 凹非寺 量子位 | 公众号 QbitAI 就在今天,NeurIPS 2022杰出论文奖公布了!与它一同公布的还有数据集和测试基准(Datasets & Benchmarks)最 ...
- 华人斩获最佳Demo论文,Bengio获时间检验奖,最佳论文突破NLP传统测试方法 | ACL 2020...
萧箫 发自 凹非寺 量子位 报道 | 公众号 QbitAI NLP领域顶会ACL 2020颁奖刚刚结束,今年的最佳论文奖也尘埃落定. 在昨天的议程中,共颁布了最佳论文奖.最佳Demo论文奖.最佳主题论 ...
- GPT-3等三篇论文获NeurIPS 2020 最佳论文奖!华人一作获时间检验奖
作者 | AI科技评论 刚刚,NeurIPS 2020在官网公布了2020年度最佳论文奖和时间检验奖两项大奖! 今年一共有三篇论文共同获得最佳论文奖,其中第二篇获奖论文就是来自OpenAI团队打造的今 ...
- 专访:经历了时间检验的不仅是论文,还有唐杰自己 | SIGKDD 2020时间检验奖
KDD 2020即将在8月23-27日召开.而近日,SIGKDD 2020官方推特也公布了本年度的各种奖项,其中清华大学教授.智源研究院学术副院长唐杰团队获得了ACM SIGKDD 2020时间检验应 ...
- 姚期智施尧耘获FOCS 2021时间检验奖,MIT华人摘最佳学生论文奖
转自:量子位 计算机理论顶会FOCS 2021各项论文奖项已公布. 最佳学生论文奖被MIT华人学霸毛啸收入囊中. 而姚期智院士和达摩院量子实验室负责人施尧耘则凭借2001年发表的论文<Infor ...
- 姚期智施尧耘获FOCS 2021时间检验奖,MIT华人学霸毛啸摘最佳学生论文奖
鱼羊 发自 凹非寺 量子位 报道 | 公众号 QbitAI 计算机理论顶会FOCS 2021各项论文奖项已公布. 最佳学生论文奖被MIT华人学霸毛啸收入囊中. 而姚期智院士和达摩院量子实验室负责人施尧 ...
- CVPR 获奖论文公布,苹果斩获最佳论文!| CVPR 2017
当地时间 7 月 22 号上午,夏威夷会议中心的卡米哈米哈 3 号大厅(Kamehameha III,以 19 世纪夏威夷国王卡米哈米哈三世命名)坐无虚席.CVPR 2017 的获奖论文在此正式揭晓. ...
- 十年前的AlexNet,今天的NeurIPS 2022时间检验奖
目录:十年前的AlexNet,今天的NeurIPS 2022时间检验奖 一.前言 二.时间检验奖 一.前言 作为当前全球最负盛名的 AI 学术会议之一,NeurIPS 是每年学界的重要事件,通常在每年 ...
- 字节跳动AI科学家王崇学生时代论文获“时间检验研究奖”
在"久经时间考验"的AI科研成果评选中,华人科学家再次成为赢家. 8月17日举行的国际数据挖掘与知识发现大会KDD2021上,字节跳动AI科学家王崇以学生时代的一篇论文获得&quo ...
最新文章
- 【Android】Source Insight 基本用法 ( 导入 Android 源码 | 设置字体 | 显示行号 | 搜索功能 | 快捷键设置 )
- vim编辑环境设定[Linux]
- c语言形参的隐含存储类型,C存储类型
- 浅谈.NET技术公司的实习生培养
- 移动架构-数据库分库和全版本升级
- 《Java8实战》笔记(15):面向对象和函数式编程的混合-Java 8和Scala的比较
- 浅谈ORB-SLAM3
- linux 软件部署工具下载,linux配置 yum管理应用软件 、 快速部署Web/FTP
- python基础代码大全-Python网络爬虫实战项目代码大全(长期更新,欢迎补充)
- 使用Zabbix中遇到的问题:snmp监控端口流量偶尔会断图
- uc浏览器邀请码_UC密保手机不能用?冬树教你如何一招申诉成功!
- js href的用法
- Swagger注解传参
- 计算机论文中期考核报告,(硕士学位论文中期考核报告范文.doc
- 奥城大学计算机科学专业,我是学工程专业本科毕业,托福70分,GRE1020分,都很低,我想去美国留学马上走,...
- 在3ds max中,什么是PBR材质?
- 深度学习推荐系统_深度推荐系统
- linux 下对SSD 进行读写测试
- Python编程:实现凯撒密码加密解密
- SpringBoot 提示转换异常:java.lang.ClassCastException: com.*** cannot be cast to java.lang.String
热门文章
- jquerymobile知识点三:弹出层popup
- Android开发者指南(18) —— Web Apps Overview
- 强类型DataSet中的DBNull的处理
- 应该使用c# 预定义类型 还是绝对不要使用预定义类型。
- 前端调用mysql异步_PHP 使用 Swoole – TaskWorker 实现异步操作 Mysql
- KeyedVectors python 从词向量文件中快速生成{词:词向量}
- html怎么查看cad文件,如何直接查看CAD格式的图纸
- 智源重大研究方向“智能信息检索与挖掘”发布会(活动报名)
- WebAssembly能不能取代JavaScript?15张卡通图给你答案!
- CSS Tricks网站创始人作序推荐,这本书助你成为Web开发高手