NeurIPS2019获奖论文!7篇论文斩获!微软华裔研究员斩获经典论文
点上方蓝字计算机视觉联盟获取更多干货
在右上方 ··· 设为星标 ★,与你不见不散
编辑:Sophia
计算机视觉联盟 报道 | 公众号 CVLianMeng
转载于 :https://medium.com/@NeurIPSConf/neurips-2019-paper-awards-807e41d0c1e , 机器之心,大数据文摘,专知,计算机视觉联盟
【人工智能资源(书籍+视频)全网收集,附下载!】
推荐文章【点击下面可直接跳转】:
如何快速下载不同网站文档!
AI博士笔记系列推荐:
博士笔记 | 周志华《机器学习》手推笔记“神经网络”
人工智能顶会NeurlPS 2019周日一早在温哥华拉开序幕,今天,大会公布了包括杰出论文奖、杰出新方向论文奖等五大类奖项。
NeurIPS,全称神经信息处理系统大会(Conference and Workshop on Neural Information Processing Systems),自1987年诞生至今已有32年的历史,一直以来备受学术界和产业界的高度关注。NeurIPS为人工智能领域的A类会议,同时也是人工智能领域最富盛名的年度会议之一。
在论文方面,今年大会投稿数量也创下了历史新高,共提交6743 篇有效论文,接收 1428 篇,接受率为 21.17%。
今年的参会人数也再创新高,参会总人数已经突破了13000人,相比去年参会的9000人增加了近一半。由于报名人数过多。
评审委员会一致通过的评审标准包括,鼓励以下9种研究特质:
持久的潜力ーー专注于主要工作,而不是边边角角。 在未来的几十年里,人们可能仍然会关心这个问题;
洞察力——提供新的(最好是深入的)理解;不仅仅是为了模型表现出几个百分点的改进;
创造力——以创造性的新方式看待问题,给出一个真正让读者感到惊讶的结果;
革命性ーー将从根本上改变人们未来的思维方式;
严谨性ーー无懈可击的严谨和考虑;
优雅感ーー美丽、干净、光滑、优雅;
现实性ーー不过分强调其重要性;
科学性——在实际上是可证伪的;
可重复性ーー结果是可重现的;代码是可用的,并且可以在各种机器上使用;数据集是可用的;证明细节是完整的。
组委会还公布了一些他们不鼓励的3种论文特质:
低效ーー远离那些仅仅因为资源浪费而脱颖而出的工作(主要是因为浪费了大量资源而获得了较高的排名)
趋附大势——因为一个想法很时尚所以采用某种方法,但可以通过其他方法以不同的更有效的方式获得。
过于复杂ーー论文有非必要的复杂性。
此外,组委会今年还新增加了一个杰出新方向论文奖,以突出在为未来的研究设置一个新的途径方面出色的工作。
一起来看看5大奖项的获奖论文。
杰出论文奖(Outstanding Paper Award)
获奖论文:
Distribution-Independent PAC Learning of Halfspaces with Massart Noise
论文链接:
https://papers.nips.cc/paper/8722-distribution-independent-pac-learning-of-halfspaces-with-massart-noise.pdf
论文作者:Ilias Diakonikolas、Themis Gouleakis、Christos Tzamos
机构:威斯康辛大学麦迪逊分校、马普所
摘要:本文作者研究了分布独立的半空间(half-space)下的 PAC 学习问题(在 Massart 噪声下)。具体而言,给定一组带标签样本(x, y),采样于 R^d+1 维的分布 D,如此以来,未带标签点 x 上的边缘分布是任意的,并且标签 y 通过一个未知半空间生成,而这个未知半空间被 Massart 噪声破坏,其中噪声率η<1/2。现在我们的目的是找出假设 h,它能够最小化误分类误差(misclassification error)。
对于这个问题,作者提出了误分类误差为η+ε的 poly (d, 1/ε) 时间算法。此外,他们还提供了证据证明其算法的误差保证(error guarantee)在计算上可能很难实现。作者表示,在他们的研究之前,即使是针对析取类(class of disjunction)而言,在这个模型中也没有出现高效的弱(独立分布)学习器。这种针对半空间(或甚至于析取而言)的算法在各项研究中一直是悬而未决的问题,从 Solan(1988)、Cohen(1997)到最近的 Avrim Blum 的 FOCS 2003 教程都强调了这一问题。
评语:这篇论文研究了线性阈方程(linear threshold function)在二分类的,有着未知的、有边界标签噪声训练数据的情况。它解决了一个非常基础且长期开放的问题,并提出了一个高效的算法用于学习。这是机器学习核心领域的长期开放的问题,而这篇论文做出了巨大的贡献。其贡献在于:在 Massart 噪声下高效地学习半空间(half-space)。举一个例子:在 1%Massart 噪声下,弱学习析取(误差率为 49%)也是开放的。该论文展示了如何高效地实现与 Massart 噪声和 epsilon(并如预期那样及时地执行 poly(1/epsilon))相当的超额风险。该算法非常复杂,结果在技术上也难以确定。最终的目的是能够高效地获得与 epsilon(及时执行 poly(1/epsilon))相当的超额风险。
杰出新方向论文奖(Outstanding New Directions Paper Award)
获奖论文:
Uniform convergence may be unable to explain generalization in deep learning
论文链接:
https://papers.nips.cc/paper/9336-uniform-convergence-may-be-unable-to-explain-generalization-in-deep-learning.pdf
论文作者:Vaishnavh Nagarajan、J. Zico Kolter
机构:卡耐基梅隆大学、博世人工智能中心
评语:这篇论文从根本上呈现了一些负面结果,表明许多现有的(基于 norm 的)深度学习算法性能边界都没有达到他们所宣称的结果。作者进一步说明,当那些研究者继续学习双边一致收敛机制时,他们无法达到自己宣称的结果。虽然该论文没有解决(或假装解决)深度神经网络中的泛化问题,但这是一个起点,表明社区开始以一种新的视角看待深度学习。
杰出论文荣誉提名奖(Honorable Mention Outstanding Paper Award)
获奖论文:
Nonparametric Density Estimation & Convergence Rates for GANs under Besov IPM Losses
论文链接:
https://papers.nips.cc/paper/9109-nonparametric-density-estimation-convergence-rates-for-gans-under-besov-ipm-losses
论文作者:AnanyaUppal、 ShashankSingh、BarnabásPóczos
机构:卡内基梅隆大学
评语:该论文以严谨的理论论证,说明了 GAN 在概率密度估计要比线性方法更有优势(就收敛速度而言)。利用之前关于小波收缩(wavelet shrinkage)的研究结果,该论文提供了关于 GAN 表征能力的新见解。具体而言,研究者在拥有大量类别的损失(称之为积分概率度量)和大型函数类别(Besov 空间)的环境下,为非参数化概率密度估计推导了极小极大收敛率。
评审者认为这篇论文对于非参数化估计和 GAN 的研究工作有非常深远的影响。
获奖论文:
Fast and Accurate Least-Mean-Squares Solvers
论文链接:
https://papers.nips.cc/paper/9040-fast-and-accurate-least-mean-squares-solvers
论文作者:AlaaMaalouf、IbrahimJubran、DanFeldman
机构:海法大学计算机科学系机器人与大数据实验室
评语:从线性、Lasso 回归到奇异值分解和弹性网络,最小均方求解器(Least Mean-Square solver)在许多机器学习算法种处于核心地位。这篇论文展示了如何降低最小均方求解器的计算复杂度一到两个数量级,而且这种复杂度的降低不会带来精度的损失,且能提升数值的稳定性。
该方法依赖于 Caratheodory 定理,其表明一个核心集合(d2 + 1 的点集合,维度为 d)足够表征凸集中所有 n 个点。该论文的新颖之处在于它提出了分治算法(divide-and-conquer),从而通过可接受的复杂度(O(nd + d5 log n),其中 d << n)抽取核心集合(coreset)。
评审者强调了该方法的重要性,它作为实践方法能快速实现并提升现有算法的性能,同时它也可以扩展到其它算法,因为该方法的递归分块原则具有很强的泛化性。
杰出新方向论文荣誉提名奖(Honorable Mention Outstanding New Directions Paper Award)
获奖论文:
Putting An End to End-to-End: Gradient-Isolated Learning of Representations
论文地址:
https://papers.nips.cc/paper/8568-putting-an-end-to-end-to-end-gradient-isolated-learning-of-representations
论文作者:Sindy Löwe、Peter O'Connor、Bastiaan Veeling
机构:阿姆斯特丹大学
评语:本文依据 Oord 等人提出的无监督标准,重新探讨了深度网络的分层构建,特别是当前输入表征与时空输入表征之间的交互信息。这种感知网络中的自组织也许在算法(避开端到端的优化,因其巨大的内存占用和计算问题)和认知(借「慢功能」的特征转向一种带有生物学合理性的学习过程)方面提供了新的启发。
获奖论文:
Scene Representation Networks: Continuous 3D-Structure-Aware Neural Scene Representations
论文链接:
https://papers.nips.cc/paper/8396-scene-representation-networks-continuous-3d-structure-aware-neural-scene-representations
论文作者:Vincent Sitzmann 、Michael Zollhöfer、Gordon Wetzstein
机构:斯坦福大学
评语:该论文将 CV 中的两种主要方法——多视图几何方法和深度表征方法完美地结合在一起。具体而言,本文有三大贡献:1)基于每个体素的神经渲染器,实现了场景的 3D 感知无分辨率渲染;2)一种可微的 ray-marching 算法,解决了沿摄像机投射光线寻找曲面交点的难题;3)一种潜在的场景表征方法,利用自动编码器和超网络对场景表征网络的参数进行回归。
经典论文奖(Test of Time Award)
论文名称:
Dual Averaging Method for Regularized Stochastic Learning and Online Optimization
论文链接:
https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/xiao10JMLR.pdf
论文作者:Lin Xiao,微软研究院的高级首席研究员,曾就读于北京航空航天大学和斯坦福大学。他目前的研究方向包括:大规模优化的理论和算法、机器学习和在线算法、并行和分布式计算。
本文认为正规化随机学习和在线优化问题,目标函数是两个凸的和术语:一个是损失函数的学习任务;另一个是一个简单的正则化项。研究中开发了Nesterov的双重平均方法的扩展,可以利用在线设置的正则化结构。在这些方法的每次迭代中,通过解决一个简单的最小化问题来调整学习变量,该问题涉及到损失函数过去所有次梯度的运行平均值和整个正则化项,而不仅仅是其次梯度。对于ℓ1的正则化,该方法能够有效的获得稀疏效果。研究还证明这些方法达到了随机学习标准的最优收敛速度。对于损失函数具有Lipschitz连续梯度的随机学习问题,研究者提出了对偶平均法的加速版。
该论文提出了一种全新在线算法——正则化双重平均算法(RDA),研究实验证明,RDA 对于ℓ1 正则化的稀疏在线学习非常有效。
经典论文奖的授予原则为:具有重要贡献、持久影响和广泛吸引力。官方设置了专门的委员会负责筛选对社会产生重大且持久影响的论文。Amir Globerson, Antoine Bordes, Francis Bach和Iain Murray承担参与到评选工作中。
委员会从18篇被接受的论文开始进行评选工作——到2009年NeurIPS,这些论文自发表以来被引用次数最多。然后,他们把搜索的重点放在那些已经产生了持续影响的论文上,即那些在最近的论文仍然被引用的论文。委员会还希望能够确定对该领域的准确贡献,使选定的论文脱颖而出;并确保该论文写得足够好,使当今社会的大多数人都能阅读。
END
声明:本文来源于网络
如有侵权,联系删除
联盟学术交流群
扫码添加联盟小编,可与相关学者研究人员共同交流学习:目前开设有人工智能、机器学习、计算机视觉、自动驾驶(含SLAM)、Python、求职面经、综合交流群扫描添加CV联盟微信拉你进群,备注:CV联盟
最新热文荐读
GitHub | 计算机视觉最全资料集锦
Github | 标星1W+清华大学计算机系课程攻略!
Github | 吴恩达新书《Machine Learning Yearning》
收藏 | 2020年AI、CV、NLP顶会最全时间表!
收藏 | 博士大佬总结的Pycharm 常用快捷键思维导图!
收藏 | 深度学习专项课程精炼图笔记!
笔记 | 手把手教你使用PyTorch从零实现YOLOv3
笔记 | 如何深入理解计算机视觉?(附思维导图)
笔记 | 深度学习综述思维导图(可下载)
笔记 | 深度神经网络综述思维导图(可下载)
点个在看支持一下吧
NeurIPS2019获奖论文!7篇论文斩获!微软华裔研究员斩获经典论文相关推荐
- NeurIPS 2019公布获奖论文!新增杰出新方向奖项,微软华裔研究员斩获经典论文...
来源:大数据文摘 备受瞩目的NeurlPS 2019周日一早在温哥华拉开序幕,今天,组委会通过一篇博客公布了包括杰出论文奖.杰出新方向论文奖等五大类奖项. NeurIPS,全称神经信息处理系统大会(C ...
- NeurIPS 2019最佳论文出炉,今年增设“新方向奖”,微软华人学者获经典论文奖...
晓查 发自 凹非寺 量子位 报道 | 公众号 QbitAI 第32届神经信息处理系统大会(NeurIPS 2019)今天在加拿大温哥华正式召开. 据大会官方介绍,今年的参会人数达到了空前的1.3万人 ...
- 论文浅尝 | 中科院百度微软等学者最新综述论文40+最新方法阐述知识图谱提升推荐系统准确性与可解释性...
本文转载自公众号:先知. [导读]近来,知识图谱用于推荐系统是关注的焦点,能够提升推荐系统的准确性与可解释性.如何将知识图谱融入到推荐系统呢? 最近中科院计算所百度微软等学者最新综述论文<A ...
- 【每周CV论文推荐】StyleGAN人脸属性编辑有哪些经典论文需要阅读
欢迎来到<每周CV论文推荐>.在这个专栏里,还是本着有三AI一贯的原则,专注于让大家能够系统性完成学习,所以我们推荐的文章也必定是同一主题的. 当前人脸图像领域的研究和落地都发展得非常迅速 ...
- NeurIPS 2019 获奖论文出炉,微软华人学者Lin Xiao 获经典论文奖
导语:历史之最,参会1.3万人~ 作为最久负盛名的机器学习顶会之一,今年 NeurIPS 2019 在召开之前就消息不断:在今年论文审稿期间,NeurIPS 2019 程序委员会主席专门发布声明称,1 ...
- 华为云举办AI经典论文复现活动,打造领先AI开发者学习社区
摘要:百余篇经典论文算法上线华为云AI Gallery,学AI就用ModelArts 2020年8月28日,华为云AI院长峰会在杭州千岛湖举行,来自中国科学院.中国工程院的多位院士,以及清华大学.北京 ...
- 【每周CV论文推荐】初学基于GAN的三维图像生成有哪些经典论文需要阅读
欢迎来到<每周CV论文推荐>.在这个专栏里,还是本着有三AI一贯的原则,专注于让大家能够系统性完成学习,所以我们推荐的文章也必定是同一主题的. 当前二维图像生成领域的发展已经非常成熟,但是 ...
- 跨专业保研浙大计算机,保研经验:排名第一,论文两篇,七项专利,两个国家级大创,夏令营斩获多个offer,成功上岸985!...
原标题:保研经验:排名第一,论文两篇,七项专利,两个国家级大创,夏令营斩获多个offer,成功上岸985! 个人基本情况 本校:武汉某211 专业:产品设计(展示方向) 成绩:gpa:1/23:综合排 ...
- 顶会论文9篇,又斩获百度奖学金!哈工大NLP“新生代”正崭露头角
参加 2019 Python开发者日,请扫码咨询 ↑↑↑ 作者 | 琥珀 出品 | AI科技大本营(ID:rgznai100) "Static OnePlus"? 首次看到这个网名 ...
最新文章
- 三维重建【二】————3D reconstruction 较为实用的算法资料整理(传统方式)
- 菜鸟学exchange之一:exchange邮件系统的简单安装和部署
- 多级嵌套json格式
- 驱动程序实例(四):按键驱动程序(platform + input子系统 + 外部中断方式)
- IdentityServer4 指定角色授权(Authorize(Roles=amp;quot;adminamp;quot;))
- c++中求前n项和(这代码不得不让我佩服)
- Java微服务篇4——Elastic search
- 引用js实现checkbox批量选中
- 下班老忘记打卡,在电脑上做一个定时下班打卡的弹窗
- leetcode-231-Power of Two
- How To Replace The Firefox Icon With Your Logo
- 京东全链路压测军演系统(ForceBot)架构解密
- 解决谷歌浏览器安装插件失败:无法从该网站添加应用、扩展程序和用户脚本
- This request has been blocked; the content must be served over HTTPS
- 友情链接模块phpcms
- ImportError: DLL load failed:找不到指定的模块 解决方案
- linux主机挂软件,推荐Linux服务器面板宝塔软件
- 一道面试题:StringBuffer a=new StringBuffer (A); StringBuffer b=new StringBuffer
- c语言课程设计 日历显示,c语言课程设计_电子日历.doc
- linux 的常用命令(持续更新.....)
热门文章
- delphi webbrowser 对象不支持_建模初学者,那些你可能还不知道的10个ZBrush小技巧!【值得收藏】...
- java复制文件夹_java实现拷贝一个文件夹,里面存在目录和文件,使用文件创建和文件流...
- java8实战怎么样_Java8中你可能不知道的一些地方之Stream实战
- python界面开发 web_使用 web 技术构建 python 的 GUI 界面
- 【Linux】kali2019安装docker
- android onclick执行顺序,浅谈onTouch先执行,还是onClick执行(详解)
- 计算机实测声波和拍实验报告,course:platform
- tiny core linux ftp,tinycore 的基本搭建,开机时间只需要1-3秒
- 甘特图 知乎_APS生产排程软件基础知识-计划甘特图
- VS搭建lua开发环境和LuaBridge注册c++类(cocos2dx项目)(一)