ICML2022奖项公布:15篇杰出论文,复旦、厦大、上交大研究入选
机器之心报道
编辑:陈萍、小舟
ICML2022 共评选出 15 篇杰出论文和一篇时间检验奖论文。
近日,ICML 2022 大会在美国马里兰州巴尔的摩市以线上线下结合的方式举办。这也是新冠疫情以来大会首次恢复线下形式举办。
目前,大会已经公布了全部奖项,包括 15 篇杰出论文奖和 1 项时间检验奖。其中,复旦大学、上海交通大学、厦门大学、莱斯大学胡侠团队等多个华人团队的研究获得杰出论文奖。ICML 2012 关于「投毒攻击」的论文《Poisoning Attacks against Support Vector Machines》获得了本次大会的时间检验奖。
杰出论文奖
论文 1:Monarch: Expressive Structured Matrices for Efficient and Accurate Training
机构:斯坦福大学、纽约州立大学布法罗分校、密歇根大学
作者:Tri Dao、Beidi Chen、Nimit Sohoni、 Arjun Desai、Michael Poli、Jessica Grogan、Alexander Liu、Aniruddh Rao、Atri Rudra、Christopher Re
论文地址:https://arxiv.org/abs/2204.00595
论文简介:该研究提出了一类硬件高效的矩阵 Monarch,具有解析最优解。实验表明,Monarch 可以加速 ViT 和 GPT-2 在 ImageNet 分类任务上的训练。在密集到稀疏微调中,作为概念验证,我们的 Monarch 近似算法以相当的精度将 GLUE 上的 BERT 微调速度提高了 1.7 倍。
论文 2:Solving Stackelberg Prediction Game with Least Squares Loss via Spherically Constrained Least Squares Reformulation
机构:复旦大学、厦门大学、卡内基梅隆大学
作者:Jiali Wang、Wen Huang、Rujun Jiang、Xudong Li、Alex L. Wang
论文地址:https://arxiv.org/abs/2206.02991
论文简介:Stackelberg 预测博弈 (SPG) 是表征学习者和攻击者之间策略交互中很重要的一个问题。该研究探索了 SPG-LS 的一种新型表述,将 SPG-LS 重写为球面约束最小二乘 (SCLS) 问题。数值结果合成和真实世界的数据集表明,借助 SCLS 方法,SPG-LS 可以比当前 SOTA 解决方案快几个数量级。
论文 3:G-Mixup: Graph Data Augmentation for Graph Classification
机构:莱斯大学胡侠团队
作者:韩霄天、Zhimeng Jiang 、Ninghao Liu、 胡侠(Xia Hu)
论文地址:https://arxiv.org/pdf/2202.07179.pdf
论文简介:该研究提出了一种名为 G-Mixup 的方法,通过插入不同类别图的生成器(即 graphon)来增强图分类。具体来说,该研究首先使用同一类中的图来估计一个 graphon,然后在欧几里得空间中插值不同类别的 graphon 以获得混合 graphon,合成图基于混合 graphon 生成。大量实验表明,G-Mixup 显著提高了 GNN 的泛化性和稳健性。
论文 4:Stable Conformal Prediction Sets
机构:佐治亚理工学院
作者:Eugene Ndiaye
论文地址:https://proceedings.mlr.press/v162/ndiaye22a/ndiaye22a.pdf
论文简介:该研究将共型预测(CP)方法与经典的算法稳定性界限结合起来,推导出可使用单个模型拟合计算的预测集合。该研究进行了一些数值实验来说明当样本量足够大时,在合成数据集和真实数据集上估计的紧密性。
论文 5:Learning inverse folding from millions of predicted structures
机构:UC 伯克利、纽约大学
作者:Chloe Hsu 、 Robert Verkuil 、 Jason Liu 、 Zeming Lin、 Brian Hie、Tom Sercu 、Adam Lerer 、Alexander Rives
论文地址:https://www.biorxiv.org/content/10.1101/2022.04.10.487779v1.full.pdf
论文简介:本文考虑从骨架原子坐标来预测蛋白质序列问题。该研究使用 AlphaFold2 预测了 12M 蛋白质序列结构,这样做将训练数据增加了近三个数量级。训练中增加了额外数据,具有不变几何输入处理层的序列到序列 transformer 实现了 51% 的本地序列恢复,掩埋残基的恢复率为 72%,总体上比现有方法提高了近 10 个百分点。
论文 6:Causal Conceptions of Fairness and their Consequences
机构:斯坦福大学、纽约大学、哈佛大学
作者:Hamed Nilforoshan 、 Johann Gaebler 、 Ravi Shroff 、 Sharad Goel
论文地址:https://arxiv.org/pdf/2207.05302.pdf
论文简介:本文首先将算法公平的因果定义归类为两大类,然后通过分析和经验证明,这两个定义在度量理论意义上——导致强烈的帕累托主导的决策策略,这意味着每个利益相关者都有一种可替代的、不受约束的策略。本文结果强调了在因果公平中常见的数学概念形式限制和潜在的不利后果。
论文 7:Do Differentiable Simulators Give Better Policy Gradients?
机构:MIT
作者:H.J. Terry Suh 、 Max Simchowitz 、 Kaiqing Zhang 、 Russ Tedrake
论文地址:https://proceedings.mlr.press/v162/suh22b/suh22b.pdf
论文简介:该研究表明某些物理系统的特征(例如刚度或不连续性)可能会损害一阶估计器的功效,并从偏差和方差的角度分析了这种现象。然后该研究提出了一个 α 阶梯度估计器(α ∈ [0, 1]),它正确地利用精确的梯度实现了一阶估计效率与零阶方法稳健性的双重优势。
论文 8:Learning Mixtures of Linear Dynamical Systems
机构:普林斯顿大学
作者:Yanxi Chen、H. Vincent Poor
论文地址:https://proceedings.mlr.press/v162/chen22t/chen22t.pdf
论文简介:本文研究了从未标记的短样本轨迹中学习多个线性动力系统 (LDS) 的混合问题,此外,该研究还开发了一种两阶段元算法,该算法可以有效地恢复每个真值 LDS 模型,直至误差 ,其中 T 是总样本量。通过数值实验进行验证,证实了所提出算法的有效性。
论文 9:Active fairness auditing
机构:CMU、亚利桑那大学
作者:Tom Yan 、 Chicheng Zhang
论文地址:https://arxiv.org/pdf/2206.08450.pdf
论文简介:该研究启动了基于查询的审计(auditing)算法的研究,该算法可以以高效查询的方式估计 ML 模型的人口学平等性(Demographic Parity)。该研究提出了一种最佳确定性算法,以及实用随机化、oracle-efficient 算法。此外,他们还研究了随机主动公平性估计算法的最优查询复杂度。
论文 10:Understanding Dataset Difficulty with V-Usable Information
机构:斯坦福大学、艾伦人工智能研究院、华盛顿大学
作者:Kawin Ethayarajh 、 Yejin Choi 、 Swabha Swayamdipta
论文简介:https://arxiv.org/pdf/2110.08420v2.pdf
论文简介:该研究构建了数据集难度(dataset difficulty),并进一步引入 PVI(pointwise V-information)来测量单个实例的难度。此外,本文框架允许通过输入转换来解释不同输入属性,并用它来发现 NLP 基准中的注释伪影(artefacts)。
论文 11:Adversarially Trained Actor Critic for Offline Reinforcement Learning
机构:微软研究院、伊利诺伊大学厄巴纳 - 香槟分校、谷歌研究院
作者:Ching-An Cheng 、 Tengyang Xie 、 Nan Jiang 、 Alekh Agarwal
论文地址:https://arxiv.org/pdf/2202.02446.pdf
论文简介:该研究提出了对抗训练的 Actor-Critic 算法(ATAC)——一种在数据覆盖不足的情况下用于离线强化学习(RL)的无模型算法。该框架既为函数近似提供了理论保证,又为可扩展到复杂环境和大型数据集的深度 RL 实现提供了保障。在 D4RL 基准测试中,ATAC 在一系列连续控制任务上始终优于 SOTA 离线 RL 算法。
论文 12:Privacy for Free: How does Dataset Condensation Help Privacy?
机构:上海交通大学、爱丁堡大学、Sony AI
作者:Tian Dong 、 Bo Zhao 、 Lingjuan Lyu
论文地址:https://arxiv.org/pdf/2206.00240.pdf
论文简介:该研究首次发现旨在提高训练效率的数据集压缩(DC)方法也是替代传统数据生成器进行私有数据生成的良好解决方案。为了证明 DC 的隐私优势,该研究在 DC 和差分隐私之间建立了联系。这项工作是数据高效和隐私保护机器学习的一个里程碑。
论文 13:Bayesian Model Selection, the Marginal Likelihood, and Generalization
机构:纽约大学
作者:Sanae Lotfi 、Pavel Izmailov 、Gregory Benton、Micah Goldblum 、Andrew Wilson
论文地址:https://arxiv.org/pdf/2202.11678.pdf
论文简介:本文首先回顾了学习约束和假设检验的边际似然所具有的特性。之后论文强调了在使用边际似然作为泛化代理(proxy)的概念和实际问题。论文展示了边际似然如何与泛化负相关,还介绍了其与神经架构搜索的含义,可能导致超参数学习中欠拟合和过拟合问题。
论文 14:The Importance of Non-Markovianity in Maximum State Entropy Exploration
机构:米兰理工大学、苏黎世联邦理工学院
作者:Mirco Mutti、Riccardo De Santi、Marcello Restelli
论文地址:https://openreview.net/pdf?id=VEGkEHqEsiX
论文简介:该研究表明马尔可夫策略类足以满足任何无限样本最大状态熵(MSE)目标,并提出一种新的有限样本 MSE 目标和相应的表述。
论文 15:Minimum Cost Intervention Design for Causal Effect Identification
机构:洛桑联邦理工学院
作者:Sina Akbari、Jalal Etesami 、 Negar Kiyavash
论文地址:https://arxiv.org/pdf/2205.02232.pdf
论文简介:本文考虑了以最低成本设计干预措施集合的问题,以确定期望的效果。本文首先证明了这个问题是 NP 困难的,随后提出了一个算法,既可以找到最优解,也可以找到它的 logarithmic-factor 近似。此外,本文还提出了几个多项式时间启发式算法来解决计算复杂性。
时间检验奖
获得 ICML 2022 时间检验奖的是图宾根大学、卡利亚里大学的研究《Poisoning Attacks against Support Vector Machines》。
论文链接:https://arxiv.org/pdf/1206.6389.pdf
论文摘要:在这篇论文中,作者研究了一类针对支持向量机 (SVM) 的投毒攻击(poisoning attack)。这样的攻击注入了特别精心制作的训练数据,增加了 SVM 的测试错误。这些攻击的动机的核心是,大多数学习算法都假定它们的训练数据来自自然的或行为良好的分布。但是,这种假设通常不适用于安全敏感设置。正如本文所证明的,智能的对手可以在一定程度上预测支持向量机的决策函数的变化,基于的是恶意输入和使用这种能力来构造恶意数据。该攻击采用梯度上升策略,根据支持向量机最优解的性质计算梯度。该方法可以进行内核化,即使对于非线性内核也可以在输入空间构造攻击。实验结果表明,该梯度提升算法可靠地识别出非凸验证误差曲面的良好局部极大值,这显著地增加了分类器的测试误差。
作者之一 Battista Biggio 现在是意大利卡利亚里大学助理教授。自从 2007 年以来,他一直在同一所大学的电气与电子工程系工作。他曾分别于 2006 年和 2010 年在意大利卡利亚里大学以优异的成绩获得电子工程硕士学位和电子工程和计算机科学博士学位。
研究的另外两位作者分别是当时在图宾根大学的 Blaine Nelson 和 Pavel Laskov。
Blaine Nelson 于 2003 年获得南卡罗来纳大学计算机科学学士学位,并分别于 2005 年和 2010 年获得加州大学伯克利分校的硕士学位和博士学位,随后在图宾根大学和波茨坦大学进行了博士后研究。完成博士后工作后,Blaine 在 Google 工作了六年,在 2021 年 4 月加入了初创公司 Robust Intelligence 。
Pavel Laskov 现为列支敦士登大学教授,2014 年到 2018 年,他曾是华为欧洲研究中心(慕尼黑)首席工程师。
参考链接:https://icml.cc/virtual/2022/awards_detail
——The End——
分享
收藏
点赞
在看
ICML2022奖项公布:15篇杰出论文,复旦、厦大、上交大研究入选相关推荐
- 重磅公布!ICML2022奖项:15篇杰出论文,复旦、厦大、上交大研究入选
仅作学术分享,不代表本公众号立场,侵权联系删除 转载于:机器之心 近日,ICML 2022 大会在美国马里兰州巴尔的摩市以线上线下结合的方式举办.这也是新冠疫情以来大会首次恢复线下形式举办. ...
- 【ACL 2017 七大看点】北大、清华、中科院、复旦5 篇杰出论文
国际计算语言学协会 (ACL,The Association for Computational Linguistics),是世界上影响力最大.最具活力的国际学术组织之一,其会员遍布世界各地.ACL ...
- NeurIPS 2021六篇杰出论文公布,谷歌工程师11年前论文获时间检验奖
来源:量子位 NeurIPS 2021将于下周正式召开. 近日,大会委员会公布了NeurIPS 2021的杰出论文奖,时间测试奖,以及今年新设的数据集和测试基准最佳论文奖. 杰出论文奖 今年有六篇论文 ...
- 投稿2877篇,EMNLP 2019公布4篇最佳论文
整理 | AI科技大本营(ID:rgznai100) 近日,自然语言处理领域的顶级会议之一EMNLP 2019公布了年度最佳论文. EMNLP是由国际语言学会(ACL)下属的SIGDAT小组主办的自然 ...
- 第31届NIPS正式开幕,3240篇提交论文创历史新高,公布3篇最佳论文
美国时间12月4日,第31届NIPS在美国加州长滩的会展中心正式开幕! 之所以NIPS广受关注,是因为它在人工智能和机器学习领域具有重要地位,来自全世界的计算机科学家及资深业内人士将在接下来的五天,共 ...
- 华人一作占半数,陶大程等人上榜,CVPR公布32篇最佳论文候选
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 国际计算机视觉与模式识别会议(Conference on Computer Vision and Pa ...
- 一文跟进Prompt进展!综述+15篇最新论文逐一梳理
文 | ZenMoore 编 | 小轶 自从 Dr.Pengfei Liu 的那篇 prompt 综述发表开始,prompt 逐渐红得发紫.近期清华.谷歌等单位你方唱罢我登场,涌现了好多好多 prom ...
- 本周值得读的15篇AI论文,还有源码搭配服用
在碎片化阅读充斥眼球的时代,越来越少的人会去关注每篇论文背后的探索和思考. 在这个栏目里,你会快速 get 每篇精选论文的亮点和痛点,时刻紧跟 AI 前沿成果. 点击本文底部的「阅读原文」即刻加入社区 ...
- 30 篇亮点论文、5 大主题带你一览 ECCV 2020研究趋势
编译 | 陈彩娴.Barack 编辑 | 陈彩娴 转自 | AI科技评论 ECCV 2020已圆满落幕.会议收到了1360篇论文投稿,其中包含104篇Oral论文.160篇Spotlight论文和10 ...
最新文章
- Paper8:Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition
- unicode utf8 转换 php,php实现utf-8转unicode函数分享
- linux rpc语言,Linux下RPC的hello world
- 学习node js 之微信公众帐号接口开发 准备工作之三
- update语句的返回值是什么
- python标准输入输出用来干什么_python 以标准输出(sys.stdout)为例,看python的标准输入、标准错误输出...
- ASP.NET Web下基于Forms的验证
- 软考网络规划设计师基础知识考察要点
- zmq是基于tcp实现的吗_zmq消息传输基本功能的实现、传输模式
- winform 的exe为什么移动之后不能使用_C++MyDock配置要求、所需运行库、常见问题 初次使用必看...
- 排序算法之——插入排序分析
- CRM WEB UI 01 BOL向导创建的搜索
- linux 内核usb,Linux 内核示例程序 usb_skeleton.c 详解
- CNC:机械工程之机械制图的几何特征、测量、配合、公差带、图纸标注、公差、配合、表面粗糙度之详细攻略
- css:字母hover文字加粗,盒子变宽,导致文字列表抖动
- Qt编写自定义控件37-发光按钮(会呼吸的痛)
- Linux系统vscode断点单步运行调试C++程序
- 基于JAVA学生会管理系统2021计算机毕业设计源码+系统+数据库+lw文档+部署
- Android RadioGroup中横向 竖向布局RadioButton的问题
- Android开发局域网通信软件笔记