重磅!深度学习的顶级会议ICLR 2020 数据图文详解
点上方蓝字计算机视觉联盟获取更多干货
在右上方 ··· 设为星标 ★,与你不见不散
编辑:Sophia
计算机视觉联盟 报道 | 公众号 CVLianMeng
转载于 :medium,机器之心,学术头条
【人工智能资源(书籍+视频)全网收集,附下载!】
推荐文章【点击下面可直接跳转】:
如何快速下载不同网站文档!
AI博士笔记系列推荐:
博士笔记 | 周志华《机器学习》手推笔记“神经网络”
深度学习的顶级会议ICLR 2020将于明年 4 月 26 日于埃塞俄比亚首都亚的斯亚贝巴举行。
今日ICLR 2020放榜,最终2594篇论文中共有687篇被接收,其中48篇orals,108篇spotlights,531篇poster。录取率为26.5%,相比去年的31.4%略有下降。
今天,ICLR 2020 的接收结果终于放出,以下是官方统计的数据:
在最终提交的 2594 篇论文中,有 687 篇被接收,接收率为 26.5%;
和之前一样,所有被接收的论文都将进行 poster 展示;
23% 的接收论文将进行口头讲述报告,其中 108 篇论文为 spotlight,演讲时间 4 分钟,48 篇论文将进行 10 分钟以上的 talk。
据统计,约有320篇被接收论文中有华人学者参与,占比47%。
ICLR 2020 官方评审页面:
https://openreview.net/group?id=ICLR.cc/2020/Conference
从官方发布的博文可知,今年的审稿过程与去年基本保持不变,但进行了两项调整:大会组委会不允许在评审期间进行公开评论,以使作者和审稿人对讨论的要点有清晰的认知,并且留有一周进行替换和紧急评审。
此外,为了帮助审稿人做出更清晰的决策,今年的评分系统也做了简化,组委会取消了中性评分的选项:只保留“reject(拒绝)、weak reject(弱拒绝)、 weak accept(弱接受) 、accept(接受)”四个选项。
通过将评分分配给上述四项评分选项,以产生平均分数。由于各种原因,分数是不对称分布的,分别为1、3、6和8。对于接收的论文,组委会担心审稿人不愿意给出10分,实际对于作者来说可能希望论文被接收,但并不意味着它应该得到10分。此外,3分到6分之间的较大差距使得弱拒绝和弱接受之间得以有更大区分,以提供更多的建议从而避免“中立”。尽管这些做法有些不典型,但得出的平均值对于最终指导决策还是有意义的。
对于ICLR来说,随着每年提交论文数量的显著增长,导致建立具有丰富经验的大型审稿人库的任务日益艰巨。今年总共有119位AC和2200位审稿人参与了审稿工作,虽然审稿人数没有委员会最初预期的规模那么大,也使得评审人的负担超出了预期,但最终接收论文的质量都很高。
此外,ICLR2020也拒绝了少数论文(不到20篇),因为它们违反了“双重提交政策”。同时也撤回了大量论文,比如与其他会议截止日期临近和重叠,或与其他会议如ACL的“匿名政策”不相符的论文。
论文评分
从ICLR2020论文评分的直方图可见,审稿人的评分分布集中在4分左右(平均为4.1822分)。其中得4分的有367篇;得5分的有266篇;得8分的有34篇。
1.一篇评分为6-8-8的论文被拒了:《Ted: A Pretrained Unsupervised Summarization Model With Theme Modeling And Denoising》https://openreview.net/forum?id=Syxwsp4KDB
2.而一篇评分为1-3-3的论文竟被接收:《Efficient Probabilistic Logic Reasoning with Graph Neural Networks》https://openreview.net/forum?id=rJg76kStwH
3. 得分为3-6-8的论文中有62%被接收;
4. 得分为3-6-6篇论文中只有27.8%被接收。
审稿人评分的累积总和见下图。
ICLR2020关键字
下图是由投稿关键词生成的词云图,突出了深度学习、强化学习、表示学习、生成模型、图形神经网络等热点话题。
TOP50关键字词其频率见下图。
根据审稿人的平均评分和关键词的频率表明,如果想要增加你得高分的几率可以多使用关键字,比如深入学习或梯度下降等。
审稿长度
ICLR 2020平均评审长度为407.91字。直方图如下:
反驳期间审稿人评分发生了变化
所有人的评分变化见下图:
每篇论文的平均评分变化见下图:
多篇「满分论文」
在 ICLR 2020 上出现了多达 34 篇满分论文(8 分),其中不乏来自清华大学、上海交通大学、南京大学、哈工大、西安电子科技大学等国内高校以及华为、字节跳动等国内名企的论文作者。
此外,来自以色列特拉维夫大学的一篇论文(下文中的论文 25)甚至拿到了 4 个 8 分。
ICLR 2020 官方评审页面:https://openreview.net/group?id=ICLR.cc/2020/Conference
ICLR 论文接收情况统计(非官方):https://chillee.github.io/OpenReviewExplorer/
以下是满分论文的统计结果列表(截至发稿前的统计结果):
论文 1:An Algorithm-Agnostic NAS Benchmark
作者:Xuanyi Dong、Yi Yang
机构:悉尼科技大学
关键词:神经架构搜索、AutoML、基准测试
链接:https://openreview.net/forum?id=HJxyZkBKDr
论文 2:On the "steerability" of generative adversarial networks
作者:Ali Jahanian、Lucy Chai、Phillip Isola
机构:麻省理工学院
关键词:生成对抗网络、隐空间插值、数据集偏见、模型泛化
链接:https://openreview.net/forum?id=HylsTT4FvB
论文 3:A Generalized Training Approach for Multiagent Learning
作者:Paul Muller、Shayegan Omidshafiei、Mark Rowland 等
机构:谷歌
关键词:多智能体学习、博弈论、训练、游戏
链接:https://openreview.net/forum?id=Bkl5kxrKDr¬eId=XEgYShJzuK
论文 4:Mirror-Generative Neural Machine Translation
作者:Zaixiang Zheng、Hao Zhou、Shujian Huang 等
机构:南京大学、字节跳动
关键词:神经机器翻译、生成网络
链接:https://openreview.net/forum?id=HkxQRTNYPH¬eId=HmFOnYDNdx
论文 5:Restricting the Flow: Information Bottlenecks for Attribution
作者:Karl Schulz、Leon Sixt、Federico Tombari、Tim Landgraf
机构:慕尼黑工业大学等
关键词:信息瓶颈、深度神经网络
链接:https://openreview.net/forum?id=S1xWh1rYwB¬eId=dsIQuI8DCU
论文 6:Understanding and Robustifying Differentiable Architecture Search
作者:Arber Zela、Thomas Elsken、Tonmoy Saikia 等
机构:弗莱堡大学
关键词:神经架构搜索、AutoML、深度学习、计算机视觉
链接:https://openreview.net/forum?id=H1gDNyrKDS¬eId=9abhtGXJdR
论文 7:Sparse Coding with Gated Learned ISTA
作者:Kailun Wu、Yiwen Guo、Ziang Li、Changshui Zhang
机构:清华大学、英特尔
关键词:稀疏编码、深度学习、收敛性分析
链接:https://openreview.net/forum?id=BygPO2VKPH
论文 8:The Logical Expressiveness of Graph Neural Networks
作者:Pablo Barceló、Egor V. Kostylev、Mikael Monet 等
机构:智利大学等
关键词:图神经网络、可表达性、一阶逻辑
链接:https://openreview.net/forum?id=r1lZ7AEKvB
论文 9:Implementation Matters in Deep RL: A Case Study on PPO and TRPO
作者:Logan Engstrom、Andrew Ilyas、Shibani Santurkar 等
机构:麻省理工学院
关键词:深度策略梯度方法、深度强化学习
链接:https://openreview.net/forum?id=r1etN1rtPB¬eId=LqWqdhJGoy
论文 10:Learning to Balance: Bayesian Meta-Learning for Imbalanced and Out-of-distribution Tasks
作者:Donghyun Na、Hae Beom Lee、Hayeon Lee 等
机构:韩国科学技术院、浦项科技大学
关键词:元学习、少样本学习、贝叶斯神经网络
链接:https://openreview.net/forum?id=rkeZIJBYvr¬eId=Vgm-PPd3W
论文 11:Recurrent Hierarchical Topic-Guided Neural Language Models
作者:Dandan Guo、Bo Chen、Ruiying Lu、Mingyuan Zhou
机构:西安电子科技大学、得克萨斯大学奥斯汀分校
关键词:贝叶斯深度学习、变分推理
链接:https://openreview.net/forum?id=Byl1W1rtvH
论文 12:Depth-Width Trade-offs for ReLU Networks via Sharkovsky's Theorem
作者:Vaggos Chatziafratis、Sai Ganesh Nagarajan、Ioannis Panageas、Xiao Wang
机构:斯坦福大学、新加坡科技设计大学
关键词:ReLU 网络、混沌理论、动态系统
链接:https://openreview.net/forum?id=BJe55gBtvH
论文 13:GenDICE: Generalized Offline Estimation of Stationary Values
作者:Ruiyi Zhang、Bo Dai、Lihong Li、Dale Schuurmans
机构:杜克大学、谷歌
关键词:强化学习、平稳分布校正估计、Off-policy Policy Evaluation
链接:https://openreview.net/forum?id=HkxlcnVFwB¬eId=wPTYJz9HH0
论文 14:FreeLB: Enhanced Adversarial Training for Language Understanding
作者:Chen Zhu、Yu Cheng、Zhe Gan、Siqi Sun 等
机构:马里兰大学帕克分校、微软
关键词:对抗性训练
链接:https://openreview.net/forum?id=BygzbyHFvB
论文 15:Why Gradient Clipping Accelerates Training: A Theoretical Justification for Adaptivity
作者:Jingzhao Zhang、Tianxing He、Suvrit Sra、Ali Jadbabaie
机构:麻省理工学院
关键词:自适应方法、最优化、深度学习
链接:https://openreview.net/forum?id=BJgnXpVYwS¬eId=KA65jj-wX
论文 16:Principled Weight Initialization for Hypernetworks
作者:Oscar Chang、Lampros Flokas、Hod Lipson
机构:哥伦比亚大学
关键词:超级网络;初始化;最优化;元学习
链接:https://openreview.net/forum?id=H1lma24tPB¬eId=SttNyKHM11
论文 17:Enhancing Adversarial Defense by k-Winners-Take-All
作者:Chang Xiao、Peilin Zhong、Changxi Zheng
机构:哥伦比亚大学
关键词:对抗性防御、激活函数
链接:https://openreview.net/forum?id=Skgvy64tvr
论文 18:Dynamics-Aware Unsupervised Skill Discovery
作者:Archit Sharma、Shixiang Gu、Sergey Levine 等
机构:谷歌
关键词:强化学习、无监督学习、深度学习
链接:https://openreview.net/forum?id=HJgLZR4KvH
论文 19:Differentiable Reasoning over a Virtual Knowledge Base
作者:Bhuwan Dhingra、Manzil Zaheer、Vidhisha Balachandran 等
机构:卡耐基梅隆大学、谷歌
关键词:QA、深度学习、知识库、信息提取
链接:https://openreview.net/forum?id=SJxstlHFPH¬eId=Ilh9vDgaeg
论文 20:Data-dependent Gaussian Prior Objective for Language Generation
作者:Zuchao Li、Rui Wang、Kehai Chen 等
机构:上海交通大学、哈工大、NICT
关键词:语言生成
链接:https://openreview.net/forum?id=S1efxTVYDr¬eId=QtxdEfLPMv
论文 21:Geometric Analysis of Nonconvex Optimization Landscapes for Overcomplete Learning
作者:Qing Qu, Yuexiang Zhai, Xiao Li, Yuqian Zhang, Zhihui Zhu
机构:纽约大学、加州大学伯克利分校、谷歌以色列
关键词:字典学习、稀疏表示、非凸优化
链接:https://openreview.net/forum?id=rygixkHKDH
论文 22:Mathematical Reasoning in Latent Space
作者:Dennis Lee, Christian Szegedy, Markus Rabe, Sarah Loos, Kshitij Bansal
机构:加州大学伯克利分校、谷歌
关键词:机器学习、形式推理
链接:https://openreview.net/forum?id=Ske31kBtPr¬eId=_xQ9Hvor9M
论文 23:Contrastive Learning of Structured World Models
作者:Thomas Kipf, Elise van der Pol, Max Welling
机构:阿姆斯特丹大学
关键词:状态表征学习、图神经网络、基于模型的强化学习、关系学习、目标检测
链接:https://openreview.net/forum?id=H1gax6VtDB¬eId=06V352WC2Y
论文 24:Rotation-invariant clustering of functional cell types in primary visual cortex
作者:Ivan Ustyuzhaninov, Santiago A. Cadena 等
机构:图宾根大学等
关键词:计算神经科学、神经系统识别、功能细胞类型、深度学习、旋转等变性
链接:https://openreview.net/forum?id=rklr9kHFDB
论文 25:Optimal Strategies Against Generative Attacks
作者:Roy Mor, Erez Peterfreund, Matan Gavish, Amir Globerson
机构:以色列特拉维夫大学等
链接:https://openreview.net/forum?id=BkgzMCVtPB
论文 26:CATER: A diagnostic dataset for Compositional Actions & TEmporal Reasoning
作者:Rohit Girdhar, Deva Ramanan
机构:卡内基梅隆大学
关键词:视频理解基准;时序推理
链接:https://openreview.net/forum?id=HJgzt2VKPB¬eId=dUTT3jReHa
论文 27:Causal Discovery with Reinforcement Learning
作者:Shengyu Zhu, Ignavier Ng, Zhitang Chen
机构:华为诺亚方舟实验室、多伦多大学等
关键词:因果发现、结构学习、强化学习、有向无环图
链接:https://openreview.net/forum?id=S1g2skStPB
论文 28:Simplified Action Decoder for Deep Multi-Agent Reinforcement Learning
作者:Hengyuan Hu, Jakob N Foerster
机构:卡内基梅隆大学、牛津大学
关键词:多智能体强化学习、心智理论
链接:https://openreview.net/forum?id=B1xm3RVtwB
论文 29:Smooth markets: A basic mechanism for organizing gradient-based learners
作者:David Balduzzi, Wojciech M. Czarnecki, Edward Hughes, Joel Leibo, Ian Gemp, Tom Anthony, Georgios Piliouras, Thore Graepel
机构:Deepmind 等
关键词:博弈论、优化、梯度下降、对抗学习
链接:https://openreview.net/forum?id=B1xMEerYvB
论文 30:Meta-Learning with Warped Gradient Descent
作者:Sebastian Flennerhag, Andrei A. Rusu, Razvan Pascanu, Francesco Visin, Hujun Yin, Raia Hadsell
机构:DeepMind、伦敦大学学院、谷歌等
关键词:元学习、迁移学习
链接:https://openreview.net/forum?id=rkeiQlBFPB¬eId=zwVZBPeDT
论文 31:Differentiation of Blackbox Combinatorial Solvers
作者:Marin Vlastelica Pogančić, Anselm Paulus, Vit Musil, Georg Martius, Michal Rolinek
机构:马普所、图宾根大学等
关键词:组合算法、深度学习、表征学习、优化
链接:https://openreview.net/forum?id=BkevoJSYPB
论文 32:A Theory of Usable Information under Computational Constraints
作者:Yilun Xu, Shengjia Zhao, Jiaming Song, Russell Stewart, Stefano Ermon
机构:北京大学、斯坦福大学等
链接:https://openreview.net/forum?id=r1eBeyHFDH
论文 33:How much Position Information Do Convolutional Neural Networks Encode?
作者:Md Amirul Islam, Sen Jia, Neil D. B. Bruce
机构:瑞尔森大学
关键词:网络理解、绝对位置信息
链接:https://openreview.net/forum?id=rJeB36NKvB
论文 34:BackPACK: Packing more into Backprop
作者:Felix Dangel, Frederik Kunstner, Philipp Hennig
机构:图宾根大学、不列颠哥伦比亚大学
关键词:自动微分框架;向后传播算法;BackPACK
链接:https://openreview.net/forum?id=BJlrF24twB¬eId=EHmfrSLVu
END
声明:本文来源于网络
如有侵权,联系删除
联盟学术交流群
扫码添加联盟小编,可与相关学者研究人员共同交流学习:目前开设有人工智能、机器学习、计算机视觉、自动驾驶(含SLAM)、Python、求职面经、综合交流群扫描添加CV联盟微信拉你进群,备注:CV联盟
最新热文荐读
GitHub | 计算机视觉最全资料集锦
Github | 标星1W+清华大学计算机系课程攻略!
Github | 吴恩达新书《Machine Learning Yearning》
收藏 | 2020年AI、CV、NLP顶会最全时间表!
收藏 | 博士大佬总结的Pycharm 常用快捷键思维导图!
收藏 | 深度学习专项课程精炼图笔记!
笔记 | 手把手教你使用PyTorch从零实现YOLOv3
笔记 | 如何深入理解计算机视觉?(附思维导图)
笔记 | 深度学习综述思维导图(可下载)
笔记 | 深度神经网络综述思维导图(可下载)
点个在看支持一下吧
重磅!深度学习的顶级会议ICLR 2020 数据图文详解相关推荐
- 深度学习之目标检测(十一)--DETR详解
深度学习之目标检测(十一)-- DETR详解 目录 深度学习之目标检测(十一)-- DETR详解 1. 前言 2. DETR 框架 2.1 CNN Backbone 2.2 Transformer E ...
- 笔记 | 百度飞浆AI达人创造营:深度学习模型训练和关键参数调优详解
笔记 | 百度飞浆AI达人创造营:深度学习模型训练和关键参数调优详解 针对特定场景任务从模型选择.模型训练.超参优化.效果展示这四个方面进行模型开发. 一.模型选择 从任务类型出发,选择最合适的模型. ...
- 深度学习模型训练和关键参数调优详解
深度学习模型训练和关键参数调优详解 一.模型选择 1.回归任务 人脸关键点检测 2.分类任务 图像分类 3.场景任务 目标检测 人像分割 文字识别 二.模型训练 1.基于高层API训练模型 加载数据集 ...
- Keras深度学习实战(26)——文档向量详解
Keras深度学习实战(26)--文档向量详解 0. 前言 1. 文档向量基本概念 2. 神经网络模型与数据集分析 2.1 模型分析 2.2 数据集介绍 3. 利用 Keras 构建神经网络模型生成文 ...
- 【深度学习】扩散模型(Diffusion Model)详解
[深度学习]扩散模型(Diffusion Model)详解 文章目录 [深度学习]扩散模型(Diffusion Model)详解 1. 介绍 2. 具体方法 2.1 扩散过程 2.2 逆扩散过程 2. ...
- Keras深度学习实战(22)——生成对抗网络详解与实现
Keras深度学习实战(22)--生成对抗网络详解与实现 0. 前言 1. 生成对抗网络原理 2. 模型分析 3. 利用生成对抗网络生成手写数字图像 小结 系列链接 0. 前言 生成对抗网络 (Gen ...
- Keras深度学习实战(21)——神经风格迁移详解
Keras深度学习实战(21)--神经风格迁移详解 0. 前言 1. 神经风格迁移原理 2. 模型分析 3. 使用 Keras 实现神经风格迁移 小结 系列链接 0. 前言 在 DeepDream 图 ...
- NVIDIA Jetson TK1学习与开发(八):图文详解OpenGL在Jetson TK1上的安装和使用
图文详解OpenGL在Jetson TK1上的安装和使用 1.入门介绍与资源推介 OpenGL(全写Open Graphics Library)是个定义了一个跨编程语言.跨平台的编程接口规格的专业的图 ...
- NVIDIA Jetson TK1学习与开发(七):图文详解OpenCV在Jetson TK1上的安装和使用
图文详解OpenCV在Jetson TK1上的安装和使用 本文介绍如何在Jetson TK1上安装并且使用OpenCV,并给出了示例,供大家参考学习. 1.Jetson TK1平台的OpenCV优化包 ...
最新文章
- CEPH核心理论 相关导图(持续更新)
- 无损卡尔曼滤波UKF与多传感器融合
- RHEL6的系统开机的过程
- python 遍历文件夹写入excel_python:创建文件夹:写入文本1:读取txt:读取Excel文件遍历文件夹:...
- js 嵌入php_PHP快速入门第一讲:什么是PHP
- presto支持标准sql吗_presto技术文档
- Security6:查看授予的权限
- MATLAB中的norm函数
- 园区网络的IP地址资源规划 使用VLSM(变长子网掩码)主机数量、子网段数量、主机总数如何计算
- 腾讯2017年度代码报告:程序员15500人、年撸码5亿行、手Q代码已过百万行
- 使用 Apache FOP 2.3 + docbook-xsl-ns-1.79.1 转换 Docbook 5.1 格式的 XML 文档成 PDF/RTF 文件
- Hack the box: Bastion
- 第7章第29节:四图排版:四张图片并列排版 [PowerPoint精美幻灯片实战教程]
- 微信朋友圈广告,杀鸡取卵?
- AcWing 学习日记——笨拙的手指
- 分解数字和查找其中某些数字
- 中秋福利PK!2017公司月饼哪家强?腾讯、阿里、百度、京东、网易等21家中秋月饼盘点!(完整版)
- 短视频剪辑、自媒体创业学习工具大全汇总
- ECshop核心代码
- java获取视频时长_Java获取视频的大小、时长
热门文章
- 华科计算机学院三好学生,他是华科“三好学生标兵”,被保研到北大、复旦、交大等3所名校!...
- 数组翻转_LeetCode刷题实战151:翻转字符串里的单词
- mysql差异备份数据库get shell_shell进行完整和增量备份mysql数据库
- python中sys模块是什么意思_python之sys模块详解
- eclipse远程连接hadoop_hadoop上搭建hive
- 声场测试话筒_国内外常见的测量话筒有哪些?大师们身边必备这几款!
- Java 多线程 南北多人过桥
- php 6位邮政编码,php / mysql邮政编码邻近搜索
- html漂亮的表格模板+背景_教育与课程主题响应式网站着陆页模板
- Git-Credential-Manager-for-Mac-and-Linux