来自：RUC AI Box

年底各大会议ddl将至，有什么最新热点不容错过，一周精选继续放送最新最全学术热点，AI Box为你回顾一周热点，分享最新学术资源，欢迎关注收藏！

最新学术热点

GPT-3等三篇论文摘得NeurIPS 2020最佳论文奖

NeurIPS 2020在官网公布了2020年度最佳论文奖和时间检验奖两项大奖。今年一共有三篇论文共同获得最佳论文奖，其中第二篇获奖论文就是来自OpenAI团队打造的今年AI圈最为火爆的GPT-3 。时间检验奖则是由威斯康星麦迪逊分校团队发表于NeurIPS 2011上的一篇论文获得，其一作为本科毕业于清华大学计算机系的华人Feng Niu。

详细报道

自然语言处理顶会COLING 2020 最佳论文等三项大奖出炉

12月8日至13日，第28届国际计算语言学会议（COLING 2020）在线上正式举行。计算语言学国际会议COLING 2020（是计算语言学和自然语言处理领域的重要国际会议，由ICCL（国际计算语言学委员会）主办，每两年一次一次，是CCF推荐的B类顶级会议。昨日，大会官方Twitter公布了最佳论文奖、最佳短论文奖、最佳工业/产业论文奖等三项大奖。其中最佳论文由阿姆斯特丹大学两位研究者获得，最佳短论文由微软印度研究院三位研究者获得，最佳工业论文奖由Amazon Alexa AI五人共同获得。
详细报道

AI 版 Nature Index 排名，两种结果折射中国 AI 发展道路任重道远

12月10日，Nature Index 发布了其 AI 增刊（Nature Index AI supplement），该刊分别使用了Nature Index（自然指数）数据和规模更大的Dimensions数据库，对全球范围内的人工智能学术研究做了分析和排名。但根据两个数据库的排名，中国的名次变化有点大，前者在美、英、德之后，位居第四；而后者则远超其他国家，雄踞第一。仔细分析这两种数据排名，我们发现：中国在 AI 方向确实已经处于前沿地位，但我们在将 AI 应用于传统基础学科上仍有欠缺。这种欠缺，除了提示我们应当更加注重基础研究外，或许也告诉我们的 AI 专家们：在传统学科中或许有更多可探索的新天地，而非仅仅局限在 AI 的核心任务上。详细报道

“机器学习之父”Michael Jordan获2021年Grenander奖

2021年格林纳德随机理论与建模奖授予著名的“机器学习之父”Michael I. Jordan，以表彰他对机器学习所做出的奠基性贡献，尤其体现在无监督学习、概率计算，以及用计算平衡统计保真度的核心理论。格林纳德随机理论与建模奖（The Ulf Grenander Prize in Stochastic Theory and Modeling）由Grenander的同事于2016年设立。Grenander在随机过程、抽象推理和模式理论等方面具有重要影响力。该奖项每三年颁发一次，旨在表彰对随机理论和建模领域的理论与应用做出杰出贡献的学者。表彰的研究领域涵盖概率建模、统计推断或相关计算算法，尤其是对复杂或高维系统的分析。首位获奖者是2011年图灵奖得主Judea Pearl。详细报道

AI学术人物 | 吴翼：另起一行——从姚班少年到教姚班的人

吴翼的最新身份是清华大学交叉信息研究院的助理教授。今年刚“回娘家”的吴翼表示，在需要他做出重大抉择的人生分叉口，其实都是“直觉”和“运气”在背后推了他一把。在所谓的“直觉”和“运气”背后，既有姚班赋予的资源和自由，让年轻的吴翼得以提前站到一个更高的平台去完成大多数同龄人所无法完成的事情；也有他凭借一腔热血在竞赛圈的耕耘，使其收获一批优质人脉，对后期的决策起了关键性帮助；但最根本的，还是吴翼自身的勤奋和慧根，使其在每个关键时刻都能够“大力出奇迹”，做出最适合自己的发展选择。快来看看他的学术故事。详细报道

一周学术资源

【综述报告】图学习与挖掘

【推荐理由】在这次演讲中，Graph Mining team的创始人Vahab对本图挖掘和学习进行了高层次的介绍。这个演讲涉及到什么是图，为什么它们是重要的，以及它们在大数据世界中的位置。然后讨论了组成图挖掘和学习工具箱的核心工具，并列出了几个规范的用例。它还讨论了如何结合算法、系统和机器学习来在不同的分布式环境中构建一个可扩展的图学习系统。最后，它提供了关于Google一个简短的历史图挖掘和学习项目。本次演讲将介绍接下来的演讲中常见的术语和主题。

【视频地址】https://gm-neurips-2020.github.io/

线上分享 | Transformers库维护者之一、UCSD博士生分享库背后的故事

【推荐理由】Hugging Face 的 transformers 库为 Transformers 模型提供了统一、简洁、全面的 API，实现了对研究者可拓展、对从业人员简单友好、工业部署迅速健壮的目标。该库已经成为了 NLP 前沿领域研究的「标配」。本次分享将以 EMNLP 2020 best demo 为出发点，介绍 transformers 库和其背后的设计哲学、最新功能和未来展望。直播分享入口

【综述报告】知识图谱: 一种信息检索视角、系统性阐述KG与IR之间的关系

【简介】在这项综述中，我们提供了一个在信息检索(IR)背景下的知识图谱(KGs)的文献综述。现代红外系统可以以多种方式从知识图谱中获益，不论知识图谱是公开的还是专有的。我们提供了构建利用KGs和使用我们讨论的面向任务的材料组织的IR系统所需的组件的概述。了解IR和KGs的交集对许多研究者和实践者有益，我们从两个互补的角度来考虑之前的工作: 利用KGs进行信息检索和利用IR技术丰富KGs。我们首先讨论如何使用KGs来支持IR任务，包括文档和实体检索。接下来，我们将描述如何使用IR和语言技术构建和完成KGs，包括实体识别、类型和关系提取等任务。我们讨论在我们考虑的任务中出现的常见问题，并确定解决这些问题的未来方向。我们还提供了数据集和其他资源的指南，应该是有用的新手和经验丰富的研究人员在该领域。

【报告链接】https://www.nowpublishers.com/article/Details/INR-063

【Tutorial】自监督学习在NLP的研究探索

【简介】自监督深度学习(SSDL)方法是近年来在计算机视觉领域出现的一种很有前途的学习范式。该方法巧妙地使用密集的学习信号来构建监督学习问题，而不需要外部的人工注释。除了视觉之外，它是一个通用框架，可以实现多种学习模式，包括深度强化学习和AlphaGo Zero的成功。在NLP中，SSDL在表示学习方面也取得了很好的效果，包括屏蔽语言模型，如BERT和XLNet。在本教程中，我们简要介绍了自监督深度学习的基础，以及NLP中一些实际问题的公式和解决方案。我们描述了NLP的自监督深度学习的最新进展，特别关注于生成和语言模型。我们提供了一个研究领域的概述，分类不同类型的自监督学习模型，并讨论利弊，旨在提供一些解释和实践的观点，以解决现实世界的NLP问题的自监督学习的未来。

【报告链接】http://aacl2020.org/program/tutorials/#t3-self-supervised-deep-learning-for-nlp

精选论文推荐

1

Are Fewer Labels Possible for Few-shot Learning?

【作者】Suichan Li, Dongdong Chen, Yinpeng Chen, Lu Yuan, Lei Zhang, Qi Chu, Nenghai Yu

【机构】University of Science and Technology of China & Microsoft Research

【链接】https://arxiv.org/abs/2012.05899v1

【推荐理由】针对小样本学习，本文提出一个了一个更具挑战的场景：“在预训练(无标签)和微调(少标签)中，我们是否可以使用尽可能少的标签来进行小样本学习?”。作者认为，目标样本在特征空间中的聚类是进行小样本微调所做的事情，这样可以解释为什么普通的无监督前训练(较差的聚类)比有监督前训练差。在本文中，作者提出转导的无监督预训练方法，改善这种聚类。改进后的聚类结果对于识别出最具代表性的样本(“特征样本”)供用户标注具有重要的价值，对标记后的特征样本进行继续微调，进一步提高聚类效果。在10个不同的小样本学习的目标数据集上进行了实验，当每个目标类别只有10个标记样本时，在两个baseline上精度增益分别为9.2%和3.42。

【主题】小样本学习

模型架构示意图

2

Tell Me How to Ask Again: Question Data Augmentation with Controllable Rewriting in Continuous Space

【作者】Dayiheng Liu, Yeyun Gong, Jie Fu, Yu Yan, Jiusheng Chen, Jiancheng Lv, Nan Duan, Ming Zhou

【机构】Sichuan University & MSRA & Mila

【来源】EMNLP 2020

【链接】https://www.aclweb.org/anthology/2020.emnlp-main.467.pdf

【推荐理由】针对机器阅读理解、问句生成、问答自然语言推理等任务的问句数据增广，本篇论文将该类问句数据增广任务看作是一个带限制的问句改写任务，即要让改写后的问句与原始文档和答案是相关的，并且希望生成与原始问句接近的不可回答（unanswerable）问句和可回答（answerable）问句。受连续空间修改的可控式改写方法的启发，研究员们提出了基于可控式改写的问句增广方法（Controllable Rewriting based Question Data Augmentation, CRQDA）。

【主题】自然语言理解

模型架构示意图

3

Adversarial Self-Supervised Data-Free Distillation for Text Classification

【作者】Xinyin Ma, Yongliang Shen, Gongfan Fang, Chen Chen, Chenghao Jia, Weiming Lu

【机构】Zhejiang University

【来源】EMNLP 2020

【链接】https://arxiv.org/pdf/2010.04883.pdf

【推荐理由】本文发表在EMNLP2020上，提出一种无数据的对抗自监督蒸馏算法，用于文本分类。作者的方法本质是一种两阶段对抗伪数据生成的蒸馏算法，首先把Embedding层进行复制，不进行更新，接着对其后一层的内容进行更新。在三个文本分类数据集上，和同类型工作相比较，取得了不错的效果。

【主题】文本分类

模型框架

4

Supervised Contrastive Learning for Pre-trained Language Model Fine-tuning

【作者】Beliz Gunel, Jingfei Du, Alexis Conneau, Ves Stoyanov

【机构】Stanford & Facebook AI Research

【来源】ICLR 2021

【链接】https://arxiv.org/pdf/2011.01403

【推荐理由】作者就针对分类任务进行了研究。在BERT分类任务的精调阶段加入了对比学习的loss，在各个任务上都获得了很稳定的提升。分类的核心思想就是把不同类别的样本划分开来，通常使用交叉熵作为损失函数。作者则提出了一个新的对比学习loss SCL，将同一类的样本互相作为正例，不同类别的作为负例。以此达到拉近类内样本、拉开类间距离的目的。

【主题】对比学习

示意图

5

Understanding the Difficulty of Training Transformers

【作者】Liyuan Liu, Xiaodong Liu, Jianfeng Gao, Weizhu Chen and Jiawei Han

【机构】University of Illinois at Urbana-Champaign, Microsoft Research, Microsoft Dynamics 365 AI

【来源】EMNLP 2020

【链接】https://www.aclweb.org/anthology/2020.emnlp-main.463/

【推荐理由】本文着重于解决Transformer的难以训练的问题，分析了其中的原因，同时提出一种新的优化方来提高Transformer的训练效率。文中的分析表明，不平衡的梯度不是训练不稳定的根本原因。相反，文中确定了多层Transformer模型的每一层存在一种影响训练效果的放大效应。因为这种效应放大了小参数扰动（例如，参数更新），使得对其残余分支的严重依赖使得训练不稳定，并导致模型输出中的显著干扰。并且，论文中指出，轻微的依赖性限制了模型的潜力，并导致低质量的训练模型。同时，论文中提出Admin（自适应模型初始化）来稳定早期训练，并在后期充分发挥其潜力。大量的实验表明，管理更稳定，收敛更快，并导致更好的性能。

【主题】Transformer

下载一：中文版！学习TensorFlow、PyTorch、机器学习、深度学习和数据结构五件套！后台回复【五件套】
下载二：南大模式识别PPT后台回复【南大模式识别】

说个正事哈

由于微信平台算法改版，公号内容将不再以时间排序展示，如果大家想第一时间看到我们的推送，强烈建议星标我们和给我们多点点【在看】。星标具体步骤为：

（1）点击页面最上方“深度学习自然语言处理”，进入公众号主页。

（2）点击右上角的小点点，在弹出页面点击“设为星标”，就可以啦。

感谢支持，比心。

投稿或交流学习，备注：昵称-学校（公司）-方向，进入DL&NLP交流群。

方向有很多：机器学习、深度学习，python，情感分析、意见挖掘、句法分析、机器翻译、人机对话、知识图谱、语音识别等。

记得备注呦

推荐两个专辑给大家：

专辑 | 李宏毅人类语言处理2020笔记

专辑 | NLP论文解读

专辑 | 情感分析

整理不易，还望给个在看！