2021年11月推荐阅读的10篇论文

随着我们接近 2021 年底，arXiv 上的论文首次发表量增长似乎正在放缓：经过几年持续呈指数增长（每年 30-40%）后，看起来 2021 年的发表量 2020 年的排名仅略高于 2020 年（高出约 10%）。我们会看到 NeurIPS 和 ICLR 的强劲增长吗？或者人工智能研究已经成熟？

让我们先从过去几周的一些热门新闻开始：

EMNLP将于 11 月 7 日至 11 日以线上线下混合形式举行：同时在线和在多米尼加共和国蓬塔卡纳举行（这个地方你都没听说过吧，它可是海滩度假的最佳选择之一，所以你懂的）。官方公开会议将很快在 ACL 选集中出版。

Deepmind 收购了 MuJoCo 并将其开源。MuJoCo 是机器人和 RL 中使用最广泛的物理模拟软件之一，而且它非常的贵。大型学校和科研机构肯定有实力为他们的学生和教职员工购买许可证，但这下好了我们穷人也可以进入迈过过这个门槛了。

微软发布530B参数模型。但是它仍然只是一篇博客文章！他们声称这是迄今为止最大的monolithic transformer；你可能会问monolithic 是啥意思？这是一种使用所有参数的方式，与专家混合 (MoE) 类型的模型不同，例如 Wu Dao 的 1.75 万亿或 Switch Transformer 的万亿（在每个推理/训练步骤中只激活较小的子集）。虽然庞大的规模看起来非常令人难以置信，但我们必须等到他们更深入地分享才能够了解细节。说到参数，我们现在还是关心他们的大小。

人工智能投资者 Nathan Benaich 和 Ian Hogarth 最近发布了《2021 年人工智能状况报告》（www.stateof.ai）。它提供了有用的 AI 年度执行摘要：研究、行业、人才、政治和预测。绝对值得一读！

如果你想尝试用于计算机视觉的基于注意力的大型架构， Scenic [4] 最近发布一个代码库（包含大量样板代码和示例）来运行用于计算机视觉的 JAX 模型，包括几个 Vision Transformer [6]、ViViT [7] 等等。

如果你正在使用图像的生成模型，可以关注下VQGAN-CLIP，这是一个可以将自然语言句子转换为图像。

下面来看看论文:

Recursively Summarizing Books with Human Feedback

By OpenAI et al.

非常长的文档摘要（例如书籍规模）对于机器来说是一项艰巨的任务，主要是因为注释数据非常耗时：要注释一个示例，一个人需要阅读一本书并得出它的摘要，这需要几个小时甚至几天。

长摘要可以（在某种程度上）成功地分解为分批式摘要任务，这些任务的注释成本更低：将一本书分成几块，然后将每个块总结成摘要。连接这些摘要并总结它们。递归地应用此过程，直到达到所需的全书摘要长度。

我们来大致了解一下所涉及的数据的规模:使用了40本书，平均10万字，大部分是小说，每个摘要子任务压缩的比例约为5-10比1。

这一过程的结果仍然与人类的质量相去甚远，只有5%的摘要达到了可比的质量。有趣的是，模型大小似乎起着重要作用，因为他们从最大的模型中总结出来的结论明显优于遵循同样训练过程的较小模型。

这又是一次令人印象深刻的人工循环训练复杂大型模型的工作。距离产生“哇，这真是太棒了”的感觉还差得很远，但这是一个开始。接下来可能的研究方向是如何将其转化为只需要很少或非常稀疏的人类注释的场景？

Multitask Prompted Training Enables Zero-Shot Task Generalization

By Victor Sanh, Albert Webson, Colin Raffel, Stephen H. Bach. et al.

惊人的大型模型研究主要限于拥有大量预算的公司。这是 Hugging Face BigScience Workshop 的第一篇论文，该论文提出合作方式使大规模 ML 对大学等小型机构可行。这不是第一个开源的大型 GPT-3 样模型（例如查看 GPT-J），但这肯定会产生影响。

他们谈论的是一个 110 亿参数模型，完全开源并可通过