作者：Derrick Mwiti

来源：http://t.cn/AieEBzZx

翻译整理：深度传送门

我有幸在2019年编写了许多有关探索最前沿的机器学习和深度学习研究的文章（您可以在此处[1]找到很多文章），我想花一点时间来突出我最感兴趣的论文。我还将共享指向其代码实现的链接，以便您可以尝试使用它们。

1. Contrastive Representation Distillation

本文在模型蒸馏领域中利用了一系列对比目标来捕获相关性和高阶输出依存关系。在本文中对它们进行了修改，以将知识从一个神经网络提取到另一个。

论文：https://arxiv.org/abs/1910.10699

代码：https://github.com/HobbitLong/

RepDistiller

本文考虑了三个蒸馏阶段：

• 模型压缩

• 将知识从一种方式（例如RGB）转移到另一种方式（例如深度）

• 将一组网络精简为一个网络

对比学习的主要思想是学习在某个度量空间中对于正例对的表示尽可能接近，同时对于负例对的表示尽可能远。

2. Network Pruning via Transformable Architecture Search

这是网络修剪领域的论文。它建议直接将神经体系结构搜索应用于具有灵活通道和层大小的网络。使修剪过的网络的损失最小化有助于学习信道数量。

论文：https://arxiv.org/abs/1905.09717

代码：https://github.com/D-X-Y/NAS-Projects

修剪后的网络的特征图由K个特征图片段组成，这些片段基于概率分布进行采样。损失反向传播到网络权重和参数化分布。

本文提出的修剪方法分为三个阶段：

• 使用标准分类训练程序训练未修剪的大型网络。

• 通过可转换体系结构搜索（TAS）搜索小型网络的深度和宽度。TAS旨在寻求最佳的网络规模。

• 使用简单知识提炼（KD）方法将信息从未修剪的网络传输到搜索的小型网络。

3. Learning Data Augmentation Strategies for Object Detection

尽管这本身不是模型体系结构，但本文提出了可用于对象检测数据集的转换的创建方法，这些转换可以转移到其他对象检测数据集。转换通常在训练时应用。以下是使用学习到的策略进行训练的代码：

论文：https://arxiv.org/abs/1906.11172

代码：https://github.com/tensorflow/tpu/

tree/master/models/official/detection

在此模型中，扩充策略定义为在训练过程中随机选择的一组n个策略。在此模型中已应用的一些操作包括：扭曲颜色通道，几何扭曲图像以及仅扭曲在边界框注释中找到的像素内容。

4. XLNet: Generalized Autoregressive Pretraining for Language Understanding

XLNet是Transformer领域的一篇令人振奋的论文。XLNet是一种通用的自回归预训练方法，通过最大化在所有因式分解阶数排列上的预期似然性，可以学习双向上下文。它不使用固定的正向或反向分解顺序。

论文：https://arxiv.org/abs/1906.08237

代码：https://github.com/zihangdai/xlnet

取而代之的是，它针对分解阶数的所有可能排列最大化序列的预期对数似然性。这些排列的结果是，每个位置的上下文都可以由左右两个标记组成。由于每个位置都学会了利用所有位置的上下文信息，因此捕获了双向上下文。

5. Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context (ACL 2019)

Transformer-XL（意味着超长）可用于学习超出固定长度的依赖性，而不会破坏时间相干性。它引入了段级递归机制和位置编码方案。TransformerXL学习的依赖关系比RNN长80％，比朴素Transformers长450％。TensorFlow和PyTorch均可用。

论文：https://arxiv.org/abs/1901.02860

代码：https://github.com/kimiyoung/

transformer-xl

作者将递归引入其深层的自注意力网络。他们重用了先前分段中获得的隐藏状态，而不是从头开始为每个新段计算隐藏状态。重用的隐藏状态充当循环段的内存。

这在段之间建立了循环连接。建模长期依赖关系成为可能，因为信息是通过循环连接传递的。作者还介绍了一种更有效的相对位置编码方式，该方式可以将注意力集中到比训练过程中观察到的注意长度更长的位置。

6. Depth Prediction Without the Sensors: Leveraging Structure for Unsupervised Learning from Monocular Videos (AAAI 2019)

本文涉及场景深度和机器人自我运动的无监督学习任务，其中监督由单目视频提供。这是通过将几何结构引入学习过程来完成的。它涉及对场景和单个对象，相机的自我运动以及从单眼视频输入中获悉的对象运动进行建模。作者还介绍了一种在线优化方法。

论文：https://arxiv.org/abs/1811.06152

代码：https://github.com/tensorflow/mod

els/tree/master/research/struct2depth

作者介绍了一种对象运动模型，该模型与自我运动网络共享相同的体系结构。但是，它专门用于预测3D中单个对象的运动。

它以RGB图像序列作为输入。预先计算的实例分段掩码对此进行了补充。运动模型的工作是学习预测3D空间中每个对象的变换矢量。这将在各个目标框中创建观察到的对象外观。

7. Auto-Keras: An Efficient Neural Architecture Search System

本文提出了一个框架，使贝叶斯优化能够为有效的NAS引导网络形态。基于他们的方法，作者构建了一个称为Auto-Keras的开源AutoML系统。

论文：https://arxiv.org/abs/1806.10282

代码：https://github.com/keras-team/

autokeras

该方法的主要组成部分是在贝叶斯优化（BO）算法的指导下，通过变形神经网络结构来探索搜索空间。由于NAS空间不是欧几里德空间，因此作者通过设计神经网络核函数来解决这一难题。核函数是用于将一种神经体系结构变形为另一种神经体系结构的编辑距离。

8. Depth-Aware Video Frame Interpolation (CVPR 2019)

本文提出了一种视频帧插值方法，该方法通过探索深度信息来检测遮挡。作者开发了一个深度感知流投影层，该层可以合成对较近的对象进行采样的即时流，而不是对较远的对象进行采样。

论文：https://arxiv.org/abs/1904.00830

代码：https://github.com/baowenbo/DAIN

层次特征的学习是通过从相邻像素收集上下文信息来完成的。然后通过基于光流和局部插值核对输入帧，深度图和上下文特征进行综合来生成输出帧。

作者提出了一种深度感知视频帧内插（DAIN）模型，该模型可有效利用光流，局部插值核，深度图和上下文特征来生成高质量的视频帧。

9. OpenPose: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields

OpenPose是用于多人2D 姿势估计的开源实时系统，包括身体，脚，手和面部关键点。本文提出了一种用于检测图像和视频中的2D人体姿势的实时方法。

论文：https://arxiv.org/abs/1812.08008

代码：https://github.com/CMU-Percep

tual-Computing-Lab/openpose_train

本文提出的方法使用了一种称为Part Affinity Fields（PAF）的非参数表示。本文的一些作者来自IEEE。此方法将图像作为CNN的输入，并预测用于检测身体部位的置信度图和用于部位关联的PAF。本文还开源了带有15K人脚实例的带注释脚数据集。

10. FastFCN: Rethinking Dilated Convolution in the Backbone for Semantic Segmentation

本文提出了一种称为联合金字塔上采样（JPU）的联合上采样模块，以取代消耗大量时间和内存的膨胀卷积。它通过将提取高分辨率图的过程公式化为联合上采样问题而起作用。

论文：https://arxiv.org/abs/1903.11816

代码：https://github.com/wuhuikai/

FastFCN

该方法以全连接网络（FCN）为骨干，同时应用JPU对低分辨率的最终特征图进行上采样，从而得到高分辨率的特征图。用JPU取代膨胀的卷积不会导致性能损失。

结论

希望这能给您一些有关2019年机器学习和深度学习研究领域的见解。我已尝试在尽可能的情况下包括原始论文的链接及其代码。尝试一下他们，让我们知道您的进展。

参考

[1] https://heartbeat.fritz.ai/research-guides-for-machine-and-deep-learning-2d7703cbca21

备注：公众号菜单包含了整理了一本AI小抄，非常适合在通勤路上用学习。

往期精彩回顾那些年做的学术公益-你不是一个人在战斗适合初学者入门人工智能的路线及资料下载机器学习在线手册深度学习在线手册备注：加入本站微信群或者qq群，请回复“加群”加入知识星球（4500+用户，ID：92416895），请回复“知识星球”

喜欢文章，点个在看