03

Group Normalization

本文为 Kaiming He 新作。Batch-Norm 在深度学习中一直扮演着重要的角色，但 BN 也存在着明显的问题——需要足够大的 Batch Size，大大增加了训练的成本。本文提出了一种新的归一化——Group Norm 替代 BN，并且通过实验证明，在较小的 Batch Size 下，使用 GN 的网络最终得到的结果，要比使用BN的结果更好。

论文链接：

https://www.paperweekly.site/papers/1765

代码链接：

https://github.com/shaohua0116/Group-Normalization-Tensorflow

04

CliCR: A Dataset of Clinical Case Reports for Machine Reading Comprehension

@paperweekly 推荐

#Machine Reading Comprehension

本文提出了一个医疗领域的机器理解数据集。该数据集基于大量临床病例报告，对病例进行了约100,000次间隙填充查询。

论文链接：

https://www.paperweekly.site/papers/1790

数据集链接：

https://github.com/clips/clicr

05

Single-Shot Bidirectional Pyramid Networks for High-Quality Object Detection

@chlr1995 推荐

#Object Detection

虽然现在利用 DL 的方法在实体检测方面取得了显著的成果，但是这些方法往往都是面向低精度的检测，即设定 IoU 为 0.5 提取粗精度的候选框，这样就导致了精度低甚至会检测出噪声。

本文提出了一种双向金字塔网络结构，在不牺牲检测效率的情况下，达到高精度检测（如，IoU>0.5）。而且在实验中，COCO 和 Pascal 数据集都取得了 state-of-the-art 的结果。

论文链接：

https://www.paperweekly.site/papers/1766

06

Averaging Weights Leads to Wider Optima and Better Generalization

@paperweekly 推荐

#Deep Neural Networks

本文提出了一种简单的 DNN 训练方法 SWA，作为 SGD 的替代。SWA 具备更好的泛化能力、更快的收敛速度，并且几乎没有任何计算开销。

论文链接：

https://www.paperweekly.site/papers/1789

代码链接：

https://github.com/timgaripov/swa

07

Deep Semantic Role Labeling with Self-Attention

@robertdlut 推荐

#Self-Attention

本文来自 AAAI2018，厦门大学 Tan 等人的工作。他们将 Self-Attention 应用到了语义角色标注任务（SRL）上，并取得了先进的结果。这篇论文中，作者将 SRL 作为一个序列标注问题，使用 BIO 标签进行标注，然后提出使用深度注意力网络（Deep Attentional Neural Network）进行标注。

在每一个网络块中，有一个 RNN/CNN/FNN 子层和一个 Self-Attention 子层组成。最后直接利用 softmax 当成标签分类进行序列标注。

论文链接：

https://www.paperweekly.site/papers/1786

代码链接：

https://github.com/XMUNLP/Tagger