论文信息

A Survey on Dynamic Neural Networks for Natural Language Processing

发表单位：University of California, San Diego

作者：Canwen Xu, Julian McAuley

发表会议： EACL 2023

论文地址：http://arxiv.org/abs/2202.07101

发布时间：2022.2.15(v1) 2023.2.24 (v2)

ABs

掌握主要内容

有效缩小大型Transformer模型是自然语言处理最新进展的主要趋势；
动态神经网络作为一个新兴的研究方向，能够通过根据输入动态调整其计算路径，在计算和时间上以亚线性增加的方式缩小神经网络。动态神经网络可能是预训练语言模型参数数量不断增长的有前途的解决方法，既允许使用数万亿个参数进行模型预训练，又可以在移动设备上更快地推理。
本综述总结了NLP三种动态神经网络的类型：skimming, mixture of experts, early exit，列举当前面临的挑战以及未来研究的方向。

1. INTRO

研究背景

1）NLP模型不断增大的计算复杂度和内存消耗，难以用于训练和使用；

2）不需要所有输入案例分配相同的计算资源。

【论文阅读】A Survey on Dynamic Neural Networks for Natural Language Processing相关推荐

[论文解读] Adversarial Attacks on Deep Learning Models in Natural Language Processing: A Survey
Adversarial Attacks on Deep Learning Models in Natural Language Processing: A Survey 文章目录 Adversaria ...
【Gaze】A Survey on Using Gaze Behaviour for Natural Language Processing
A Survey on Using Gaze Behaviour for Natural Language Processing 1. Abstract 摘要中主要介绍本文的工作,整篇主要讨论了在NL ...
论文-阅读理解-Adversary Resistant Deep Neural Networks with an Application to Malware Detection
整体来说,Adversary Resistant DeepNeural Networks with an Application to Malware Detection 这篇论文是利用了生成对抗网络 ...
论文阅读--PVANET: Deep but Lightweight Neural Networks for Real-time Object Detection
为什么80%的码农都做不了架构师?>>> 论文地址:https://arxiv.org/abs/1608.08021 算法实现:https://github.com/Charl ...
图神经网络论文阅读(十六) GraLSP: Graph Neural Networks with Local Structural Patterns,AAAI 2020
本文作者来自香港科技大学.北大和北邮,其中包含宋国杰老师和石川老师,这两位都是国内研究图表示学习的翘楚了.之前读石川团队论文的时候自己犯傻发邮件问了一个比较弱智的问题,石川老师还是让学生耐心帮我解答了 ...
论文阅读笔记《Fine-tuning Deep Neural Networks in Continuous Learning Scenarios》
摘要:深度神经网络的复兴与ImageNet数据集的公开为近期复杂识别任务的成功奠定了基础.然而,ImageNet并不能包含所有可能的应用场景的所有视觉概念.因此,应用科学家仍然不断地记录新的数据,并期 ...
【论文阅读笔记】BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translati
BART:去噪序列到序列的预训练自然语言生成.翻译和理解动力自监督方法在广泛的NLP任务中取得了显著的成功.最成功的方法是masked language model的变体去噪的自编码器.训练去噪的 ...
综述论文阅读”A comprehensive survey on graph neural networks“（TNNLS2020）
论文标题 A comprehensive survey on graph neural networks 论文作者.链接作者:Wu, Zonghan and Pan, Shirui and Chen ...
[论文翻译]-A Comprehensive Survey on Graph Neural Networks《图神经网络GNN综述》
文章目录摘要 1 简介 1.1 GNN简史 1.2 Related surveys on graph neural networks 1.3 Graph neural networks vs. ne ...

【论文阅读】A Survey on Dynamic Neural Networks for Natural Language Processing

论文信息

ABs

1. INTRO

研究背景

【论文阅读】A Survey on Dynamic Neural Networks for Natural Language Processing相关推荐

最新文章

热门文章