模型压缩95%：Lite Transformer，MIT韩松等人

模型压缩95%：Lite
Transformer，MIT韩松等人

Lite Transformer with Long-Short Range Attention

Zhanghao Wu, Zhijian Liu, Ji Lin, Yujun Lin, Song Han

· 论文地址：https://arxiv.org/abs/2004.11886v1

· GitHub 地址：https://github.com/mit-han-lab/lite-transformer

摘要

Transformer在自然语言处理（如机器翻译、问答等）中已经非常普遍，但是它需要大量的计算才能达到较高的性能，这使得它不适合于硬件资源和电池的严格限制下的移动应用。本文提出了一种高效的移动NLP架构Lite Transformer，以便于在边缘设备上部署移动NLP应用。关键原语是长-短距离注意（LSRA），其中一组负责人专门研究局部上下文建模（通过卷积），另一组负责人专门研究长距离关系建模（通过注意）。这种专业化在三个公认的语言任务（机器翻译、抽象摘要和语言建模）上比普通的转换程序带来了一致的改进。在资源受限（500米/100米MACs）的情况下，Lite Transformer的性能分别比WMT的14英法文高1.2/1.7 BLEU。Lite-Transformer在BLEU评分下降0.3的情况下，将变压器基础模型的计算量减少了2.5x。结合剪枝和量化，进一步压缩了Lite-Transformer的模型尺寸18.2x，在语言建模方面，Lite-Transformer在500M左右的MACs下比Transformer的复杂度降低了1.8。值得注意的是，Lite Transformer比基于AutoML的演进Transformer在移动NLP设置上的BLEU高0.5，而无需花费超过250 GPU年的昂贵架构搜索。

Transformer 的高性能依赖于极高的算力，这让移动端 NLP 严重受限。在不久之前的 ICLR 2020 论文中，MIT 与上海交大的研究人员提出了一种高效的移动端 NLP 架构 Lite Transformer，向在边缘设备上部署移动级 NLP 应用迈进了一大步。

虽然推出还不到 3 年，Transformer 已成为自然语言处理（NLP）领域里不可或缺的一环。然而这样流行的算法却需要极高的算力才能实现足够的性能，这对于受到算力和电池严格限制的移动端来说有些力不从心。

在 MIT 最近的研究《Lite Transformer with Long-Short Range Attention》中，MIT与上海交大的研究人员提出了一种高效的移动端 NLP 架构 Lite Transformer，向在边缘设备上部署移动级 NLP 应用迈进了一大步。该论文已被人工智能顶会 ICLR 2020 收录。

该研究是由 MIT 电气工程和计算机科学系助理教授韩松领导的。韩松的研究广泛涉足深度学习和计算机体系结构，他提出的 Deep Compression 模型压缩技术曾获得 ICLR2016 最佳论文，论文 ESE 稀疏神经网络推理引擎 2017 年曾获得芯片领域顶级会议——FPGA 最佳论文奖，引领了世界深度学习加速研究，对业界影响深远。

图1：左：最近NLP模型的大小增长迅速，超过了移动限制很多。右图：基于AutoML的NLP模型的搜索成本高得令人望而却步，因为它会排放碳，二氧化碳几乎是汽车寿命平均排放量的5倍。
在这里插入图片描述

注意机制在各种应用中得到了广泛的应用，包括1-Dlanguage处理（Vaswani等人，2017年）、二维（图像识别）和三维（视频识别）（Wang等人2018年）。它计算所有输入元素之间的成对点积，以对两个短期元素进行建模以及长期的关系。尽管该操作有效，但它引入了大量计算。

假设元素的数量（例如，语言处理中标记的长度、像素的数量在图像等中，输入到注意层的是N，而特征（即通道）的维数是d，则点积所需的计算是N2d。

为了解决这个难题，通常的做法是首先使用注意力之前的线性投影层，然后增加尺寸（如图2所示）。在transformer的原始设计中（Vaswani等人，2017），通道尺寸注意模块比FFN层小4倍。同样，在非本地视频中，网络（Wang等人，2018），在应用非本地注意模块。这种做法节省了16×或4×的计算量。然而，它也减少了语境对特征维度较小的注意层的捕获能力。情况可能更糟的是语言处理，因为注意力是获取上下文的主要模块（不像卷积进行图像和视频的主要信息捕获）。

Transformer 在自然语言处理任务（如机器翻译、问答）中应用广泛，但它需要大量计算去实现高性能，而这不适合受限于硬件资源和电池严格限制的移动应用。

这项研究提出了一种高效的移动端 NLP 架构——Lite
Transformer，它有助于在边缘设备上部署移动 NLP 应用。其核心是长短距离注意力（Long-Short Range Attention，LSRA），其中一组注意力头（通过卷积）负责局部上下文建模，而另一组则（依靠注意力）执行长距离关系建模。

这样的专门化配置使得模型在三个语言任务上都比原版 transformer 有所提升，这三个任务分别是机器翻译、文本摘要和语言建模。

在资源有限的情况下（500M/100M MACs），Lite Transformer 在 WMT’14 英法数据集上的BLEU 值比分别比 transformer 高1.2/1.7。Lite Transformer 比transformer base 模型的计算量减少了 60%，而 BLEU 分数却只降低了 0.3。结合剪枝和量化技术，研究者进一步将 Lite Transformer 模型的大小压缩到原来的 5%。

对于语言建模任务，在大约 500M MACs 上，Lite Transformer 比 transformer 的困惑度低1.8。

值得注意的是，对于移动 NLP 设置，Lite Transformer 的 BLEU 值比基于 AutoML 的 Evolved Transformer 高 0.5，而且它不需要使用成本高昂的架构搜索。

从 Lite Transformer 与 Evolved Transformer、原版 transformer 的比较结果中可以看出，Lite Transformer 的性能更佳，搜索成本相比 Evolved Transformer 大大减少。

那么，Lite Transformer 为何能够实现高性能和低成本呢？接下来我们来了解其核心思想。

长短距离注意力（LSRA）

NLP 领域的研究人员试图理解被注意力捕捉到的上下文。Kovaleva 等人 (2019) 和 Clark 等人(2020) 对 BERT 不同层的注意力权重进行了可视化。

如下图 3b 所示，权重 w 表示源句单词与目标句单词之间的关系（自注意力也是如此）。随着权重 w_ij 的增加（颜色加深），源句中的第 i 个词更加注意目标句中的第 j 个词。注意力图通常有很强的模式化特征：稀疏和对角线。它们代表了一些特定单词之间的关系：稀疏表示长距离信息间的关系，对角线表示近距离信息间的关系。研究者将前者称为「全局」关系，将后者称为「局部」关系。

图 3：Lite Transformer 架构 (a) 和注意力权重的可视化。传统的注意力 (b) 过于强调局部关系建模（参见对角线结构）。该研究使用卷积层专门处理局部特征提取工作，以高效建模局部信息，从而使注意力分支可以专门进行全局特征提取 ©。

在翻译任务中，注意力模块必须捕获全局和局部上下文，这需要很大的容量。与专门化的设计相比，这并非最佳选择。以硬件设计为例，CPU 等通用硬件的效率比 FPGA 等专用硬件低。研究者认为应该分别捕捉全局和局部上下文。模型容量较大时，可以容忍冗余，甚至可以提供更好的性能。但是在移动应用上，由于计算和功率的限制，模型应该更加高效。因此，更需要专门化的上下文捕获。

为了解决该问题，该研究提出一个更专门化的架构，即长短距离注意力（LSRA），而不是使用处理 “一般” 信息的模块。该架构分别捕获局部和全局上下文。

如图 3a 所示，LSRA 模块遵循两分支设计。左侧注意力分支负责捕获全局上下文，右侧卷积分支则建模局部上下文。研究者没有将整个输入馈送到两个分支，而是将其沿通道维度分为两部分，然后由后面的 FFN 层进行混合。这种做法将整体计算量减少了 50%。

左侧分支是正常的注意力模块（Vaswani et al. (2017)），不过通道维度减少了一半。至于处理局部关系的右分支，一个自然的想法是对序列应用卷积。使用滑动窗口，模块可以轻松地覆盖对角线组。为了进一步减少计算量，研究者将普通卷积替换为轻量级的版本，该版本由线性层和深度卷积组成。通过这种方式，研究者将注意力模块和卷积模块并排放置，引导它们对句子进行全局和局部的不同角度处理，从而使架构从这种专门化设置中受益，并实现更高的效率。

实验设置

数据集和评估研究者在机器翻译、文本摘要和语言建模三个任务上进行了实验和评估。

具体而言，机器翻译任务使用了三个基准数据集：IWSLT’14 德语 - 英语 (De-En)、WMT 英语 - 德语 (En-De)、WMT 英语 - 法语(En-Fr)。

文本摘要任务使用的是 CNN-DailyMail 数据集。

语言建模任务则在 WIKITEXT-103 数据集上进行。

架构

模型架构是基于序列到序列学习的编码器 - 解码器。在机器翻译任务中，针对 WMT 数据集，基线模型基于 Vaswani 等人提出的模型。对于 IWSLT 数据集，基线模型遵循 Wu 等人的设置。对于文本摘要任务，研究者采用了与 WMT 相同的模型。至于语言建模任务，模型与 Baevski & Auli(2019) 一致，但模型尺寸较小。

该研究提出的架构首先将 transformer base 模型中的 bottleneck 拉平，然后用 LSRA 替换自注意力。更具体地说，是使用两个专门的模块，一个注意力分支和一个卷积分支。

实验结果

机器翻译

表 1 展示了 Lite Transformer 在 IWSLT’14 De-En 数据集上的定量结果，并与 transformer 基线方法和 LightConv 做了对比。在大约 100M Mult-Adds 时，Lite Transformer 模型的 BLEU 值比 transformer 高出 1.6。

表 1：IWSLT’14 De-En 上的结果。

表 2 中的定量结果表明，在 100M Mult-Adds 设置下，Lite Transformer 在 WMT En-De 数据集和 WMT En-Fr 数据集上的 BLEU 值分别比 Transformer 高出 1.2 和 1.7，在 300M Mult-Adds 设置下，也有 0.5 和 1.5 分的提升。

表 2：在 WMT’14 En-De 和WMT’14 En-Fr 上的结果。

研究者还提供了模型在 WMT En-Fr 上的权衡曲线，如图 4a 所示，Lite Transformer 一直优于原版 transformer。
图 4：在 WMT En-Fr 数据集上的机器翻译权衡曲线，以及在 WIKITEXT-103 数据集上的语言建模权衡曲线。两个曲线都说明了在移动设置下，Lite Transformer 比 transformer 性能更佳（蓝色区域）。

与自动化设计模型的对比

与基于 AutoML 的 Evolved Transformer（ET）相比，Lite Transformer 在移动设置中也有明显的改进。此外，在 100M 和 300M 的Mult-Adds 下，Lite Transformer 的BLEU 值分别比 ET 高 0.5 和 0.2，详见表 3。

表 3：不同 NMT 模型的性能和训练成本。

文本摘要

表 4：在 CNN-DailyMail 数据集上的文本摘要结果。

表 5：在 WIKITEXT-103 数据集上的语言建模结果。

模型压缩95%：Lite Transformer，MIT韩松等人相关推荐

模型压缩95%，MIT韩松等人提出新型Lite Transformer
2020-06-08 16:31:31 选自arXiv 作者:Zhanghao Wu等机器之心编译参与:小舟.魔王 Transformer 的高性能依赖于极高的算力,这让移动端 NLP 严重受限. ...
GAN模型计算量减少至1/9！MIT韩松团队提出GAN压缩法，已开源
点上方蓝字计算机视觉联盟获取更多干货在右上方 ··· 设为星标 ★,与你不见不散编辑:Sophia 计算机视觉联盟报道 | 公众号 CVLianMeng 转载于 :机器之心 AI博士笔记系列 ...
【GAN】GAN 也可以大幅压缩，来自MIT 韩松团队的最新研究！算力消耗不到1/9，现已开源！...
关注上方"深度学习技术前沿",选择"星标公众号", 资源干货,第一时间送达! GAN 也可以大幅压缩,MIT 韩松团队的最新研究让众多研究者们为之一振. 生成模 ...
Bert/Transformer模型压缩与优化加速
前言 Bert/Transformer结构及其变体,已成为自然语言处理 (NLP).语音识别 (ASR)等领域的主流序列建模结构.并且,相比于卷积操作的局部特征提取能力.以及平移不变性,Self-At ...
韩松老师模型压缩--三步剪枝法学习笔记
韩松老师模型压缩–三步剪枝法学习笔记 Learning both Weights and Connections for Efficient Neural Networks Abstract 神经网络 ...
模型压缩高达75%，推理速度提升超20%，百度Paddle Lite v2.3正式发布
如今,诸如计算机视觉.智能语音交互等基于深度学习的AI技术,在满足日常应用层面上已经非常成熟.比如,人脸识别闸机在机场.地铁.办公楼.学校等地方随处可见.什么都不用带,只要刷个脸就行,方便快捷又省事! ...
深度学习实战——模型推理优化（模型压缩与加速）
忆如完整项目/代码详见github:https://github.com/yiru1225(转载标明出处勿白嫖 star for projects thanks) 目录系列文章目录一.实验思路综 ...
一文看懂深度学习模型压缩和加速
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达本文转自:opencv学堂 1 前言近年来深度学习模型在计算机视 ...
腾讯AI Lab开源世界首款自动化模型压缩框架PocketFlow：将深度学习装进口袋
来源:腾讯AI 实验室腾讯AI Lab机器学习中心今日宣布成功研发出世界上首款自动化深度学习模型压缩框架--PocketFlow,并即将在近期发布开源代码.这是一款面向移动端AI开发者的自动模型压缩 ...

模型压缩95%：Lite Transformer，MIT韩松等人

模型压缩95%：Lite Transformer，MIT韩松等人相关推荐

最新文章

热门文章