【ACL2020-CMU-Google】MobileBERT:用于资源受限设备的任务无关“瘦版”BERT

点击上方，选择星标或置顶，每天给你送干货！

阅读大概需要4分钟

跟随小博主，每天进步一丢丢

整理：专知

自然语言处理(NLP)最近取得了巨大的成功，它使用了带有数亿个参数的巨大的预先训练的模型。然而，这些模型存在模型大小过大和延迟时间长等问题，因此无法部署到资源有限的移动设备上。在本文中，我们提出了压缩和加速流行的BERT模型的MobileBERT。与最初的BERT一样，MobileBERT是与任务无关的，也就是说，它可以通过简单的微调应用于各种下游NLP任务。基本上，MobileBERT是BERT_LARGE的瘦版，同时配备了瓶颈结构和精心设计的自关注和前馈网络之间的平衡。为了训练MobileBERT，我们首先训练一个特别设计的教师模型，一个倒瓶颈合并BERT_LARGE模型。然后，我们把这个老师的知识传递给MobileBERT。实证研究表明，MobileBERT比BERT_BASE小4.3倍，快5.5倍，同时在著名的基准上取得了有竞争力的结果。在GLUE的自然语言推断任务中，MobileBERT实现了GLUEscore o 77.7(比BERT_BASE低0.6)，在Pixel 4手机上实现了62毫秒的延迟。在team v1.1/v2.0的问题回答任务中，MobileBERT获得了dev F1的90.0/79.2分(比BERT_BASE高1.5/2.1分)。

https://arxiv.org/abs/2004.02984

交流学习，进群备注：昵称-学校（公司）-方向，进入DL&NLP交流群。

方向有很多：机器学习、深度学习，python，情感分析、意见挖掘、句法分析、机器翻译、人机对话、知识图谱、语音识别等。

广告商、博主勿入！

【ACL2020-CMU-Google】MobileBERT:用于资源受限设备的任务无关“瘦版”BERT相关推荐

harmonyos资料整理:HarmonyOS采用多内核设计，支持针对不同资源受限设备选用适合的OS内核(linux是一个内核，不是一个完整的操作系统，例如ubuntu 是操作系统，内核是Linux)
文章目录前言技术特性硬件互助,资源共享一次开发,多端部署统一OS,弹性部署技术架构系统安全 see also 前言 HarmonyOS是一款"面向未来".面向全场景( ...
takephoto 框架_GitHub - Smecking/TakePhoto: 一款用于在Android设备上获取照片（拍照或从相册、文件中选择）、裁剪图片、压缩图片的开源工具库...
TakePhoto是一款用于在Android设备上获取照片(拍照或从相册.文件中选择).裁剪图片.压缩图片的开源工具库,目前最新版本4.0.2. 3.0以下版本及API说明,详见TakePhoto2. ...
资源受限的移动边缘计算系统中计算卸载问题研究
摘要:本文针对边缘计算卸载问题,提出了两个创新点,并进行建模,在模拟实验中都得到了最好的结果.一是在用户-MEC-云端架构中,设计了对计算结果缓存,流行的计算结果进行缓存,再次请求则直接回复,不必计算 ...
此 Google 帐号尚未与设备关联。要安装应用，请先访问设备上的 Play 商店应用。了解详情（已解决）
当你在谷歌Play商店想要下载一些手机应用时,经常会有跳提示: 此 Google 帐号尚未与设备关联.要安装应用,请先访问设备上的 Play 商店应用. 了解详情此时需要打开你的Chrome浏览器, ...
此 Google 帐号尚未与设备关联。要安装应用，请先访问设备上的 Play 商店应用
此 Google 帐号尚未与设备关联.要安装应用,请先访问设备上的 Play 商店应用解决方案: 我在google浏览器上下载个apk文件却遇到了这种情况怎么办呢? 1.下载并安装chrome浏览 ...
boost::graph模块实现资源受限最短路径算法的示例使用
boost::graph模块实现资源受限最短路径算法的示例使用实现功能 C++实现代码实现功能 boost::graph模块实现资源受限最短路径算法的示例使用 C++实现代码 #include & ...
面向资源受限安全芯片的开放式运行环境设计
摘要: 安全芯片开放式架构实现了用户程序和操作系统的分离,降低了应用程序与安全芯片操作系统的耦合性,但同时存在国外垄断.执行效率低.内存易泄露等弊端.对于搭载了开放式运行环境的安全芯片,面向资源受限 ...
Google镜像站点资源收集
from:Google镜像站点资源收集 | 酷米田frllk http://www.frllk.com/archives/618.html Posted on 2015年4月29日 by yii ...
在Google Play发布应用显示设备数量为0，处理办法
在Google Play发布应用显示设备数量为0,处理办法当我们的应用发布在Google Play时,在 Google Play Console 可以看到此应用支持的设备数量,如果设备数量为0或者可 ...
解决Google Play商店出现“此设备未经Play保护机制认证”问题
Google Play商店出现"此设备未经Play保护机制认证"问题问题原因一般是厂商或者是自定义 Rom 没有进行 Google play 认证导致的,自己也可以做一下认证 ...

【ACL2020-CMU-Google】MobileBERT:用于资源受限设备的任务无关“瘦版”BERT

【ACL2020-CMU-Google】MobileBERT:用于资源受限设备的任务无关“瘦版”BERT相关推荐

最新文章

热门文章