百度ERNIE 2.0发布!16项中英文任务表现超越BERT和XLNet
整理 | 夕颜出品 | AI科技大本营(ID:rgznai100)
导读:2019 年 3 月,百度正式发布 NLP 模型 ERNIE,其在中文任务中全面超越 BERT 一度引发业界广泛关注和探讨。今天,百度发布了 ERNIE 2.0,指出其在英文任务方面取得全新突破,在共计 16 个中英文任务上超越了 BERT 和 XLNet,取得了 SOTA 效果。目前,ERNIE 2.0 代码和英文预训练模型已开源。
(摄于2019年7月3日百度AI开发者大会)
今天,百度 ERNIE 再度升级,发布持续学习的语义理解框架 ERNIE 2.0,及基于此框架的 ERNIE 2.0 预训练模型。 目前,百度 ERNIE 2.0 的Fine-tuning代码和英文预训练模型已开源。 Github 项目地址:https://github.com/PaddlePaddle/ERNIE 近两年,以BERT、XLNet为代表的无监督预训练技术在语言推断、语义相似度、命名实体识别、情感分析等多个自然语言处理任务上取得了技术突破。基于大规模数据的无监督预训练技术在自然语言处理领域变得至关重要。 百度发现,之前的工作主要通过词或句子的共现信号,构建语言模型任务进行模型预训练。例如,BERT 通过掩码语言模型和下一句预测任务进行预训练。XLNet 构建了全排列的语言模型,并通过自回归的方式进行预训练。 然而,除了语言共现信息之外,语料中还包含词法、语法、语义等更多有价值的信息。例如,人名、地名、机构名等词语概念知识,句子间顺序和距离关系等结构知识,文本语义相似度和语言逻辑关系等语义知识。设想如果能持续地学习各类任务,模型的效果能否进一步提升?
ERNIE 2.0:可持续学习语义理解框架 基于此,百度提出可持续学习语义理解框架 ERNIE 2.0。该框架支持增量引入词汇(lexical)、语法 (syntactic) 、语义 (semantic) 等3个层次的自定义预训练任务,能够全面捕捉训练语料中的词法、语法、语义等潜在信息。这些任务通过多任务学习对模型进行训练更新,每当引入新任务时,该框架可在学习该任务的同时,不遗忘之前学到过的信息。这也意味着,该框架可以通过持续构建训练包含词法、句法、语义等预训练任务,持续提升模型效果。
新发布的 ERNIE 2.0 模型结构 依托该框架,百度借助飞桨 PaddlePaddle 的多机分布式训练,利用 79 亿 tokens 训练数据(约 1/4 的 XLNet 数据)和 64 张 V100 (约 1/8 的 XLNet 硬件算力),ERNIE 2.0 预训练模型不仅实现了 SOTA效果,而且为开发人员定制自己的 NLP 模型提供了方案。 百度研究团队分别比较了 ERNIE 2.0 在中英文环境上的模型效果。英文环境上,ERNIE 2.0 在自然语言理解数据集 GLUE 的 7 个任务上击败了 BERT 和 XLNet。中文上,在包括阅读理解、情感分析、问答等不同类型的 9 个数据集上超越了 BERT 并刷新了 SOTA。
ERNIE 的工作表明,在预训练过程中,通过构建各层面的无监督预训练任务,模型效果也会显著提升。未来,研究者们可沿着该思路构建更多的任务提升效果。
自 2018 年预训练语言模型 BERT 提出之后,预训练语言模型将自然语言处理的大部分任务水平提高了一个等级,这个领域的研究也掀起了热潮。如今百度 ERNIE 2.0 再度为行业提供了研究思路上的方法创新,可持续学习的特点亦将成为 NLP 领域发展里程中的注脚。
(*本文为 AI科技大本营整理文章,转载请联系微信 1092722531)
◆
精彩推荐
◆
60+技术大咖与你相约 2019 AI ProCon!大会早鸟票已售罄,优惠票速抢进行中......2019 AI开发者大会将于9月6日-7日在北京举行,这一届AI开发者大会有哪些亮点?一线公司的大牛们都在关注什么?AI行业的风向是什么?2019 AI开发者大会,倾听大牛分享,聚焦技术实践,和万千开发者共成长。
推荐阅读
认知智能的突围:NLP、知识图谱是AI下一个“掘金地”?
你想见的大神都来AI ProCon 2019了,优惠票限时抢购开启!
Python分析那些“标题党”文章
Python之父新发文,将替换现有解析器
华为否认鸿蒙为噱头;谷歌公布 6 大 iOS 漏洞;极客头条
三次创业,三次跨界,这次凭十万行核心 C 代码登上 GitHub Top 1!
64%的投资者对比特币不感兴趣,那是谁投资了比特币?
你点的每个“在看”,我都认真当成了喜欢
百度ERNIE 2.0发布!16项中英文任务表现超越BERT和XLNet相关推荐
- ACL 2019 | 基于知识增强的语言表示模型,多项NLP任务表现超越BERT
作者丨张琨 学校丨中国科学技术大学博士生 研究方向丨自然语言处理 论文动机 自从 BERT 被提出之后,整个自然语言处理领域进入了一个全新的阶段,大家纷纷使用 BERT 作为模型的初始化,或者说在 B ...
- ACL 2019 | 基于知识增强的语言表示模型,多项NLP任务表现超越BERT(附论文解读)...
来源:PaperWeekly 本文共2000字,建议阅读10分钟. 本文提出了一种新方法,将知识图谱的信息加入到模型的训练中. 论文动机 自从 BERT 被提出之后,整个自然语言处理领域进入了一个全新 ...
- 详细介绍百度ERNIE 2.0:A Continual Pre-Training Framework for Language Understanding
系列阅读: 详细介绍百度ERNIE1.0:Enhanced Representation through Knowledge Integration 详细介绍百度ERNIE 2.0:A Continu ...
- 做人类语言谜题的破壁人:百度ERNIE 2.0的突破与创造
这两天AI圈有一个广受关注的新闻,百度发布了持续学习的语义理解框架ERNIE 2.0,这个模型在1.0版本中文任务中全面超越BERT的基础上,英文任务取得了全新突破,在共计16个中英文任务上超越了BE ...
- AI芯片、框架、语言与知识、量子计算……百度大脑6.0发布
9月15日,科技界年度盛会"百度世界2020"线上开幕.今年的百度世界大会由百度与"央视新闻"联合呈现,上午刚刚结束的主论坛精彩纷呈,反响热烈,花式登上热搜:百 ...
- 国密局发布16项密码行业标准 2022年5月1日起实施
国家密码管理局现发布第43号公告.公告显示,GM/T 0005-2021<随机性检测规范>等16项密码行业标准,自2022年5月1日起实施,具体标准编号及名称如下: GM/T 0005-2 ...
- 世界级版本控制工具Vault v10.0发布,多项功能改进|附下载
2019独角兽企业重金招聘Python工程师标准>>> 版本控制工具Vault 版本更新至v10.0,增加了对SQL Server 2016,Visual Studio 2017等的 ...
- ERNIE: 2.0带来了什么
目录 前言 一.ERNIE: Enhanced Representation through Knowledge Integration Knowledge Masking Strategies 对话 ...
- 百度ERNIE登顶GLUE榜单,得分首破90大关
出品 | AI科技大本营(ID:rgznai100) 12月10日,百度ERNIE在自然语言处理领域权威数据集GLUE中登顶榜首,以9个任务平均得分首次突破90大关刷新该榜单历史,其表现超越微软MT ...
最新文章
- linux-glibc内存管理小结2(内存相关系统调用的实现)
- cad自动填写页码lisp_你被论文格式搞崩过几次心态,解决目录和页码,其它都不叫事...
- python脚本监控网站状态 - 赵海华_运维之路 - 51CTO技术博客
- 《STL源码剖析》学习--STL体现的思想
- 前端学习(1270):接口调用async/await
- 股票余额理财会影响打新吗?
- TelerikUI_RadGrid_Filter 自定义方法
- Java环境变量配置(详细操作)
- eclipseSVN的安装及使用
- opencv 摄像机标定
- 弱电工程项目管理软件
- 三菱Q系列总线型项目程序全套,三菱PLC程序+proface触摸屏双屏+电气图纸+程序注释规划表
- 单行、多行文本溢出省略号
- HanLp的应用 - 真实使用
- Torchvision transforms 总结
- 对数几率回归(逻辑回归)
- EasyExcel 轻松灵活读取Excel内容
- springboot从零开始,快捷键 快捷操作
- 中标麒麟mysql 安装_在中标麒麟上安装达梦数据库V8
- ESP32下载固件教程