出品 |  AI科技大本营（ID:rgznai100）

12月10日，百度ERNIE在自然语言处理领域权威数据集GLUE中登顶榜首，以9个任务平均得分首次突破90大关刷新该榜单历史，其表现超越微软MT-DNN-SMART, 谷歌T5、ALBERT等一众顶级预训练模型。

2018年底以来，以BERT为代表的预训练模型大幅提升了自然语言处理任务的基准效果，取得了显著技术突破，基于大规模数据的预训练技术在自然语言处理领域变得至关重要。众AI公司纷纷发力预训练领域，相继发布了XLNet、RoBERTa、ALBERT、T5等预训练模型。百度也先后发布了ERNIE 1.0、ERNIE 2.0，在16个中英数据集上取得了当时的SOTA。

从GLUE排行榜上来看，BERT使用预训练加微调的方式，相对过往的基线成绩大幅提升各任务的效果，首次突破了80大关。XLNet、RoBERTa、T5、MT-DNN-SMART等模型则分布在88-89分范围，人类水平则是87.1。

百度ERNIE此次登顶，并在CoLA、SST-2、QQP、WNLI等数据集上达到SOTA。相对BERT的80.5的成绩，提升近10个点，取得了显著的效果突破。

百度ERNIE 2.0原理示意图

ERNIE 2.0 持续学习的语义理解框架, 支持增量引入不同角度的自定义预训练任务，通过多任务学习对模型进行训练更新，每当引入新任务时，该框架可在学习该任务的同时，不遗忘之前学到过的信息。

此次登顶的模型主要基于ERNIE 2.0持续学习语义理解框架下的系列优化。引入更多新预训练任务, 例如引入基于互信息的动态边界掩码算法。对预训练数据和模型结构也做了精细化调整。

同时，百度ERNIE 2.0的论文（https://arxiv.org/abs/1907.12412）已被国际人工智能顶级学术会议AAAI-2020收录，AAAI-2020将于2020年2月7日-12日在美国纽约举行, 届时百度的技术团队将会进一步展示近期的技术成果。

据介绍，ERNIE预训练技术已广泛地应用于公司内外多个产品和技术场景，在百度搜索、小度音箱、信息流推荐等一系列产品应用中发挥了重要作用，大幅提升了产品的技术效果和用户体验，逐步赋能各行各业。

（*本文为AI科技大本营整理文章，转载请微信联系 1092722531）

◆

精彩公开课

◆

推荐阅读

  • 数学学渣必备！拍照上传，分步求解，微软解题神器拯救你

  • 蚂蚁金服提新概率图模型GLN，正确率提升8.2%，具备可解释性 | NeurIPS 2019

  • 后深度学习时代的一大研究热点？论因果关系及其构建思路

  • LatentFusion：华盛顿大学与英伟达联合提出6D姿态估计新方法

  • 那些打着AI万金油旗号的产品欺骗大众，如何识别?

  • 扛住100亿次请求——如何做一个“有把握”的春晚红包系统

  • 「刷新 CTO」微软与 CSDN 的 CTO 转型思想汇

  • 华为鸿蒙 OS 2020 计划曝光！手机仍然优先用安卓

  • 用象棋的思维趣说 IT 人的职业发展和钱途

  • 你点的每个“在看”，我都认真当成了AI

百度ERNIE登顶GLUE榜单，得分首破90大关相关推荐

  1. 百度翻译十年：语种全球首破200大关，质量提升30个百分点，每天翻译超千亿字符...

    金磊 发自 凹非寺 量子位 报道 | 公众号 QbitAI 十年,能让一个机器翻译系统发生怎样的变化? 2011年,TA还只会"中-英"翻译这一项技能.但TA却用十年时间,在翻译这 ...

  2. 重磅！百度多模态模型ERNIE-ViL刷新5项任务纪录，并登顶权威榜单VCR

    ** 关注[百度NLP]微信官方公众号,及时获取更多自然语言处理技术干货! ** 阅读原文,获取相关论文地址:https://mp.weixin.qq.com/s/nB_yCkEXkgjv7saKpc ...

  3. NLP界的「MVP」再次夺冠，刷新GLUE榜单

    视学算法发布 机器之心编辑部 刷新多项任务分数,百度自研的语义理解技术与平台文心 ERNIE 再次登上了 GLUE 的榜首. 近日,自然语言处理领域权威排行榜--GLUE(通用语言理解评估基准)新排名 ...

  4. 登顶CLUE榜单，腾讯云小微与腾讯AI Lab联合团队提出基于知识的中文预训练模型...

    点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达 2018年以来,以BERT.GPT等为代表的大规模预训练模型,带来了 ...

  5. AMD首款5纳米PC处理器锐龙7000亮相，频率首破5GHz大关，单核性能提升15%

    丰色 发自 凹非寺 量子位 | 公众号 QbitAI COMPUTEX(台北电脑展)线上发布会上,苏妈带着AMD新一代锐龙7000系列处理器如约而至. 这款最新CPU升级为5nm Zen4架构,单核性 ...

  6. ACL 2021 | 百度NLP开源语言与视觉一体的统一模态预训练方法，登顶各类榜单

    视学算法报道 机器之心编辑部 百度首创地提出了语言与视觉一体的预训练方法 UNIMO,提供了一种新的统一模态学习范式,打破了文本.图像和图文对等数据间的边界,让机器可以像人一样利用大规模异构模态数据, ...

  7. 百度 ERNIE 在 GLUE 大赛中击败了微软和谷歌

    受中英文差异的启发,ERNIE 的成功表明人工智能研究可以集百家之长. 作者 | Karen Hao 译者 | 弯月,责编 | Elle 出品 | CSDN(ID:CSDNnews) 以下为译文: 本 ...

  8. 秒拍5月榜单：首推川渝作者原创榜，各榜新面孔持续涌现

    6月1日,秒拍发布5月短视频行业系列榜单,包含原创作者榜.风云榜.影响力榜.美食榜.时尚榜.MCN机构榜.川渝作者原创榜七大榜单.自2016年6月起,秒拍每月初推出热门原创短视频PGC榜单:同年9月起 ...

  9. 百度ERNIE新突破，登顶中文医疗信息处理权威榜单CBLUE冠军

    医疗领域存在大量的专业知识和医学术语,人类经过长时间的学习才能成为一名优秀的医生.那机器如何才能"读懂"医疗文献呢?尤其是面对电子病历.生物医疗文献中存在的大量非结构化.非标准化文 ...

最新文章

  1. 2、计算机图形学——3D变换
  2. 广西2021高考成绩什么时候可以查询,2021年广西高考成绩什么时候公布出来,几月几号几点钟可以查询...
  3. jquery获取select中的option的text值
  4. caffe编译出现 libcudart.so.8.0 cannot open shared object file: No such file or directory的错去
  5. epp是什么意思_什么是1K/2K/3K注塑？
  6. Mysql入门的10条语句
  7. 【读一本书】《昇腾AI处理器架构与编程》--神经网络基础知识(2)
  8. vue入门：（组件）
  9. Go基础-核心特性和前景
  10. pikachu暴力破解（burpsuite）
  11. 苹果手机清灰_手机听筒喇叭声音越来越小？来试试这三个小技巧
  12. cocos2dx资料汇总 - 持续更新
  13. 中兴通讯携MF30打造高速无线网络
  14. Python使用webdriver爬取百度文库
  15. 如何操作最快的硬盘对拷工具
  16. 杭州治堵有“智慧” 阿里云数加激活城市大脑
  17. html5对锚的更改,HTML5之锚链接
  18. ei会议论文含金量高吗？
  19. python入门指南
  20. YGG 与 Web3 平台 Strider 达成合作，用 DAO 工具和资源为创作社区赋能

热门文章

  1. “移花接木”偷换广告：HTTPS劫匪木马每天打劫200万次网络访问
  2. C#隐藏手机号中间四位为*
  3. Vue 数组中更新属性值后，视图不更新，等待其他元素更新后会触发的解决办法...
  4. mysql limit offset
  5. 【BZOJ】3542: DZY Loves March
  6. Topcoder SRM 663 DIV 1
  7. django 中文乱码或不识别
  8. 用自己的×××身换来男朋友的健康
  9. 辞职之后的思考--激励
  10. spring jpa @Query中使用in