公开课视频(七):最强中文NLP预训练模型艾尼ERNIE官方揭秘
“最近刚好在用ERNIE写毕业论文”
“感觉还挺厉害的”
“为什么叫ERNIE啊,这名字有什么深意吗?”
“我想让艾尼帮我写作业”
看了上面火热的讨论,你一定很好奇“艾尼”、“ERNIE”到底是个啥?
自然语言处理( Natural Language Processing,简称NLP )被誉为人工智能“皇冠上的明珠”。NLP为各类企业及开发者提供用于文本分析及挖掘的核心工具,已经广泛应用在电商、文化娱乐、金融、物流等行业客户的多项业务中。
而艾尼(ERNIE),可谓是目前NLP领域的最强中文预训练模型。
9月5日,百度资深研发工程师龙老师,就通过直播带开发者走近最强中文NLP预训练模型ERNIE,在线上解读了一系列艾尼ERNIE的强大特性,并现场与同为NLP模型的BERT直接PK,让开发者连连感叹,希望能把ERNIE运用到自己的工作与生活之中。
错过了直播没关系,让我们来回顾一下课上都讲了啥~
什么是艾尼(ERINE)?
艾尼(ERNIE)是百度自研的持续学习语义理解框架,该框架支持增量引入词汇(lexical)、语法 (syntactic) 、语义(semantic)等3个层次的自定义预训练任务,能够全面捕捉训练语料中的词法、语法、语义等潜在信息。
这些任务通过多任务学习对模型进行训练更新,每当引入新任务时,该框架可在学习该任务的同时,不遗忘之前学到过的知识。这也意味着,该框架可以通过持续构建不同的预训练任务,持续提升模型效果。因此ERNIE具有了更好的语义理解能力。
ERNIE 2.0持续学习语义理解框架
ERNIE好用么?
好不好用,摆事实才知道。
直播环节中,龙老师直接用填空题的形式展示了ERNIE与BERT在填空方面的表现。
例如题目:中国历史上唯一的正统女皇帝是[?][?][?],下面是直播中两种算法的表现:
ERNIE的结果是“武则天”,而BERT的结果是“宋太帝”。ERNIE能输出“武则天”说明它确实能学到“武则天”与“女皇帝”之间的关联。
而BERT输出的“宋太帝”虽然每个字“宋”、“太”、“帝”都与“皇帝”相关,但是连在一起就不是一个完整的词,而且也不能与“女皇帝”的形成照应。
再如,陈晓的妻子是[?][?][?]
ERNIE用答案向我们证明了自己不只懂百科,也懂八卦。
通过上面的DEMO测试,我们也就引出了这样一个问题:
ERNIE和BERT最大的区别是什么?
ERNIE1.0能够充分学习词语、短语、命名实体识别中字与字之间的关系,将其整体进行掩码。而BERT不具备这样的能力。ERNIE2.0则通过持续构造辅助任务让ERNIE进行学习,会的任务越多能力越强大。
这与BERT只靠一两个任务进行预训练的思路是完全不同的。就像小学生做题,一直只练一种题型肯定是不行的,需要多种题型都会做,既要有专项突破也要有综合练习,这样才能成为真正的学霸。
随着多样的训练数据的增加,ERNIE通过持续学习就能够学得越来越好。
ERNIE作为模型,也需要与深度学习框架深度配合,才能实现最佳的效果。百度开源的深度学习框架飞桨(PaddlePaddle)对ERNIE模型有非常好的定制优化,使得其加速比达到77%,可以说是ERNIE背后的神助攻。
ERNIE借助飞桨PaddlePaddle多机分布式训练优势,利用79亿tokens训练数据(约1/4的 XLNet 数据)和64张V100(约1/8的XLNet 硬件算力)训练的ERNIE 2.0预训练模型不仅实现了在中英文16个任务上的最优效果,而且为开发人员定制自己的 NLP 模型提供了方案。
目前,百度开源了ERNIE 2.0的Fine-tuning代码和英文预训练模型。
本次基于艾尼ERNIE的直播,同步在爱奇艺、IT大咖说、BiliBili、虎牙、斗鱼五个平台同步直播,收到了近3W开发者的关注与讨论。
直播回放视频已经上线,欢迎大家继续学习~
回顾ERNIE的原理、优势以及案例,请戳阅读原文或以下链接查看回放视频:
http://play.itdks.com/watch/8591895
公开课视频(七):最强中文NLP预训练模型艾尼ERNIE官方揭秘相关推荐
- 【视频】超越BERT的最强中文NLP预训练模型艾尼ERNIE官方揭秘
分章节视频链接:http://abcxueyuan.cloud.baidu.com/#/course_detail?id=15076&courseId=15076 完整视频链接:http:// ...
- 最强中文NLP预训练模型艾尼ERNIE官方揭秘【附视频】
"最近刚好在用ERNIE写毕业论文" "感觉还挺厉害的" "为什么叫ERNIE啊,这名字有什么深意吗?" "我想让艾尼帮我写作业& ...
- 直播回顾 | 最强中文NLP预训练模型艾尼ERNIE官方揭秘
允中 发自 凹非寺 量子位 编辑 | 公众号 QbitAI "最近刚好在用ERNIE写毕业论文" 看了上面热火的讨论,你一定很好奇"艾尼"."ERNI ...
- 独家揭秘!史上最强中文NLP预训练模型 | 直播报名中
编辑部 发自 凹非寺 量子位 报道 | 公众号 QbitAI 随着AI的快速发展,相信"深度学习"对大部分人来说已经不是一个陌生的概念了.通过深度学习,计算机能够在围棋.电子竞技 ...
- 一文读懂最强中文NLP预训练模型ERNIE
基于飞桨开源的持续学习的语义理解框架ERNIE 2.0,及基于此框架的ERNIE 2.0预训练模型,在共计16个中英文任务上超越了BERT和XLNet, 取得了SOTA效果.本文带你进一步深入了解ER ...
- (SGPN)南加州大学 phd 王薇月:深度学习在点云分割中的应用 | 公开课视频内容分享总结
(SGPN)南加州大学 phd 王薇月:深度学习在点云分割中的应用 | 公开课视频内容分享总结 本博客基于论文:SGPN: Similarity Group Proposal Network for ...
- 机器学习入门的绝佳材料:斯坦福大学机器学习课程原始讲义(含公开课视频)
斯坦福大学机器学习课程原始讲义 本资源为斯坦福大学机器学习课程原始讲义,为 Andrew Ng 所讲,共计20个PDF,基本涵盖了机器学习中一些重要的模型.算法.概念,此次一并压缩上传分享给大家,朋 ...
- 肖臻公开课(七)——比特币中的挖矿难度
本笔记对应北京大学肖臻老师<区块链技术与应用>公开课第七课. 0.前言 在本节中,肖老师介绍了比特币的挖矿难度的调整算法. 1.定义 在比特币的挖矿算法中,需要找出一个"恰当&q ...
- 斯坦福大学机器学习课程原始讲义 + 公开课视频
斯坦福大学机器学习课程原始讲义 + 公开课视频 斯坦福大学机器学习课程原始讲义 本资源为斯坦福大学机器学习课程原始讲义,为 Andrew Ng 所讲,共计20个PDF,基本涵盖了机器学习中一些重要的 ...
最新文章
- (转)如何用U盘创建Linux系统盘
- 编写完html文件怎么输出,怎么编写一个html文件?在线等!!
- boost::range_const_iterato相关的测试程序
- 协同过滤——基于模型的算法
- pdf从结构新建书签_强力推荐一款PDF神器
- 使用VSCode+PlantUML+C4-Model快速画架构图
- 迷你世界远古机器人_迷你世界:第三款机器人即将上线,网友5000迷你币抽新坐骑,哭了...
- aux 参数 linux,Linux下ps aux解释
- python自动化测试怎么提高效率_自动化测试更适合缺陷预防,而不是提高测试效率...
- 2017.10.17笔记
- An动画优化之遮罩层动画
- 误操作导致系统进不去得重装,C盘资料没备份?!别慌,还有救!-200820
- android 三星 蓝牙sco,android – 来电后蓝牙SCO失败
- 启科量子可视化量子编程——QuComposer
- Paper:《CatBoost: unbiased boosting with categorical features》的翻译与解读
- 第九届蓝桥杯 螺旋折线
- ipvs命令~创建VS/NAT模式集群
- c语言编程函数名:b开头
- 手动安装openstack并配置虚拟化集成VM
- AD生成Gerber及CAM350、DFM检查
热门文章
- 李严冰:云是“三国版”计算模式的演变
- shell(12) : 报错停止往下运行
- Android驱动之MTP框架与流程
- Flutter 集成Umeng打包出现‘SDK初始化失败,请检查是否集成umeng-asms-1.2x.aar库’
- BotVS开发基础—2.7 指标MA
- T-SQL:表的创建和管理
- 电磁兼容谐波电流测试怎么做?看完这篇文章90%的人都能明白
- tcount在哪个文件里_【T】每日一生信--MEGAN4命令行参数
- WaWaYaYa儿童教育系列软件全集 76CD 下载
- 三维GIS开发:利用Cesium加载 M3D 地质体模型(附代码)