【NLP】5 分钟理解百度 ERNIE 核心思想
❝
本文主要帮助读者超短时间内理解 ERNIE 核心思想，适合正在准备面试百度的同学 (如果需要内推可以找我)。如果想要细致了解 ERNIE 的各个细节，建议读原论文：ERNIE1.0 和 ERNIE2.0
❞
本文假设读者对 Transformer 以及 BERT 有一定的了解。
ERNIE 1.0
「ERNIE1.0 主要是改进了 BERT 的 MLM 任务。」 我们看图说话，
从图中，我们很容易发现 ERNIE1.0 对于 BERT 的改进是在 MLM 任务。在论文，作者阐述了三种不同的 mask 技巧：
基础 mask：任意 mask 一个单词 (BERT 所采用的 mask 类型)
短语 mask：不是将单词看成一个整体，而是将短语看成一个整体；(比如上图中，mask 了 a series of 而不仅仅是 of)
实体 mask：mask 一个实体名。(比如上图中，mask 的是 J.K.Rowling，而不是 K.)
好了，这样子最初版的 ERNIE 就讲完了。下面我们开始讲 ERNIE2.0.
ERNIE 2.0
「ERNIE2.0 主要是在 ERNIE1.0 的基础上，使用了新的多任务训练的框架。」 BERT 的预训练中，采用了 MLM 和 NSP 两种任务，目的是为了让模型能够学出更好的词表示向量，以及句子之间的关系。对于这样的多任务训练，ERNIE2.0 系统化的提出了 3 大类任务，并让 ERNIE 基于这三大类任务进行学习。我们先看图：
我们首先介绍这三大类任务，然后再介绍任务训练的方式。
预训练的三大任务
单词层面预训练任务：
知识 mask：ERNIE1.0 介绍的 mask；
单词 - 文章关系：预测一个单词是否会出现在一篇文章中，可以让模型抓住文章主旨；
首字母大写预测：一般实体的首字母得大写，所以这个任务有助于 NER 任务
结构层面预训练任务：
文章句子排序：将一组乱序的句子，重新排序成一个段落；
句子距离预测：3 分类任务，“0” 表示是一个文章中紧挨着的句子，“1” 表示是一个文章中的句子，但不是紧挨着的，“2” 表示不是一个文章中的句子
语义层面预训练任务：
语义关系：预测两个句子之间的语义关系或者修辞关系
信息检索相关性：预测 query 和 title 是否相关的 3 分类任务。“0” 表示强相关，“1” 表示若相关，“2” 表示完全不相关。
训练方式
ERNIE2.0 采用的是序列多任务学习 (Sequential Multi-task Learning)。这样学习是为了让模型巩固之前的任务所学到的知识。
最终，ERNIE2.0 预训练的整体框架为：
往期精彩回顾适合初学者入门人工智能的路线及资料下载机器学习及深度学习笔记等资料打印机器学习在线手册深度学习笔记专辑《统计学习方法》的代码复现专辑
AI基础下载机器学习的数学基础专辑温州大学《机器学习课程》视频
本站qq群851320808，加入微信群请扫码：【NLP】5 分钟理解百度 ERNIE 核心思想相关推荐
- 《深入理解SPARK：核心思想与源码分析》（第1章）
自己牺牲了7个月的周末和下班空闲时间,通过研究Spark源码和原理,总结整理的<深入理解Spark:核心思想与源码分析>一书现在已经正式出版上市,目前亚马逊.京东.当当.天猫等网站均有销售 ...
- 深入理解Spark：核心思想与源码分析
大数据技术丛书 深入理解Spark:核心思想与源码分析 耿嘉安 著 图书在版编目(CIP)数据 深入理解Spark:核心思想与源码分析/耿嘉安著. -北京:机械工业出版社,2015.12 (大数据技术 ...
- 《深入理解Spark：核心思想与源码分析》——SparkContext的初始化（叔篇）——TaskScheduler的启动...
<深入理解Spark:核心思想与源码分析>一书前言的内容请看链接<深入理解SPARK:核心思想与源码分析>一书正式出版上市 <深入理解Spark:核心思想与源码分析> ...
- 深入理解Spark：核心思想与源码分析. 3.9 启动测量系统MetricsSystem
3.9 启动测量系统MetricsSystem MetricsSystem使用codahale提供的第三方测量仓库Metrics,有关Metrics的具体信息可以参考附录D.MetricsSystem ...
- 百度孙宇：百度语义理解技术ERNIE及其应用
不到现场,照样看最干货的学术报告! 嗨,大家好.这里是学术报告专栏,读芯术小编不定期挑选并亲自跑会,为大家奉献科技领域最优秀的学术报告,为同学们记录报告干货,并想方设法搞到一手的PPT和现场视频--足 ...
- 《深入理解Spark:核心思想与源码分析》——1.2节Spark初体验
本节书摘来自华章社区<深入理解Spark:核心思想与源码分析>一书中的第1章,第1.2节Spark初体验,作者耿嘉安,更多章节内容可以访问云栖社区"华章社区"公众号查看 ...
- 《深入理解Spark:核心思想与源码分析》——第1章环境准备
本节书摘来自华章社区<深入理解Spark:核心思想与源码分析>一书中的第1章环境准备,作者耿嘉安,更多章节内容可以访问云栖社区"华章社区"公众号查看 第1章 环 境 准 ...
- 《深入理解Spark:核心思想与源码分析》——3.10节创建和启动ExecutorAllocationManager...
本节书摘来自华章社区<深入理解Spark:核心思想与源码分析>一书中的第3章,第3.10节创建和启动ExecutorAllocationManager,作者耿嘉安,更多章节内容可以访问云栖 ...
- 小马哥spring编程核心思想_Spring核心思想理解
前言 在拉勾教育Java高薪训练营再次学习了spring,再次感叹spring的核心思想.强调一下,IOC和AOP是一个技术思想(理论),并不是spring提出的,spring在技术层次把这两个思想做 ...
最新文章
- 三十三、分治算法---汉诺塔问题
- weblogic反序列化漏洞CVE-2018-2628-批量检测脚本
- SPCOMM的一些用法注意
- 人脸识别损失函数综述（附开源地址）
- poj 3608 旋转卡壳求不相交凸包最近距离；
- linux常用工具及命令
- HashMap源码学习
- 英特尔将开源进行到底！
- C++开源日志库选择
- java程序员推荐app_Java程序员面试大全app
- IntelliJ IDEA 字体配置常用快捷键
- 国外计算机论文范文精选,国外计算机论文参考范文.doc
- 电子设计（8）NPN和PNP三极管驱动LED电路
- 拜尔滤色拜尔滤色镜_如何在Windows 10上启用滤色器以更清晰地阅读屏幕
- 02-AD软件基本使用第二讲（器件介绍）
- 使用D触发器完成带有异步清零clrn和同步使能wen的8位寄存器
- POI获取单元格颜色与设置单元格颜色
- Synopsys Formality 2018操作流程
- Wordpress搭建笔录
- 系统关键文件丢失或损坏