计算机组成原理sop,MacBERT：MLM as correction BERT

本次分享的论文MacBERT，来自哈工大SCIR实验室，收录于Findings of EMNLP 子刊，全名为Revisiting Pre-Trained Models for Chinese Natural Language Processing，即中文自然语言处理的预训练模型再访。

论文地址：Paper

该篇论文主要做了以下三方面的工作：

(1)大量的实证研究，以重新审视中文预训练模型在各种任务上的表现，并进行了细致的分析。

(2)提出了一个新的预训练模型MacBERT，通过用其相似的单词来掩盖单词，从而缩小训练前和微调阶段之间的差距。

(3)为了进一步加快对中文NLP的研究，创建了中文预训练模型系列并发布到社区。

本文章仅针对该论文的第二个工作进行介绍，即介绍预训练模型MacBERT。MacBERT模型保持了与BERT相同的训练前任务，但做了一些修改，具体如下：

1、使用全词掩蔽和N-Gram掩蔽策略来选择候选tokens进行掩蔽，从单字符到4字符的掩蔽百分比为40%、30%、20%、10%。

2、原始BERT模型使用[MASK] token进行掩蔽，但是[MASK] token在微调阶段从未出现，这会造成预训练任务与下游微调任务不一致；因此该论文建议使用类似的单词来掩蔽需要被掩蔽的单词。

类似的单词可以通过同义词工具包(Synonyms)获得，该工具包是基于word2vec相似度计算来获取同义词的。

选择一个N-gram进行掩码时，该论文将分别找到相似的单词。在极少数情况下，当没有相似的词时，会降级使用随机词替换。

3、使用15%的百分比输入单词进行掩蔽，其中80%将替换为相似的单词，10%将替换为随机单词，剩下的10%将保留原始单词。

4、该论文使用ALBERT提出的句子顺序预测(SOP)任务替换BERT原始的NSP任务，通过切换两个连续句子的原顺序创建负样本。

注意：该论文对MacBERT模型进行预训练时使用了扩展数据。并且为了识别汉语词语的边界，使用LTP进行中文分词。

这里有一个问题，就是模型对单字符的概率是40%，对于英文来说，比较容易找到单个字符的同义词

，但是单个字符对于中文来说，大概率是无法找到同义词的，因此笔者并不理解要如何去操作。

难道要把这么多找不到同义词的使用随机替换吗？显然应该没有这么简单，可能需要源码放出来的时候，才能知道。

或者有理解的小伙伴，可以再评论中解答一下，也可以加我微信或私聊我。

训练参数

Base模型参数如下：

Large模型参数如下：

各个任务上MacBERT模型微调效果

阅读理解任务

CMRC2018数据集效果如下：

DRCD数据集效果如下：

CJRC数据集效果如下：

句子对匹配任务

XNLI、LCQMC、BQ Corpus数据集效果如下：

分类任务

情感分类任务ChnSentiCorp数据集效果如下：

文档分类任务THUCNews数据集效果如下：

消融实验

为了对比，上述提出改进点的效果，进行消融实验，结果如下图所示：

可以看出，上述提出的改进点，对于预训练语言模型来说，都有一定的提升。

总结

等论文code开源。看一下在中文数据下，单个字符是如何找到同义词的。

推荐几篇笔者文章：

计算机组成原理sop,MacBERT：MLM as correction BERT相关推荐

计算机组成原理-第二章数据表示与运算
计算机组成原理-第二章数据表示与运算一.数据的表示 1.数值型数据的表示(重点难点) 1.1数值型数据的表示--进位制 1.2数值型数据表示-码制 1.3数值型数据的表示--定点数 1.4数值型数 ...
计算机组成原理-第一章
计算机组成原理第一章概述一.计算机系统概述 1. 定义 2.分类 3.计算机系统的抽象层次二.计算机系统的组成 1.计算机系统的硬件组成 1.1冯.诺依曼计算机(重点) 1.2现代计算机结构 1. ...
计算机组成原理读写周期波形图,第3章存储器层次结构-1讲述.ppt
第3章存储器层次结构-1讲述计算机组成原理 * 计算机组成原理 --存储器层次结构(1) 2016-3-18 几个基本概念 1.存储器:计算机系统中的记忆设备,用来存放程序和数据. 2.存储元:存储 ...
计算机原理说课教案,《计算机组成原理》说课
< 计算机组成原理 > 说课 View 114 Download 5 Embed Size (px) 344 x 292429 x 357514 x 422599 x 487 DESCRI ...
计算机组成原理2套题,计算机组成原理试卷及答案2套.doc
计算机组成原理试卷A 选择题(每小题2分,共30分) 下列数中最小的数是______. A.(100100)2 B.(43)8 C.(110010)BCD D.(25)16 计算机经历了从器件角度划分 ...
计算机组成原理实验pc,计算机组成原理实验报告5- PC实验
计算机组成原理实验报告5- PC实验 2.5 PC实验姓名:孙坚学号:134173733 班级:13计算机日期:2015.5.15 一．实验要求:利用CPTH 实验仪上的K16..K23 开关做 ...
《计算机组成原理》----2.6 浮点数
本节书摘来自华章出版社<计算机组成原理>一书中的第2章,第2.6节, 作者 Computer Organization and Architecture: Themes and Vari ...
计算机组成原理文华学院,华中科技大学文华学院计算机组成原理课设.doc
<华中科技大学文华学院计算机组成原理课设.doc>由会员分享,提供在线免费全文阅读可下载,此文档格式为doc,更多相关<华中科技大学文华学院计算机组成原理课设.doc>文档请在 ...
微型计算机组成原理考试,全国高等教育自学考试计算机组成原理模拟试题
第一部分选择题(共15分) 一.单项选择题(本大题共15小题,每小题1分,共15分.在每小题列出的四个备选项中只有一个是符合题目要求的,请将其代码填写在题后的括号内.错选.多选或未选均无分.) 1． ...

计算机组成原理sop,MacBERT：MLM as correction BERT

计算机组成原理sop,MacBERT：MLM as correction BERT相关推荐

最新文章

热门文章