WordPiece 和 BPE 的区别

总结

传统词表示方法没有办法很好地处理未知或罕见的词汇。
WordPiece 和 BPE 是两种子词切分算法，两者非常相似。
WordPiece用于BERT，DistilBERT。
BPE使用RoBERTa。

BPE和WordPiece的区别在于如何选择两个子词进行合并。

BPE的词表创建过程：

首先初始化词表，词表中包含了训练数据中出现的所有字符。
然后两两拼接字符，统计字符对在训练数据中出现的频率。
选择出现频率最高的一组字符对加入词表中。

反复2和3，直到词表大小达到指定大小。

WordPiece是贪心的最长匹配搜索算法。基本流程：
首先初始化词表，词表包含了训练数据中出现的所有字符。
2. 然后两两拼接字符，统计字符对加入词表后对语言模型的似然值的提升程度。
3. 选择提升语言模型似然值最大的一组字符对加入词表中。

反复2和3，直到词表大小达到指定大小。

什么是语言模型的似然值以及如何统计似然值的提升程度（Byte Pair Encoding and WordPiece Model自词算法详解）：

概率：一件事发生的可能性
似然性：与概率相反，一件事已经发生，反推在什么情况下，这件事发生的概率最大
似然函数可以表示为：

互信息：可以看做一个随机变量中包含的关于另一个随机变量的信息量，或者说，一个随机变量由于已知另一个随机变量而减少的不确定性。

官网阐述BPE和WordPiece的区别于联系：

链接

WordPiece实现源码

    def tokenize(self, text):"""Tokenizes a piece of text into its word pieces.This uses a greedy longest-match-first algorithm to perform tokenizationusing the given vocabulary.For example:input = "unaffable"output = ["un", "##aff", "##able"]Args:text: A single token or whitespace separated tokens. This should havealready been passed through `BasicTokenizer`.Returns:A list of wordpiece tokens."""def whitespace_tokenize(text):"""Runs basic whitespace cleaning and splitting on a peice of text."""text = text.strip()if not text:return []tokens = text.split()return tokensoutput_tokens = []for token in whitespace_tokenize(text):chars = list(token)if len(chars) > self.max_input_chars_per_word:  #max_input_chars_per_word 默认为 100output_tokens.append(self.unk_token) # 单词长度大于最大长度，用[UNK]表示单词continueis_bad = Falsestart = 0sub_tokens = []while start < len(chars):end = len(chars)cur_substr = Nonewhile start < end: # 贪心的最长匹配搜索 end从最后一位往前遍历，每移动一位，判断start:end是否存在于词表中substr = "".join(chars[start:end])if start > 0: # 若子词不是从位置0开始，前面要加“##”substr = "##" + substrif substr in self.vocab:cur_substr = substrbreakend -= 1if cur_substr is None: #没有在词表中出现的子词，breakis_bad = Truebreaksub_tokens.append(cur_substr)start = end # 从上一子词的后一位开始下一轮遍历if is_bad: #没有在词表中出现的子词（单词中的任何区域），用[unk]表示该词：比如“wordfi”，首先确定“word”为子词，后发现“fi”不存在在词表中，则最终用[UNK]表示“wordfi”output_tokens.append(self.unk_token)else:output_tokens.extend(sub_tokens)return output_tokens

WordPiece 和 BPE 的区别相关推荐

NLP技术中的Tokenization
©作者 | Gam Waiciu 单位 | QTrade AI研发中心研究方向 | 自然语言处理前言今天我们来聊一聊 NLP 技术中的 Tokenization.之所以想要聊这个话题,是因为,一 ...
算法岗SSP offer收割指南！
文 | 林小平源 | 知乎前序在本文开始以前,林小平首先需要声明的是这篇超详细面经并不是笔者本人的求职笔记,它是笔者学校隔壁实验室22届毕业学弟的面试心路历程和经验心得.由于笔者和这位学弟经常讨 ...
哈工大SCIR出品《自然语言处理》新书，无套路送5本！
自然语言处理面临着8个难点,即语言的抽象性.组合性.歧义性.进化性.非规范性.主观性.知识性及难移植性. 正是由于这些难点的存在,导致自然语言处理任务纷繁复杂. 不过,虽然自然语言处理任务多种多样,却 ...
NLP相关论点-浅谈
大纲 wordpiece softmax sigmoid和softmax的区别和适用范围 LSTM和GRU的区别损失函数 MSE(Mean Squared Error Loss)均方差损失交叉熵损 ...
Stanford NLP2
Lesson 7:Neural Machine Translation gradient vanishing 根据chain rule,如果前三个都很小,gradient vanish Conside ...
有必要了解的Subword算法模型
点击下方标题,迅速定位到你感兴趣的内容前言介绍 Subword算法 Byte Pair Encoding(BPE) Wordpiece\Sentecepiece model unigram lan ...
Self-Supervised Learning (ELMO, BERT, GPT, Auto-encoder)
目录 The models become larger and larger - Self-supervised Learning ELMO (feature-based) How to repres ...
[NLP] 自然语言处理基础任务介绍
概述本文主要介绍NLP相关基础任务是什么,而不是怎么做.自然语言处理的一大特点是任务种类纷繁复杂,有多种划分的方式.从处理顺序的角度,可以分为底层的基础任务以及上层的应用任务.基础任务输出的结果往往 ...
【NLP】机器如何认识文本？NLP中的Tokenization方法总结
Tokenization 关于Tokenization,网上有翻译成"分词"的,但是我觉得不是很准确,容易引起误导.一直找不到合适的中文来恰当表达,所以下文采用原汁原味的英文表达. ...
Transformer 这么强，该从何学起？
Transformer 作为一种基于注意力的编码器 - 解码器架构,不仅彻底改变了自然语言处理(NLP)领域,还在计算机视觉(CV)领域做出了一些开创性的工作.与卷积神经网络(CNN)相比,视觉 Tr ...

WordPiece 和 BPE 的区别

总结

官网阐述BPE和WordPiece的区别于联系：

WordPiece实现源码

WordPiece 和 BPE 的区别相关推荐

最新文章

热门文章