使用 Tokenizers 的 tokenizers

PreTrainedTokenizerFast 依赖于 Tokenizers 库。从 Tokenizers 库获得的tokenizers可以非常简单地加载到Transformers。

在详细讨论之前，让我们先用几行代码创建一个虚拟的tokenizer:

from tokenizers import Tokenizer
from tokenizers.models import BPE
from tokenizers.trainers import BpeTrainer
from tokenizers.pre_tokenizers import Whitespacetokenizer = Tokenizer(BPE(unk_token="[UNK]"))
trainer = BpeTrainer(special_tokens=["[UNK]", "[CLS]", "[SEP]", "[PAD]", "[MASK]"])tokenizer.pre_tokenizer = Whitespace()
files = [...]
tokenizer.train(files, trainer)

我们现在有一个针对我们定义的文件的训练器。我们可以继续在运行时中使用它，或者将它保存到 JSON 文件中以便将来重用。

直接从 tokenizer 对象加载

让我们看看如何在Transformers库中利用这个 tokenizer 对象。通过接受实例化的 tokenizer 对象作为参数，PreTrainedTokenizerFast 类允许简单的实例化:

from transformers import PreTrainedTokenizerFastfast_tokenizer = PreTrainedTokenizerFast(tokenizer_object=tokenizer)

这个对象现在可以用于所有方法共享的Transformerstokenizer！更多信息请访问 tokenizer 页面。

从 JSON 文件加载

为了从 JSON 文件中加载 tokenizer，让我们首先保存 tokenizer:

tokenizer.save("tokenizer.json")

我们保存这个文件的路径可以使用 tokenizer_file 参数传递给 PreTrainedTokenizerFast 初始化方法:

from transformers import PreTrainedTokenizerFastfast_tokenizer = PreTrainedTokenizerFast(tokenizer_file="tokenizer.json")

这个对象现在可以用于所有方法共享的Transformerstokenizer！更多信息请访问 tokenizer 页面。

本文是抱抱脸（Hugging Face）教程中文翻译，仅学习使用

原文链接

抱抱脸（hugging face）教程-中文翻译-使用 Tokenizers 的 tokenizers相关推荐

抱抱脸（hugging face）教程-中文翻译-模型概要
模型概要这是一个总结的模型可在Transformers.假设您熟悉最初的Transformers模型.或者温柔的介绍,看看有注释的Transformers.在我们关注模特之间的高度差异之前.你可以在 ...
抱抱脸（hugging face）教程-中文翻译-分享一个模型
分享一个模型最后两个教程展示了如何使用 PyTorch. Keras 和 Accelerate 优化分布式设置的模型.下一步就是把你的模型公之于众!我们相信公开分享知识和资源,使人工智能大众化.我们 ...
抱抱脸（hugging face）教程-中文翻译-预处理
预处理在您可以在模型中使用数据之前,需要将数据处理为模型可接受的格式.模型不理解原始文本.图像或音频.这些输入需要转换成数字并组装成张量.在本教程中,您将: 用tokenizer处理文本. 用特征提 ...
抱抱脸（hugging face）教程-中文翻译-创建一个自定义架构
创建一个自定义架构 AutoClass 自动推导模型架构,并下载预先训练的配置和权重.通常,我们建议使用 AutoClass 生成与检查点无关的代码.但是,想要更多地控制特定模型参数的用户可以从几个基 ...
MMpose 教程中文翻译-tutorial 0：学习配置文件
这是一个对mmpose docs的中文翻译,自己在阅读的时候整理的,后续会继续翻译tutorial的内容.欢饮大佬们提建议,我也只是个学习中的小菜鸡以下是mmpose教程链接教程 0:学习配置文 ...
抱抱脸（hugging face）教程-中文翻译-任务总结
任务总结任务摘要此页面显示了使用库时最常见的用例.可用的模型允许许多不同的配置,并且在用例中有很大的通用性.这里展示了最简单的方法,展示了问题回答.序列分类.命名实体识别等任务的用法. 这些示例利 ...
CMake官方教程中文翻译
看见一博主翻译的一篇官方cmke教程,觉得很不错就转载并稍作一些细小修改,我提供的3.16版本的文档是最新的,博主之前翻译的是3.7的,内容比3.16少一点点,想看3.16完整内容,下面也有链接. 提 ...
《Swift编程语言教程》中文翻译及读书笔记page21
<The Swift Programming Language>中文翻译及读书笔记,附件中为英文原版教程因21页之前内容和技术关系不大,不做翻译整理,从第21页开始第21页 1 swi ...
LAN8742 教程(2) 数据手册中文翻译(2)
LAN8742 教程(2) 数据手册中文翻译(2) LAN8742 教程(1) 数据手册中文翻译(1) LAN8742 教程(2) 数据手册中文翻译(2) 文章目录 LAN8742 教程(2) ...
LAN8742 教程(1) 数据手册中文翻译
LAN8742 教程(1) 数据手册中文翻译 LAN8742 教程(1) LAN8742 教程(1) 数据手册中文翻译文章目录 LAN8742 教程(1) 数据手册中文翻译前言 1.0 介绍 ...

抱抱脸（hugging face）教程-中文翻译-使用 Tokenizers 的 tokenizers

使用 Tokenizers 的 tokenizers

直接从 tokenizer 对象加载

从 JSON 文件加载

抱抱脸（hugging face）教程-中文翻译-使用 Tokenizers 的 tokenizers相关推荐

最新文章

热门文章