transformers之中mt5和t5的区别

为了查看transformers结构之中mt5结构和t5结构的区别，这里采用代码对比法，相同的程序分别调用mt5结构和t5结构
使用mt5的结构

from transformers import T5Tokenizer, T5ForConditionalGeneration
tokenizer = T5Tokenizer.from_pretrained("/home/xiaoguzai/模型/mt5-base")
model = T5ForConditionalGeneration.from_pretrained("/home/xiaoguzai/模型/mt5-base")
input_ids = tokenizer('translate English to German: The house is wonderful.', return_tensors='pt').input_ids
outputs = model.generate(input_ids)
print(outputs)

这里输出的outputs的内容为

outputs = tensor([[     0, 250099,    260,      1]])

接着将模型改为t5结构的代码

from transformers import MT5Tokenizer, MT5ForConditionalGeneration
tokenizer = MT5Tokenizer.from_pretrained("/home/xiaoguzai/模型/mt5-base")
model = MT5ForConditionalGeneration.from_pretrained("/home/xiaoguzai/模型/mt5-base")
input_ids = tokenizer('translate English to German: The house is wonderful.', return_tensors='pt').input_ids
outputs = model.generate(input_ids)
print(outputs)

发现输出的内容一样
由此可见，transformers中调用t5和调用mt5模型结构基本相同。

transformers之中mt5和t5的区别相关推荐

NLP-文本摘要：利用预训练模型进行文本摘要任务【transformers：pipeline、T5、BART、Pegasus】
一.pipeline 可以使用pipeline快速实现文本摘要 from transformers import pipelinesummarizer = pipeline(task="su ...
Bert和T5的区别
Bert 和 T5 之间的主要区别在于预测中使用的标记(单词)的大小. Bert 预测一个由单个词组成的目标(single token masking),另一方面,T5 可以预测多个词,如上图所示.它 ...
Transformers使用mt5模型报错：ImportError: T5Converter requires the protobuf library but it was not found
1. 错误信息:T5Converter requires the protobuf library but it was not found in your environment. Checkout ...
python和mt4的区别_MT4和MT5最大的区别在哪里？
MT4.MT5到底谁更好?(史上最详细解答) MT4是一款非常经典和广受欢迎的交易软件,而MT5的推出也备受关注.随着越来越多的用户开始使用MT5,我们也收到了越来越多的关于MT5的问题,那么MT4和 ...
NLP-预训练模型-2020-NLU+NLG：mT5【多国语言版T5】
最近的"文本到文本的迁移transformer"(T5)利用统一的文本到文本的格式和大规模,在各种英语NLP任务上获得最新的结果. 在本文中,我们介绍了mT5,它是T5的多语言变体 ...
Hinton曾授课，斯坦福首个Transformers专题讲座视频放出，NLP、CV和RL无所不包
机器之心报道机器之心编辑部据了解,这是首个关于 Transformers 的专题课程. 要说在世界大学公开课中哪些属于精品,斯坦福大学的 CS 课程可谓是榜上有名.这所世界名校先后免费公开了众多课 ...
为什么 MT5 功能优于 MT4？限制更少吗？
我们都知道大多数交易者都使用 MT4 平台,尽管它已经有将近 15 年的历史了.在那些年里,技术世界发生了很大变化,然而,交易者仍坚持使用古老的 MT4.在本文中,我们将尝试找出MT4和MT5功能之间 ...
mT5: A Massively Multilingual Pre-trained Text-to-Text Transformer
mT5 摘要研究问题预训练模型.针对T5只是应用于英语的NLP任务.提出一种多语言版本的T5模型. 主要工作按照C4数据集的创建方法,创建了一个多语言的数据集mC4. 提出T5的多语言版本mT5 ...
php 进程与线程,php进程和线程的区别
进程:进程狭义的说就是正在运行的程序的实例,广义的说进程是一个具有一定独立功能的程序关于某个数据集合的一次运行活动.(推荐学习:PHP编程从入门到精通) 它是操作系统动态执行的基本单元,在传统的操作系 ...

transformers之中mt5和t5的区别

transformers之中mt5和t5的区别相关推荐

最新文章

热门文章