ViT (Vision Transformer) ---- Text Generation（文本生成器）

使用RNN对文本预测

假如输入的文本是：the cat sat on the ma 那么下一个字符什么呢？

这里采用的是many to many模型，如下:

此时模型的输出字符概率为：

如何训练RNN模型？

如上一段英语文字，我们采用分割的方法，这里采用输入的长度为40，滑动距离为3，即从开始到第40个字符用作输入，

第41个字符用作标签数据label，如上：

输入为：Machine learning is a subset of artifici label为：a

上面是第一个训练数据对即pairs

第二个如下：

因为滑动为3，因此在第一个训练对的基础上，向后滑动三个字符在进行分割，分割距为40个字符，后面一个为对应的预测label，因此训练标签对为：

输入为：hine learning is a subset of artificial label为：I

以此类推，直到把这个段落分割完，做成训练对

制作好的数据集，开始训练，输入数据，通过rnn的最后一个状态查找字符字典，然后和label进行比对，通过交叉熵进行计算loss，在通过优化机制和反向传播更新rnn的参数矩阵，然后迭代多次即可完成训练

制作数据集

下面就开始整个数据集的制作和训练

分割数据

该步骤主要是把一段话或者一篇文章或者一本书进行字符分割，分割时有两个需要设置的参数，分割的长度，滑动长度，这里分割长度是60，滑动长度为3

字典制作

这里是制作字符的字典，英文有26个字符还要加上各种标点和空格总共有57个字符向量，现在按照顺序进行编号，然后给编号进行向量化，这样从字符到向量就完成了

第一步假设分割的段落长度为60，字符字典为57

那么每个段落对应的矩阵就表示为：

假如这里有200278这样的pair，都这样进行矩阵化，这样数据集就制作完成了

下面就是搭建模型训练了：

搭建模型并训练

ViT (Vision Transformer) ---- Text Generation（文本生成器）相关推荐

VIT(vision transformer)结构解析
文章目录背景网络结构 VIT简介 VIT模型概述参考 transformer的出现彻底改变了自然语言处理的世界,然而在计算机视觉中,注意力机制保持原卷积网络整体结构,常与卷积网络结合.或是取代卷 ...
ViT(Vision Transformer)学习
ViT(Vison Transformer)学习 Paper:An image is worth 16×16 words: transformers for image recognition at ...
ViT (Vision Transformer) ---- SimpleRNN + Attention
Attention机制最早还是要来源Bengio在2015年发表的一篇文章Neural machine translation by jointly learning to align and tra ...
ViT (Vision Transformer) ---- RNN
1.one to one 模型如何对时序数据建模? 人类大脑在阅读时,并不是把一段文字看完在思考,而是边思考变阅读,随着看完后就积累了整段文字的大意,因此处理时序数据就不能使用one to one ...
ViT (Vision Transformer) ---- Vision Transformer
ViT (Vision Transformer) ---- Transformer Model（2）
上一节详细的介绍了transform的组件,本节就通过组件进行组装transform Self-attention层: 简化: 多头self-attention 上面是单头self-attention ...
ViT (Vision Transformer) ---- Transformer Model（1）
transform是2017年提出来的,当时横扫NLP领域的多个任务,Vaswani et al. Attention Is All You Need. In NIPS,2017. transform ...
ViT (Vision Transformer) ---- SimpleRNN + Self-Attention
首先attention第一次是在2015年应用在Seq2Seq模型上的,该模型有两个网络一个是Encoder,一个是decoder,后来研究者们发现,attention不仅仅可以应用到Seq2Seq模 ...
ViT (Vision Transformer) ---- Seq2Seq
对于seq2seq模型,网上很多文章直接就把抽象模型拿出来,这样对初学者很不友好,这里采用例子进行阐述,最后在通过抽象模型理解英语翻译成德语这个网站有很多的数据集 Tokenization 和创建 ...

ViT (Vision Transformer) ---- Text Generation（文本生成器）

该步骤主要是把一段话或者一篇文章或者一本书进行字符分割，分割时有两个需要设置的参数，分割的长度，滑动长度，这里分割长度是60，滑动长度为3

ViT (Vision Transformer) ---- Text Generation（文本生成器）相关推荐

最新文章

热门文章