1.one to one 模型

如何对时序数据建模？

人类大脑在阅读时，并不是把一段文字看完在思考，而是边思考变阅读，随着看完后就积累了整段文字的大意，因此处理时序数据就不能使用one to one 模型

什么是one to one模型？

一个输入对应一个输出，例如输入一张图片，输出类别概率值，one to one 适应图片，但是不适应文件，因为文本的输入不固定，输出也不固定，一句话可长可短，翻译时输出也是可长可短，

因此one to one模型不适合时序数据，适合时序数据的模型应该是 many to many 或者 many to one，RNN就是这样的模型

rnn的ht和人的大脑很类似，人的大脑随着阅读会积累信息，那么ht也会随着输入积累序列的信息

h_0 只积累了输入x_0的信息，h_1积累了输入x_0和x_1的信息，，，，h_t积累了输入的x_0、x_1、x_2、、、x_t的信息，注意这里的rnn只有一个参数A，无论链多长，只有一个参数A，A的参数开始是随机初始化，利用训练数据学习A的参数

2.Simple RNN

简单的simple RNN可以发现输入和输出以及参数之间的关系，首先输入是有两部分组成，输入的x_t和上一个输出的状态h_t-1的concat链接，A矩阵就是RNN的需要学习的矩阵，tanh是激活函数，h_t是当前的输出

2.这里在获取状态前需要经过tanh激活函数，没有激活函数是否可以？答案是不可以

因为如果没有激活函数，多层后，输出的状态值要么爆炸，要么为0，使用激活的目的就是对数据进行正则化，使其规范到0到-1

ViT (Vision Transformer) ---- RNN相关推荐

VIT(vision transformer)结构解析
文章目录背景网络结构 VIT简介 VIT模型概述参考 transformer的出现彻底改变了自然语言处理的世界,然而在计算机视觉中,注意力机制保持原卷积网络整体结构,常与卷积网络结合.或是取代卷 ...
ViT(Vision Transformer)学习
ViT(Vison Transformer)学习 Paper:An image is worth 16×16 words: transformers for image recognition at ...
ViT (Vision Transformer) ---- SimpleRNN + Attention
Attention机制最早还是要来源Bengio在2015年发表的一篇文章Neural machine translation by jointly learning to align and tra ...
ViT (Vision Transformer) ---- Transformer Model（1）
transform是2017年提出来的,当时横扫NLP领域的多个任务,Vaswani et al. Attention Is All You Need. In NIPS,2017. transform ...
ViT (Vision Transformer) ---- SimpleRNN + Self-Attention
首先attention第一次是在2015年应用在Seq2Seq模型上的,该模型有两个网络一个是Encoder,一个是decoder,后来研究者们发现,attention不仅仅可以应用到Seq2Seq模 ...
ViT (Vision Transformer) ---- Seq2Seq
对于seq2seq模型,网上很多文章直接就把抽象模型拿出来,这样对初学者很不友好,这里采用例子进行阐述,最后在通过抽象模型理解英语翻译成德语这个网站有很多的数据集 Tokenization 和创建 ...
ViT (Vision Transformer) ---- Text Generation（文本生成器）
使用RNN对文本预测假如输入的文本是:the cat sat on the ma 那么下一个字符什么呢? 这里采用的是many to many模型,如下: 此时模型的输出字符概率为: 如何训 ...
ViT (Vision Transformer) ----LSTM网络
LSTM是对RNN的改进,主要改进RNN的梯度消失的问题即长依赖问题,那么具体如何解决的呢? 由上图可以发现增加了三个门,那么这三个门是如何解决长依赖问题的呢?LSTM最大的设计就是传输带C,就是通过 ...
ViT (Vision Transformer) ---- Vision Transformer

ViT (Vision Transformer) ---- RNN

1.one to one 模型

2.Simple RNN

ViT (Vision Transformer) ---- RNN相关推荐

最新文章

热门文章