Transformer的position embedding

1. position embedding 位置编码
我们为什么要引入位置编呢？主要有以下几个原因：

文本是时序型数据，词与词之间的顺序关系往往影响整个句子的含义。
transformer模型的self-attention层并没有包含位置信息，即一句话中词语在不同的位置时在transformer中是没有区别的。

我们要想让位置信息参与训练，就要构造一个跟输入embedding维度一样的矩阵，然后跟输入embedding相加得到multi-head attention （这个会在后面的部分讲解到）的输入。position encoding说白了就是一个矩阵，那么这个矩阵如何生成，生成

其中，PE为二维矩阵，维度跟输入embedding的维度一样，行表示词语，列表示词向量；pos 表示词语在句子中的位置；i表示在该词语中，词向量所在的位置（在哪一个dimension）。因此，上述公式表示在每个词语的词向量的偶数位置添加sin变量，奇数位置添加cos变量，以此来填满整个PE矩阵，然后加到input embedding中去，这样便完成位置编码的引入了。

为什么要用三角函数来表示位置信息呢？ 其实也用其他的表示方式，对于transformer模型的positional encoding有两种主流方式：

绝对位置编码
相对位置编码

Transformer的position embedding相关推荐

position embedding
[转载] 关于Transformer中的position embedding 一文教你彻底理解Transformer中的positional encoding Transformer中position ...
1.Transformer的word embedding、position embedding、编码器子注意力的掩码
来源 B站up:deep_thoughts https://www.bilibili.com/video/BV1cP4y1V7GF/?spm_id_from=333.1007.top_right_ba ...
Roformer：Enhanced Transformer with rotary position embedding
Roformer:Enhanced Transformer with rotary position embedding Intorduction Method Experiment 代码实现 Con ...
文献阅读：RoFormer: Enhanced Transformer with Rotary Position Embedding
文献阅读:RoFormer: Enhanced Transformer with Rotary Position Embedding 1. 工作简介 2. 常见位置编码方式 1. 绝对位置编码 1. ...
深度学习笔记--Transformer中position encoding的源码理解与实现
1--源码 import torch import math import numpy as np import torch.nn as nnclass Pos_Embed(nn.Module):de ...
transformer中pos embedding原理
TensorFlow代码如下 def get_position_encoding(length, hidden_size, min_timescale=1.0, max_timescale=1.0e4 ...
TRS 中的position embedding
Rotary Position Embedding (RoPE, 旋转式位置编码) | 原理讲解+torch代码实现
深度学习进阶篇-预训练模型[3]：XLNet、BERT、GPT,ELMO的区别优缺点，模型框架、一些Trick、Transformer Encoder等原理详细讲解
[深度学习入门到进阶]必看系列,含激活函数.优化策略.损失函数.模型调优.归一化算法.卷积模型.序列模型.预训练模型.对抗神经网络等专栏详细介绍:[深度学习入门到进阶]必看系列,含激活函数.优化策略 ...

Transformer的position embedding

Transformer的position embedding相关推荐

最新文章

热门文章