Predictive Attention Transformer 理解

参考文献 Predictive Attention Transformer: Improving Transformer with Attention Map Prediction

PA-transformer 的想法是将 QKT/NQK^T/\sqrt{N}QKT/N 做两种处理, 一是正常的 encode 到下一个 encode 的 QKT/NQK^T/\sqrt{N}QKT/N , 另一个是使用 2D-卷积层,
两种处理的信息以某种比例混合后用于取值投影. 混合后的信息也将有类似的两种处理.见下图

2D-卷积层.
AAA 是一个 N×N×KN \times N \times KN×N×K 矩阵. 过滤器为 3×33 \times 33×3 矩阵, 激活函数是 ReLU\text{ReLU}ReLU.

预测注意力映射为
A=softmax(αCNN(Alogs)+(1−α)Attention(X)logs).A=\text{softmax}(\alpha \text{CNN}(A_{logs}) +(1-\alpha)\text{Attention}(X)_{logs}). A=softmax(αCNN(Alogs)+(1−α)Attention(X)logs).
其中 AlogsA_{logs}Alogs 是上一层的QKT/NQK^T/\sqrt{N}QKT/N, Attention(X)logs\text{Attention}(X)_{logs}Attention(X)logs 是本层的QKT/NQK^T/\sqrt{N}QKT/N.

Predictive Attention Transformer 理解相关推荐

自然语言处理模型：bert 结构原理解析——attention+transformer（翻译自：Deconstructing BERT）
原文:Deconstructing BERT: Distilling 6 Patterns from 100 Million Parameters 关于transformer 和attention的机 ...
RAAT: Relation-Augmented Attention Transformer for Relation Modeling in Document-Level 论文解读
RAAT: Relation-Augmented Attention Transformer for Relation Modeling in Document-Level Event Extract ...
Attention机制理解笔记(空间注意力+通道注意力+CBAM+BAM)
Attention机制理解笔记声明 Attention分类(主要SA和CA) spitial attention channel attention SA + CA(spitial attentio ...
seq2seq到attention到transformer理解
1.seq2seq 1.1 模型结构 encoder ,decoder都是用RNN实现的所有信息共用一个语义表示C,C为隐藏状态缺点:无法表达序列信息句子长,效果差,丢失信息训练时: enco ...
快速串联 RNN / LSTM / Attention / transformer / BERT / GPT
参考: 李宏毅2021/2022春机器学习课程王树森 RNN & Transformer 教程 Transformer 详解文章目录 0. 背景:序列数据及相关任务 1. 早期序列模型 1 ...
Transformer理解
论文:https://arxiv.org/pdf/1706.03762.pdf 目录论文:https://arxiv.org/pdf/1706.03762.pdf Attention注意力机制: Q ...
Attention mask理解
Transformer的矩阵维度分析和Mask详解 Transformer 中self-attention以及mask操作的原理以及代码解析
Transformer 理解Tokenizer
文章目录 1.tokenizer 1.介绍 1.1 Subword tokenization 1.Byte-Pair Encoding (BPE) 2.Byte-level BPE 3.wordpie ...
ATTENTION QKV理解
https://blog.csdn.net/u013887652/article/details/101062567?depth_1-utm_source=distribute.pc_relevant ...

Predictive Attention Transformer 理解

Predictive Attention Transformer 理解相关推荐

最新文章

热门文章