VIT attention实现（paddle2.2）

# ViT Online Class
# Author: Dr. Zhu
# Project: PaddleViT (https://github.com/BR-IDL/PaddleViT)
# 2021.11
import paddle
import paddle.nn as nnpaddle.set_device('cpu')class Attention(nn.Layer):# TODO: 补全时，删除passdef __init__(self, embed_dim, num_heads, qkv_bias=False, qk_scale=None, dropout=0., attention_dropout=0.):super().__init__()self.num_heads = num_heads self.attn_head_size = int(embed_dim / self.num_heads)self.all_head_size = self.attn_head_size * self.num_headsself.qkv = nn.Linear(embed_dim, self.all_head_size*3)if qk_scale == None:self.scales = self.attn_head_size ** -0.5else:self.scales = qk_scaleself.proj = nn.Linear(self.all_head_size, embed_dim)self.attn_dropout = nn.Dropout(attention_dropout)self.proj_dropout = nn.Dropout(dropout)self.softmax = nn.Softmax(axis=-1)def transpose_multihead(self, x):new_shape = x.shape[:-1] + [self.num_heads, self.attn_head_size]x = x.reshape(new_shape)x = x.transpose([0, 2, 1, 3])return xdef forward(self, x):qkv = self.qkv(x).chunk(3, axis=-1)q, k, v = map(self.transpose_multihead, qkv)attn = paddle.matmul(q, k, transpose_y=True)attn = attn * self.scalesattn = self.softmax(attn)attn_weights = attnattn = self.attn_dropout(attn)z = paddle.matmul(attn, v)z = z.transpose([0, 2, 1, 3])new_shape = z.shape[:-2] + [self.all_head_size]z = z.reshape(new_shape)z = self.proj(z)z = self.proj_dropout(z)return z, attn_weightsdef main():t = paddle.randn([4, 16, 96])print('input shape = ', t.shape)model = Attention(embed_dim=96, num_heads=8, qkv_bias=False, qk_scale=None, dropout=0., attention_dropout=0.)print(model)out, attn_weights = model(t)print(out.shape)print(attn_weights.shape)if __name__ == "__main__":main()

VIT attention实现（paddle2.2）相关推荐

2.一脚踹进ViT——Attention机制原理及实现
2.一脚踹进ViT--Attention机制原理及实现同样是百度飞浆课程的笔记,视频中的图就拿来用了 1. 注意力(Attenetion)机制原理先来看传统RNN结构如何最终演变到我们目前的注意力 ...
ViT (Vision Transformer) ---- SimpleRNN + Attention
Attention机制最早还是要来源Bengio在2015年发表的一篇文章Neural machine translation by jointly learning to align and tra ...
【TransformerCNNTiDE】从CNN到ViT，再从ViT到TiDE，回顾近十年顶刊和会议发表的关于Attention自注意力、Conv卷积机制以及最新诞生的TiDE模型的发展历程
目录一.CV中的Transformer介绍二.Attention机制增强CNN 前言: 1. Attention Augmented Convolutional Networks(ICCV 201 ...
Transformer不比CNN强！Local Attention和动态Depth-wise卷积的前世今生
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达作者丨Qi Han@知乎(已授权) 来源丨https://zhuan ...
美团提出基于隐式条件位置编码的Transformer，性能优于ViT和DeiT
视学算法发布机器之心编辑部 Transformer 跨界计算机视觉的热潮之下,有一个问题需要解决:如何像 CNN 一样直接处理不同尺寸的输入?对此,美团提出了一种新型隐式条件位置编码方法,基于该方法 ...
何恺明大神新作：一种用于目标检测的主流ViT架构，效果SOTA
链接:https://arxiv.org/abs/2203.16527 作者单位:Facebook AI Research 1导读 3月30日,何恺明大神团队在ArXiv上发布了最新研究工作,该工作主 ...
将大核卷积分三步，清华胡事民、南开程明明团队全新视觉骨干VAN，超越SOTA ViT和CNN...
来源:机器之心来自清华大学和南开大学的研究者提出了一种新型大核注意力(large kernel attention,LKA)模块,并在 LKA 的基础上构建了一种性能超越 SOTA 视觉 trans ...
全领域涨点 | Evolving Attention在CV与NLP领域全面涨点
本文提出了一种新型通用的注意力机制Evolving Attention来提高Transformer的性能.针对多种任务,其中包括图像分类.自然语言理解和机器翻译,本文所提出的Evolving Atte ...
VIT pytorch源码
参考 https://blog.csdn.net/weixin_44966641/article/details/118733341 长宽不等 import torch from torch impo ...

VIT attention实现（paddle2.2）

VIT attention实现（paddle2.2）相关推荐

最新文章

热门文章