【Transformer】ACMix：On the Integration of Self-Attention and Convolution

文章目录

一、背景和动机
二、方法
三、效果

一、背景和动机

卷积核自注意机制是两个很有效的特征提取方法，但这两个方法通常被认为是两种不同机制的方法。

卷积方法是对局部进行特征抽取，全局特征共享，自注意力方法是全局像素的权重提取。

本文作者认为这两者有很强的底层关系，所以从大范围上来说，这两者的计算机制是类似的。

之前也有一些工作将这两者进行结合，如：

SENet，CBAM 等则说明了自注意机制可以对卷积网络模型起到帮助。
SAN，BoTNet 等使用自注意模型来代替卷积操作
AA-ResNet，Container 等将两者进行了结合，但两个模块分别使用了不同的 path，所以本质上还是分别使用了两种机制。

所以，两者之间的底层联系其实还没有被完全探索

基于此，作者开始了探索两者之间的关系

分解两者之后，作者认为他们都是依赖于 1x1 卷积的，所以作者提出了一个混合模型——ACMix，将两者结合在一起。

二、方法

1、将输入特征使用 1x1 卷积映射为中间特征

2、将该中间特征分别使用自注意和卷积进行处理

ACMix 的过程如图2c所示：

Stage 1：使用 3 个 1x1 卷积，将输入映射为 3 种不同的特征，并将没种特征切分为 N pieces，此时就得到了 3xN 个中间特征

Stage 2：对 Stage 1 得到的中间特征分别处理

self-attention path：将中间特征聚合为 N 个组，每个组中包含了 3 个 pieces，每个 pieces 都来自于不同的 1x1 卷积产生的特征。然后将这 3 个 pieces 的特征用作 q、k、v，输入多头自注意模块中。
convolution path：使用全连接层产生 k2k^2k2 个特征图，然后通过平移和聚合，产生和卷积相同的效果。

最后，使用如下方法聚合两者：

三、效果

【Transformer】ACMix：On the Integration of Self-Attention and Convolution相关推荐

【Transformer】ViT：An image is worth 16x16: transformers for image recognition at scale
文章目录一.背景和动机二.方法三.效果四.Vision Transformer 学习到图像的哪些特征了五.代码代码链接:https://github.com/lucidrains/vit- ...
【Transformer】HRFormer：High-Resolution Transformer for Dense Prediction
文章目录一.背景二.动机三.方法四.效果论文链接:https://arxiv.org/abs/2110.09408 代码链接:https://github.com/HRNet/HRForme ...
【Transformer】CrossFormer：A versatile vision transformer based on cross-scale attention
文章目录一.背景二.动机三.方法 3.1 Cross-scale Embedding Layer(CEL) 3.2 Cross-former Block 3.2.1 Long Short Dis ...
【NLP】GPT：第一个引入Transformer的预训练模型
目前两种最重要的预训练语言模型,一种是前面介绍过的BERT,另外一种就是GPT. GPT出了两个版本,GPT1.0和GPT2.0,GPT2.0相对于GPT1.0差别不大,可以认为是它的增强版.本篇介绍 ...
【自然语言处理】【多模态】UniT：基于统一Transformer的多模态多任务学习
UniT:基于统一Transformer的多模态多任务学习 <UniT:Multimodal Multitask Learning with a Unified Transformer> ...
【NLP】XLnet：GPT和BERT的合体，博采众长，所以更强
前面介绍过BERT,作为一种非常成功的预训练模型,取得了非常不错的成绩,那么,他还有改进的空间吗? 本文介绍BERT的改进版,XLnet.看看它用了什么方法,改进了BERT的哪些弱点. 作者& ...
【自然语言处理】【多模态】CLIP：从自然语言监督中学习可迁移视觉模型
从自然语言监督中学习可迁移视觉模型 <Learning Transferable Visual Models From Natural Language Supervision> 论文地址 ...
【自然语言处理】【多模态】OFA：通过简单的sequence-to-sequence学习框架统一架构、任务和模态
OFA:通过简单的sequence-to-sequence学习框架统一架构.任务和模态 <Unifying Architectures, Task, and Modalities through ...
【自然语言处理】【多模态】BLIP：面向统一视觉语言理解和生成的自举语言图像预训练
BLIP: 面向统一视觉语言理解和生成的自举语言图像预训练 <BLIP: Bootstrapping Language-Image Pre-training for Unified Vision ...