【CVPR2022】Beyond Fixation: Dynamic Window Visual Transformer

【CVPR2022】Beyond Fixation: Dynamic Window Visual Transformer

论文：https://arxiv.org/abs/2203.12856

代码：https://github.com/pzhren/DW-ViT

个人感觉，这个论文的 idea 部分来自于 SKNet ，模块的图也类似。

大多数VIT都在固定的 7X7 窗口内计算局部 attention，忽略了窗口大小对性能的影响。因此，作者提出使用多尺度的窗口计算 attention，类似于 SKNet ，用 softmax 动态为各个分支的窗口分配权重。

论文的核心就是下面这个 dynamic window module。可以看出，一共6个 channel 的数据，均分成三份，分别用尺寸为 7、14、21的 window 计算 attention ，最后将特征拼接，通过一系列pooling，FC层后，用 softmax 给各个通道分配权重，然后跟原始特征加权。

总体架构上还是标准的4阶段，如下图所示。

作者也指出，所提出的方法存在两个 limitation:

（1）DWM introduces a small number of additional parameters and calculations.

（2）As far as DWM’s dynamic window mechanism is concerned, part of the computational budget is still allocated to suboptimal optional windows.

【CVPR2022】Beyond Fixation: Dynamic Window Visual Transformer相关推荐

【CVPR2022】用于域适应语义分割的域无关先验
摘要:本文给大家分享一篇我们在CVPR 2022 上发表的paper:Domain-Agnostic Prior for Transfer Semantic Segmentation.文章提出了一种图 ...
论文阅读【CVPR-2022】 A Simple Multi-Modality Transfer Learning Baseline for Sign Language Translation
论文阅读 [CVPR-2022] A Simple Multi-Modality Transfer Learning Baseline for Sign Language Translation st ...
【CVPR2022】Detecting Camouﬂaged Object in Frequency Domain
[CVPR2022]Detecting Camouﬂaged Object in Frequency Domain 论文有一个非官方的实现:https://github.com/VisibleShad ...
【基础】Flink -- Time and Window
Flink -- Time and Window Flink 时间语义水位线 Watermark 水位线的概念有序流中的水位线乱序流中的水位线水位线的特性水位线的基本使用水位线生成策略内 ...
【NLP】GPT：第一个引入Transformer的预训练模型
目前两种最重要的预训练语言模型,一种是前面介绍过的BERT,另外一种就是GPT. GPT出了两个版本,GPT1.0和GPT2.0,GPT2.0相对于GPT1.0差别不大,可以认为是它的增强版.本篇介绍 ...
【Brain】大脑里也有个Transformer！和「海马体」机制相同
来源: 墨玫人工智能 [导读]Transformer模型性能强的原因是模拟了人脑? 我不能创造的,我也不理解. --费曼想要创造人工智能,首先要理解人类的大脑因何有智能. 随着神经网络的诞生及后续的 ...
【转】带你玩转Visual Studio——03.带你了解VC++各种类型的工程
上一篇文章带你玩转Visual Studio--带你新建一个工程一文中提到新建一个工程时会有很多的工程类型(图1),现在将简单介绍各种类型工程的含义和主要用途.由于这里包含的工程类型太多,有很多本人也 ...
【转】带你玩转Visual Studio——01.开篇介绍
开篇之前,先唠叨几句本人从事C++开发工作一年半,总想就C++开发方面写点东西.写什么呢?想了一下还是写点跟开发密切相关的吧,要说跟开发最密切相关的那莫过于就是开发工具了,也就是常常说的集成开发环境 ...
【CVPR2022】UniVIP：自监督视觉预训练的统一框架
来源:专知本文为论文,建议阅读5分钟我们提出了统一自监督视觉预训练(UniVIP) 论文标题:UniVIP: A Unified Framework for Self-Supervised Vis ...
【转】Redis安装整理(window平台和Linux平台)
原文连接:http://zheng12tian.iteye.com/blog/1471726 原文作者:zheng12tian 转载注明以上信息! window平台Redis安装 redis wind ...

【CVPR2022】Beyond Fixation: Dynamic Window Visual Transformer

【CVPR2022】Beyond Fixation: Dynamic Window Visual Transformer相关推荐

最新文章

热门文章