简介

本文出自华为诺亚方舟，作者是韩凯。
文章链接

动机

本文动机是，在ViT基础上，编码patch内的pixel之间的结构信息。

方法

使用两个transformer，外transformer负责编码大小为16×1616 \times 1616×16的patch之间的关系，内transformer负责编码大小为4×44 \times 44×4的super-pixel之间的关系。

实验

本文方法的实验结果也很好。

arXiv 2021《Transformer in Transformer》论文笔记相关推荐

ACL2021论文笔记——Constructing Multi-Modal Dialog Dataset by Replacing Text with Semantically Relev Image
论文链接: Constructing Multi-Modal Dialogue Dataset by Replacing Text with Semantically Relevant Images ...
【time series】时间序列领域的Transformer综述论文笔记
论文名称:Transformers in Time Series: A Survey 论文年份:2022/5/7 论文作者:阿里巴巴达摩院论文下载:https://arxiv.org/abs/220 ...
【时序】应用于时间序列的 Transformer 综述论文笔记
论文名称:Transformers in Time Series: A Survey 论文下载:https://arxiv.org/abs/2202.07125 论文源码:https://github ...
【论文笔记】Vision Transformer for Small-Size Datasets
目录创新点架构 Shifted Patch Tokenization(SPT) Locality Self-Attention(LSA) 总结实验写在最后论文标题:Vision Transf ...
【论文笔记】Segmenting Transparent Object in the Wild with Transformer
声明不定期更新自己精读的论文,通俗易懂,初级小白也可以理解涉及范围:深度学习方向,包括 CV.NLP.Data fusion.Digital Twin 论文标题: Segmenting Trans ...
[论文笔记]SwinSUNet: Pure Transformer Network for Remote Sensing Image Change Detection
1 论文标题标题: SwinSUNet: Pure Transformer Network for Remote Sensing Image Change Detection 作者: Cui Zha ...
论文笔记-Vanilla Transformer：Character-Level Language Modeling with Deeper Self-Attention
论文笔记-Vanilla Transformer:Character-Level Language Modeling with Deeper Self-Attention 1. 介绍 2. Chara ...
【时序】卷积自注意力 LogSparse Transformer 论文笔记
论文名称:Enhancing the Locality and Breaking the Memory Bottleneck of Transformer on Time Series Forecas ...
【时序】Informer：用于长序列预测的高效 Transformer 论文笔记
论文名称:Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting 论文下载:https://a ...
论文笔记 | 【CVPR-2023】Activating More Pixels in Image Super-Resolution Transformer
论文笔记 | [CVPR-2023]Activating More Pixels in Image Super-Resolution Transformer 抛砖引玉了,如有不同意见欢迎讨论. 目录 ...

arXiv 2021《Transformer in Transformer》论文笔记

目录

简介

动机

方法

实验

arXiv 2021《Transformer in Transformer》论文笔记相关推荐

最新文章

热门文章