transformer系列论文-Sliced Recursive Transformer

参考https://mp.weixin.qq.com/s/jNPQ2eQPTMkDbhjaYaM7Qg
文章中提及vision transformer相邻层的激活和权重是相似的，没有太大差异，这意味着他们可以重复使用。具有固定堆叠的不同层transformer在递归神经网络中失去感应偏差（inductive bias），这激发了我们以递归方式共享这些权重，从而形成了迭代或递归vision transformer。递归可以帮助提取更强的特征，而无需增加参数，并进一步提高准确性。此外，这种权重重用或共享策略通过减少参数数量来部分地规范训练过程，以避免过度拟合和不收敛的问题。
为什么我们需要再transforme中引入切片递归（sliced recursion），group self-attention？（优点和缺点）
我们通常会在有限的参数范围内完善网络的权重利用率，因此，它可以在资源有限的情况下 (例如嵌入式设备) 实际使用。递归是一种在循环方案中压缩特征表示的直接方法。递归神经网络还允许分支具有层次结构的连接和结构。我们发现，对于以分层方式学习视觉数据上更好的表示是非常重要的，正如我们将在实验的图10中介绍的那样。此外，即使是最简单的递归操作，也可以提高利用参数的紧凑性，而无需修改变压器块结构，这与其他 [50、61、24、55、57、37、31、59] 不同，它们会添加更多参数或涉及来自输入的其他细粒度信息 [19]。**但是，这样的递归将通过其循环产生更多的计算成本，即，它牺牲了执行效率以获得更好的参数表示利用率。**针对这一缺点，我们提出了一种全局自我注意的近似方法，通过将其分解为跨递归层的多个切片组自我注意，同时，在享受相似的触发器和更好的表示的同时，我们还应用空间金字塔设计来降低网络的复杂性。

前馈网络、递归神经网络和递归神经网络。Feed-forward Networks, Recurrent Neural Networks and Recursive
Neural Networks.前馈网络 (例如cnn和变压器) 是有向无环图 (DAG)，因此前馈处理中的信息路径是单向的。循环网络 (rnn) 通常用于处理时间序列和其他顺序数据，并使用当前输入和过去的内存进行预测。与其他两个对应项相比，递归网络是一个不太常用的术语。递归是指重复或重用网络的某个部分5。与在整个网络中重复相同块的rnn不同，递归网络出于特定目的选择性地重复关键块。递归变换器迭代地细化序列中所有补丁的表示形式。我们发现，通过将设计的递归到前馈变压器中，我们可以显着增强特征表示，尤其是对于结构化数据，而无需包含其他参数。

强大的实验结果表明，将建议的切片递归操作集成到变压器中，可以在精度，模型大小和复杂性之间进行竞争性权衡。据我们所知，几乎没有现有的研究视觉变压器中递归运算的有效性的工作，并提出了用于降低递归运算复杂性的自我注意方法的近似方法。我们已经进行了广泛的实验，为视觉任务的新设计得出了一套指导方针，并希望它对未来的研究有用。此外，由于我们的方法不涉及用于修改变压器块或其他输入信息的复杂知识，因此它与大多数现有的ViT设计和方法正交且友好。

我们的贡献。
-我们研究了在视觉变压器中利用切片组自我注意来利用递归操作的可行性，这是建立有效变压器的有希望的方向，并且以前尚未得到很好的探索。我们对递归在变压器中的作用进行了深入研究，并得出了一种有效的方案来使用它们来更好地利用参数。
-我们提供设计原则，包括具体格式和与SReT体系结构变体的综合比较，计算等效分析，改进蒸馏等，以期对紧凑型变压器设计和优化的未来研究有所启发。
-我们在各种情况下验证我们的方法，包括视觉变压器，变压器变体的全MLP架构以及使用变压器的神经机器翻译 (NMT)。我们的模型以较少的参数大大超过了最先进的方法。

先留个坑吧，后续再写

transformer系列论文-Sliced Recursive Transformer相关推荐

Transformer(二)--论文理解：transformer 结构详解
转载请注明出处:https://blog.csdn.net/nocml/article/details/110920221 本系列传送门: Transformer(一)–论文翻译:Attention ...
Transformer系列论文阅读
这是博主在五一期间对Transformer几篇相关论文阅读的小笔记和总结也借鉴参考了很多大佬的优秀文章,链接贴在文章下方,推荐大家前去阅读该文章只是简单叙述几个Transformer模型的基本框架 ...
[论文阅读]（Transformer系列）
文章目录一.Video Transformer Network 摘要引言相关工作:Applying Transformers on long sequences Video Transforme ...
带你读AI论文：基于Transformer的直线段检测
摘要:本文提出了一种基于Transformer的端到端的线段检测模型.采用多尺度的Encoder/Decoder算法,可以得到比较准确的线端点坐标.作者直接用预测的线段端点和Ground truth的 ...
【time series】时间序列领域的Transformer综述论文笔记
论文名称:Transformers in Time Series: A Survey 论文年份:2022/5/7 论文作者:阿里巴巴达摩院论文下载:https://arxiv.org/abs/220 ...
【读点论文】Swin Transformer: Hierarchical Vision Transformer using Shifted Windows通过窗口化进行局部MSA，sw-MSA融合信息
Swin Transformer: Hierarchical Vision Transformer using Shifted Windows abstract 本文提出了一种新的视觉transfor ...
一点就分享系列（理解篇3）—Cv任务“新世代”之Transformer系列（中篇-视觉模型篇DETR初代版本）
一点就分享系列(理解篇3)-Cv任务"新世代"之Transformer系列 (中篇-视觉模型篇) 对于上篇介绍transformer得原理,自认为把细节讲得很详细了,作为" ...
自然语言处理NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 Training a GPT-2 language model
自然语言处理NLP星空智能对话机器人系列:深入理解Transformer自然语言处理 Training a GPT-2 language model 目录 GPT模型简介 Training a GPT ...
【时序】应用于时间序列的 Transformer 综述论文笔记
论文名称:Transformers in Time Series: A Survey 论文下载:https://arxiv.org/abs/2202.07125 论文源码:https://github ...
视觉+Transformer最新论文出炉，华为联合北大、悉尼大学发表
作者 | CV君来源 | 我爱计算机视觉 Transformer 技术最开始起源于自然语言处理领域,但今年5月份Facebook 的一篇文章将其应用于计算机视觉中的目标检测(DETR算法,目前已有7 ...

transformer系列论文-Sliced Recursive Transformer

transformer系列论文-Sliced Recursive Transformer相关推荐

最新文章

热门文章