ImageNet又被Long-Short Transformer 霸榜！

点上方计算机视觉联盟获取更多干货

仅作学术分享，不代表本公众号立场，侵权联系删除

转载于：知乎Sophia

https://zhuanlan.zhihu.com/p/389507374

AI博士笔记系列推荐

周志华《机器学习》手推笔记正式开源！可打印版本附pdf下载链接

马里兰大学和英伟达一起出了一篇最新的文章，2021年7月刚出来的

论文链接：arxiv.org/abs/2107.0219

Long-Short Transformer采用一种高效的自注意机制，用于建模具有线性复杂度的长序列的语言和视觉任务。它通过动态投影聚合长距离注意力来模拟远距离相关性，并通过短期注意力来捕捉细粒度的局部相关性。

同时提出了一种双重归一化策略来解释这两种注意机制之间的规模不匹配。Transformer-LS可以应用于自回归和双向模型，并且没有引入额外的复杂度。这个方法在语言和视觉领域的多个任务上优于sota模型，包括Long Range Arena 基准测试、自回归语言建模和 ImageNet 分类。

摘要：

本文的贡献：

自主力机制：

ImageNet的效果：

值得注意的是，模型的源代码并未开源，我估计后面会放出来让大家测试。

往期论文推荐：

新想法！华科、清华、康奈尔联合提出“圆形卷积”！聚合方形和圆形优势

表现SOTA！DetCo算法：目标检测无监督对比学习

新模型SkipNet在ImageNet分类任务大放光彩！优化损失函数！

高效神器！小目标检测迎来曙光！SSPNet金字塔网络！川大出品

超强！MDETR：基于Transformer的端到端目标检测神器！开源！

优秀！一种巧妙组合算法YOLOX！旷视重磅开源！

新突破！Swin-UNet：基于纯 Transformer 结构的医学图像分割网络

-------------------

END

--------------------

我是王博Kings，985AI博士，华为云专家、CSDN博客专家（人工智能领域优质作者）。单个AI开源项目现在已经获得了2100+标星。现在在做AI相关内容，欢迎一起交流学习、生活各方面的问题，一起加油进步！

我们微信交流群涵盖以下方向（但并不局限于以下内容）：人工智能，计算机视觉，自然语言处理，目标检测，语义分割，自动驾驶，GAN，强化学习，SLAM，人脸检测，最新算法，最新论文，OpenCV，TensorFlow，PyTorch，开源框架，学习方法...

ImageNet又被Long-Short Transformer 霸榜！相关推荐

一文总结微软研究院Transformer霸榜模型三部曲！
[导读]本文将主要介绍微软研究院提出的三大Transformer霸榜模型,分别是:开创Transforer新时代的Swin Transformer, 进阶版的Swin Transformer -- C ...
Transformer霸榜全景分割任务，南大、港大提出一种通用框架！
来源:机器之心本文中,来自南大.港大.英伟达等机构的研究者提出了一个使用 transformer 进行端到端全景分割的通用框架,不仅为语义分割与实例分割提供了统一的 mask 预测工作流程,而且使得 ...
清华大学霸榜计算机学科第一！2022 USNews世界大学排名出炉！
转自:新智元 2022年的U.S.News全球大学排名榜单来了! 其中,美国共有271所大学上榜,中国共有289所大学上榜. 而这次计算机专业的排名可谓是相当亮眼. 清华大学力压斯坦福,麻省理工,卡内 ...
霸榜各大CV任务榜单，Swin Transformer横空出世！
1. ImageNet-1K的图像分类 Swin Transformer: Hierarchical Vision Transformer using Shifted Windows 一元@炼丹笔记 ...
CBNet和DetectoRS：COCO数据集霸榜模型
点击蓝字关注我们作者丨张佳程@知乎来源丨https://zhuanlan.zhihu.com/p/146447810 整理 | 极市平台公众号 CBNet和DetectoRS -- COCO ...
刚刚，2022 USNews全美大学排行榜出炉！普林斯顿霸榜，哥大哈佛MIT并列第二
来源:usnews&新智元 [导读]一年一度的US News大学排名又来了!在刚刚发布的全美大学最新排名上,普林斯顿大学蝉联冠军,哥大哈佛MIT并列第二.此外,CS本科排名中,卡内基梅隆大学. ...
Panoptic SegFormer：全景分割第一名！南大港大英伟达提出新算法，霸榜全景分割
今日分享论文『Panoptic SegFormer』全景分割第一名!由南大&港大&NVIDIA 联合提出 Panoptic SegFormer,霸榜全景分割. 话不多说,先放Leadb ...
Panoptic SegFormer：全景分割第一名！南大港大英伟达提出新算法，霸榜全景分割...
点击下方卡片,关注3D视觉工坊公众号 3D视觉干货第一时间送达今日分享论文『Panoptic SegFormer』全景分割第一名!由南大&港大&NVIDIA 联合提出 Panopti ...
CMU霸榜，北大第2，清华第3！AIRankings世界高校人工智能排行榜出炉
来源:新智元要说当下最火的专业,莫过于人工智能了. 恰好最近AIRankings发布了一份全球大学AI相关专业排行榜. 让我们一起看看有哪些大学和机构榜上有名吧. AI世界排名:北清综合前三 AIR ...

ImageNet又被Long-Short Transformer 霸榜！

摘要：

本文的贡献：

自主力机制：

ImageNet的效果：

ImageNet又被Long-Short Transformer 霸榜！相关推荐

最新文章

热门文章