#今日论文推荐#CVPR 2022 | 道高一尺，魔高一丈，ConvNet还是ViT？
#今日论文推荐#CVPR 2022 | 道高一尺，魔高一丈，ConvNet还是ViT？
作者在 Introduction 部分里，从 ConvNet 的前世今生开始讲起，并且在第二段就表明了一个观点：“The full dominance of ConvNets in computer vision was not a coincidence”。确实，卷积神经网络在 transformer 诞生前称霸了整个计算机视觉领域，而作者的这篇工作就是让 ConvNet 重新在视觉领域大放异彩！
作者认为 ViT 之所以效果好，是因为它是一个大模型，能够适配大量数据集，这使得它能够在分类领域中领先 ResNet 一大截。但是 CV 中不仅仅只有分类任务，对于大部分的 CV 任务，利用的都是滑动窗口，全卷积这样的方式。同时作者指出了 ViT 的一个最大问题：ViT 中的 global attention 机制的时间复杂度是平方级别的，对于大图片来讲，计算效率会很低。
让作者更佳坚信卷积不会被时代淘汰的一个很关键的原因是 SwinTransformer 的出现，这种利用 local window attention 的机制更加充分地证明了卷积这种提取局部的特征信息的作法一定是 work 的，且一定能发挥应有的性能。同时，作者也指出当下大家都去研究 transformer 是因为 transformer 的效果超越了利用 ConvNet 做的视觉任务。因此，整篇工作，作者就是为了探究构建一个 ConvNet 要看看它的极限到底在哪里。
论文题目：A ConvNet for the 2020s
详细解读：https://www.aminer.cn/research_report/628aeb017cb68b460fbf4f30?download=false
AMiner链接：https://www.aminer.cn/?f=cs
#今日论文推荐#CVPR 2022 | 道高一尺，魔高一丈，ConvNet还是ViT？相关推荐
- #今日论文推荐#CVPR 2022 | 只需要一组预训练参数，所有恶劣天气一次解决
#今日论文推荐#CVPR 2022 | 只需要一组预训练参数,所有恶劣天气一次解决 最近CVPR'22的文章已经放出来了,发现了这篇能够一次解决所有恶劣天气的算法,相当有趣以及新颖,因此整理下来分享给 ...
- #今日论文推荐# IJCAI 2022 | 求同存异：多行为推荐的自监督图神经网络
#今日论文推荐# IJCAI 2022 | 求同存异:多行为推荐的自监督图神经网络 个性化推荐系统在现在的网络平台(或应用)中已经得到了广泛的应用,已解决它们面对的信息过载的问题.大多数推荐模型都是基 ...
- #今日论文推荐# ICDE 2022 | 港大等提出：基于时空自监督学习的犯罪预测
#今日论文推荐# ICDE 2022 | 港大等提出:基于时空自监督学习的犯罪预测 犯罪问题已成为许多城市关注的主要问题,准确的犯罪预测对于政府相关部门的事先决策至关重要.预测城市中每个地理区域的城市 ...
- #今日论文推荐#ACL 2022 | 引入角度margin构建对比学习目标，增强文本语义判别能力
#今日论文推荐#ACL 2022 | 引入角度margin构建对比学习目标,增强文本语义判别能力 聚焦的问题:近年来基于对比学习的句子表示学习研究取得了较大的进展,但是大多数方法都只关注如何挑选对比学 ...
- #今日论文推荐#WSDM 2022 | 基于双曲几何无标度图建模的知识感知推荐
#今日论文推荐#WSDM 2022 | 基于双曲几何无标度图建模的知识感知推荐 为了缓解传统推荐系统中的冷启动与数据稀疏问题,近年来,向推荐系统中引入外部知识构建知识图谱受到了越来越多的关注.此外,由 ...
- #今日论文推荐#ECCV 2022 | 清华字节提出MGD：适用于分类/检测/分割的生成式知识蒸馏
#今日论文推荐#ECCV 2022 | 清华&字节提出MGD:适用于分类/检测/分割的生成式知识蒸馏 知识蒸馏主要可以分为logit蒸馏和feature蒸馏.其中feature蒸馏具有更好的拓 ...
- #今日论文推荐#NAACL 2022 | 基于Prompt的文本生成迁移学习
#今日论文推荐#NAACL 2022 | 基于Prompt的文本生成迁移学习 预训练语言模型(PLM)通过微调在文本生成任务方面取得了显著进展.然而,在数据稀缺的情况下,微调 PLMs 是一项挑战.因 ...
- #今日论文推荐# 阿里达摩院最新FEDformer，长程时序预测全面超越SOTA | ICML 2022
#今日论文推荐# 阿里达摩院最新FEDformer,长程时序预测全面超越SOTA | ICML 2022 时间序列预测在众多领域中(例如电力.能源.天气.交通等)都有广泛的应用.时间序列预测问题极具挑 ...
- #今日论文推荐# 纸质说明书秒变3D动画，斯坦福大学吴佳俊最新研究，入选ECCV 2022
#今日论文推荐# 纸质说明书秒变3D动画,斯坦福大学吴佳俊最新研究,入选ECCV 2022 有没有空间感差的小伙伴,每次拿到乐高说明书都不知如何下手? 这回,可以动的乐高说明书来了! 清华姚班校友.斯 ...
最新文章
- Quartz作业调度框架
- Vs 2015 调试ASP.NET Core修改监听端口
- ALTER AVAILABILITY GROUP (Transact-SQL)
- 论文笔记 《Selective Search for Object Recognition》
- 玩转oracle 11g（33）：无监听程序
- c语言 将结构体放在flash,如何将 结构体 的 数据 定义在flash里面，并如何读出来，求各位达人帮助……...
- Can't connect to local MySQL server through socket '/var/lib/mysql/mysql.sock' (2)
- 如何理解 MySQL 中的 = 操作符？
- java生日正则表达式_Java语言十五讲
- 史上最高效Shell四剑客实操案例
- pip太慢豆瓣下载地址
- Windows下CMake安装教程
- 苹果手机需要清理垃圾吗？
- 蓝绿部署、红黑部署、AB测试、灰度发布、金丝雀发布、滚动发布的概念与区别...
- java data mining_“JDM”是“Java Data Mining”的缩写，意思是“Java数据挖掘”
- 【日语学习】日语 N2 词汇核心动词 200 个
- JVM内存模型和垃圾回收机制
- 【Python】Pyyaml和ruamel.yaml
- iPad Pro 突然开不了机
- 深入理解CSS之flex精要之 flex-basis flex-grow flex-shrink 实战讲解