【深度学习】卷积越大性能越强！RepLKNet一作在线分享：Transformer阴影下的超大卷积核复兴...
你有多久没调过 kernel size 了？在下游任务上，Transformer 明显优于传统 CNN，这是因为 Transformer 本质更强吗？传统堆叠大量 3x3 卷积的 CNN 设计模式是最优的吗？
最近，清华大学、旷视科技等机构的一项工作表明，CNN 中的 kernel size 其实是一个非常重要但总是被人忽略的设计维度：在现代模型设计的加持下，卷积核越大越暴力，既涨点又高效，甚至大到 31x31 都非常 work。即便在大体量下游任务上，超大卷积核模型 RepLKNet 与 Swin 等 Transformer 相比，性能也更好或相当。
论文地址：https://arxiv.org/abs/2203.06717
基于超大卷积核，一些挑战传统认知的结论逐渐浮现，例如：深度小kernel模型的有效感受野其实不大，较浅的大kernel模型有效感受野非常大且更像人类（模型的预测主要根据物体的形状而非局部的纹理）；Transformers 性能强悍可能不是因为Attention机制，而是因为大感受野……
在3月24日19:00-20:00的论文分享中，机器之心邀请到了 RepLKNet 论文一作、清华大学博士生丁霄汉为我们带来更深入的解读。
分享主题：RepLKNet：超大卷积核，大到31x31，卷积越大，性能越强
分享嘉宾：丁霄汉，清华大学博士生，旷视科技 Base Model 组实习生，研究方向为通用模型架构设计。在 CVPR 等会议上发表过一系列论文，提出了结构重参数化方法论及其若干应用，获得 GitHub 约 4000 Star。
分享摘要：RepLKNet 挑战了诸多行业内的传统认知，发现大到 31x31 的超大卷积核既涨点又高效，越大越涨点。归纳了在现代模型中应用大卷积的五条准则，如用小卷积核进行重参数化等。在此之上提出了一种新的架构 RepLKNet，在大模型和下游任务上取得了亮眼的结果，比 Swin 更好或相当，远超传统小 kernel 的 CNN。
分享时间：北京时间3月24日19:00-20:00
直播间：关注机动组视频号，北京时间3月24日开播。
交流群：本次直播设有 QA 环节，欢迎加入本次直播交流群探讨交流。
如群已超出人数限制，请添加机器之心小助手：syncedai2、syncedai3、syncedai4 或 syncedai5，备注「卷积」即可加入。
机器之心 · 机动组
机动组是机器之心发起的人工智能技术社区，聚焦于学术研究与技术实践主题内容，为社区用户带来技术线上公开课、学术分享、技术实践、走近顶尖实验室等系列内容。机动组也将不定期举办线下学术交流会与组织人才服务、产业技术对接等活动，欢迎所有 AI 领域技术从业者加入。
点击阅读原文，访问机动组官网，观看往期回顾；
关注机动组服务号，获取每周直播预告。
【深度学习】卷积越大性能越强！RepLKNet一作在线分享：Transformer阴影下的超大卷积核复兴...相关推荐
- 深度学习卷积神经网络大事件一览
转载自:http://blog.csdn.net/u013088062/article/details/51118744 深度学习(DeepLearning)尤其是卷积神经网络(CNN)作为近几年来模 ...
- 查看显卡显存_显卡显存越大性能就越好吗【详细介绍】
显卡显存越大性能越好吗?作为一个游戏爱好者来说,最为关心的应该就属显卡.但一般来说,在购买显卡的时候,我们除了需要了解显卡型号,主要也会看看显存大小.显存类型等等,因为就算是同一型号的显卡也有不一样的 ...
- mysql limit 越大越慢_mysql 优化之14：php mysql limit 分页优化，页面值越大查询越慢...
php mysql limit 分页优化,页面越大查询越慢 一.测试前言 当前测试表:nodes_hierarchy目前数据量为20多万 程序分页中我们经常使用的核心sql语句select * fro ...
- 计算机的储存容量越大性能就越好吗,内存条怎么选？内存越大就真的性能强吗...
电脑内存是电脑中至关重要的硬件之一,是不可或缺的硬件.电脑内存作用是什么?目前市场上的内存又哪些?内存有哪些参数?今天我就来给大家讲解一下电脑内存的相关知识,希望对你有帮助! 内存条是什么? 内存条是 ...
- 想知道深度学习卷积在GPU上如何优化吗？“大神”赵开勇带你深入浅出
想知道深度学习卷积在GPU上如何优化吗?"大神"赵开勇带你深入浅出 2016-08-19 11:54 转载 陈杨英杰 0条评论 雷锋网(搜索"雷锋网"公众号关注 ...
- 通常计算机的存储容量越大性能就越好吗,为什么计算机的内存越大速度越高？...
首先这个问题本身就有毛病,我们需要知道计算机的运行速度不仅仅是由它的内存来决定的.除了内存外还有CPU,缓存,频率,硬盘读写速度等因素都可能影响计算机的运行速度.电脑的CPU是用来处理数据的,CPU的 ...
- 计算机的储存容量越大性能就越好吗,内存真的是容量越大频率越大就越好吗？...
这段时间由于工作比较忙没时间天天更新,今天趁现在手中无事,来回答最近很多网友问我的一个问题,不知道他们从哪里听说的内存容量越大,频率越高就一定越好,今天我们就来谈谈这个内存容量和频率是不是真的越大就越 ...
- 深度学习 卷积神经网络即插即用的小插件
卷积神经网络即插即用的小插件 前言 卷积神经网络设计技巧 小插件 STN ASPP Non-local SE CBAM DCN v1&v2 BlurPool RFB ASFF 代码实现 前言 ...
- 深度学习——卷积神经网络 的经典网络（LeNet-5、AlexNet、ZFNet、VGG-16、GoogLeNet、ResNet）
1. CNN卷积神经网络的经典网络综述 下面图片参照博客:http://blog.csdn.net/cyh_24/article/details/51440344 2. LeNet-5网络 输入尺寸: ...
最新文章
- php倒序分页重复,时间倒序分页查询，翻页中有新增的数据插入db，导致返回重复数据，这个有什么好的解决办法没？谢谢大家...
- 变频电源外围配置的全面要点
- json-lib的字符串自动转换坑
- matlab查找替换指令,使用matlab GUI在.txt文件中编辑特定数字使用搜索/替换
- C# CSV文件读取（带换行单元格中内容处理）
- Flask-login 原理
- linux 变量引用 和 变量的自动类型转换 c++,c++类型转换 - memristor的个人空间 - OSCHINA - 中文开源技术交流社区...
- 《CCIE路由和交换认证考试指南（第5版） （第1卷）》——导读
- [摘录]调动员工积极性的七个关键
- linux 刷新磁盘分区,linux中关于硬盘分区操作
- 华为服务器虚拟化和存储虚拟化中标,idc服务器虚拟化排名
- Ubuntu中USB端口与外设绑定，ROS读取IMU模块数据
- arcmap给tif添加地理坐标_如何将JPG格式的图片转化为带地理坐标的TIFF格式
- 如何靠区块链赚钱？区块链到底是不是骗局？
- android web3j 代币查询_ERC20代币转账以及余额查询--java(web3j)
- 【图论训练】天气晴朗的魔法【最小生成树】
- 大数据学习路线图（转载）
- 华清远见第一周学习体会
- oracle清理aud问来哦,咨询下oracle11gr2清理aud的问题
- 可提高生产力的实用工具集锦