华为提出DyNet:动态卷积
点击上方“视学算法”,选择加"星标"或“置顶”
重磅干货,第一时间送达
编辑公众号:Cver
本文作者:张凯
https://zhuanlan.zhihu.com/p/139933466
本文已由原作者授权,不得擅自二次转载
背景
《DyNet: Dynamic Convolution for Accelerating Convolutional Neural Networks》是华为挂出的论文,其核心思想和谷歌的CondConv类似,产生kernel的方式有细微的不同,同时也取得了很高的性能涨点。
论文地址:http://de.arxiv.org/abs/2004.10694
一、 研究动机:
该论文利用了动态卷积来做神经网络的加速。该文章对activation进行了协方差的分析和可视化,从而提出了Coefficient prediction模块和Dynamic generation模块来产生动态卷积。相比于标准卷积,相同的通道数下,动态卷积的性能有明显的提升。
二、研究方法
整体思路如图所示:
其核心思想和谷歌提出的条件卷积类似,通过activation生成一组权重,然后对fixed 权重进行加权求和生成动态卷积的权重。和CondConv主要区别在于该论文生成的权重参数更多,对于谷歌而言,一组卷积核的权重是共享的,而该论文是不共享的。
具体来看:
首先作者对现有网络的输出进行了协方差的统计和可视化:
其中S代表相关性最强,M、W、N依次减少。
可以看到,VGG的网络输出有较强的相关性。MobileNetv2的相关性相对较小,对于裁剪算法也较难进行裁剪。
协方差预测模块:
主要是生成卷积核采用一个全局pooling,然后采用全连接生成对应的权重。注意此处c的维度应该是 的。而在谷歌Condconv此处对应的应该是gt。
动态卷积核生成模块:
如前图所示,是各个group中的加权求和。
训练算法:
在训练过程中,由于每张图的卷积核都是不一致的,所以在一个batch里并行计算是困难的(在旷视DRConv中,是用过将batch方向的并行计算堆叠到c方向通过group卷积实现),该论文通过等效在特征图上进行等效加权,这样就类似于通道上的注意力机制:(
作者给出了mobileNet、shuffleNet、resnet18、resnet50上的增加动态卷积的方式:
三、实验结果:
可以看到,在相近的计算量下,Dy-MobileNetv3-small的性能更高;在性能接近的情况下,Dy-ResNet50的计算量减少了三分之二。
从可视化的角度看:
从可视化上看,MobileNetv2的activation的协方差来的更小。
四、总结分析:
该论文从轻量设计的角度提出了DyNet,能够有效地降低模型的计算量。思路上和CondConv较为接近,在实现上类似于通道注意力机制,另一方面该论文的训练采用了cosine学习率、label smooth等技巧。
请给CVer一个在看!
华为提出DyNet:动态卷积相关推荐
- 【经典回顾】静态结构不能满足模型部署性能需求?微软提出动态卷积结构,Top-1准确率提高2.9%!(附复现代码)...
关注公众号,发现CV技术之美 本文分享论文『Dynamic Convolution: Attention over Convolution Kernels』,静态的结构依旧不能满足性能需求了?微软提出 ...
- CVPR 2020丨UDVD:用于可变退化的统一动态卷积超分辨率网络
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达 本文作者:Alan https://zhuanlan.zhihu.c ...
- CVPR 2020丨动态卷积:自适应调整卷积参数,显著提升模型表达能力
编者按:轻量级卷积神经网络能够在较低的计算预算下运行,却也牺牲了模型性能和表达能力.对此,微软 AI 认知服务团队提出了动态卷积,与传统的静态卷积(每层单个卷积核)相比,根据注意力动态叠加多个卷积核不 ...
- 动态卷积效率低?UCSD微软用矩阵分解的方法解决了这个问题,性能还更高!(ICLR2021)...
关注公众号,发现CV技术之美 ▊ 写在前面 最近,动态卷积方面的研究表明,K个静态卷积核的自适应聚合,可以使得CNN的性能显著提高.然而,它有两个局限性:(a)它将卷积权重的数量增加了k倍 ,(b)动 ...
- 动态卷积:自适应调整卷积参数,显著提升模型表达能力 CVPR 2020
本文转载自微软研究院AI头条. 编者按:轻量级卷积神经网络能够在较低的计算预算下运行,却也牺牲了模型性能和表达能力.对此,微软 AI 认知服务团队提出了动态卷积,与传统的静态卷积(每层单个卷积核)相比 ...
- (CVPR-2020)动态卷积:注意力卷积核
动态卷积:注意力卷积核 论文题目:Dynamic Convolution: Attention over Convolution Kernels paper是微软发表在CVPR2020的工作 论文地址 ...
- (二)动态卷积之Dynamic Convolution
代码地址:code 论文题目:Dynamic Convolution: Attention over Convolution Kernels 论文地址:paper 目录 前言 Dynamic Conv ...
- 并非所有图像都值16x16个词--- 清华华为提出一种自适应序列长度的动态ViT
[导读]ViT在大规模图像识别方面取得了显著的成功.但随着数据集规模以及自注意力中的tokens数量的增长,会导致计算成本呈平方级急剧增加!最近,清华自动化系的助理教授黄高的研究团队和华为的研究人员, ...
- 动态卷积超进化!通道融合替换注意力,减少75%参数量且性能显著提升 ICLR 2021...
导读 本文是微软&加大圣地亚哥分校的研究员在动态卷积方面的一次突破性的探索,针对现有动态卷积(如CondConv.DY-Conv)存在的参数量大.联合优化困难问题,提出了一种动态通道融合机制替 ...
最新文章
- Windows Server 2003 R2實現域內共享打印機智能部署
- 【Python】特征选择方法
- 自学转行学AI人工智能怎么样?
- python合并两个数据框_python 学习的第五天 数据框合并
- finallshell堡垒机_用lshell+脚本实现堡垒机(跳转机)功能
- C需语言程序中的基本控制结构有哪些,C语言程序的基本控制结构1.ppt
- ad16自动布线设置规则_未来的PCB协同设计制造过程离不开自动化工具
- 小米3g刷高格固件_高恪可刷机型清单
- YUI Compressor Maven Plugin
- 使用 k3d 来运行极狐GitLab Runner
- oracle会计工作总结,EBS 创建会计科目 小结
- red5搭建流媒体直播系统
- MSP430F149学习之IO端口
- 卓训教育:孩子不爱说话,性格内向怎么办?
- 仰望星星的孩子-2014年终总结
- oracle dbms_crypto,dbms_crypto函数包的简单介绍
- 没想到吧!玩游戏还能学习编程,这15款编程游戏你一定要看看
- 生成流水号如 LS0000001
- OneForAll子域名工具尝鲜
- 电子器件系列34:tvs二极管(2)
热门文章
- 刻意练习:LeetCode实战 -- Task05. 最接近的三数之和
- 【CTF】实验吧 Fair-Play
- phpstudy2014 php7.0,phpstudy下载_phpStudy下载2014 官方版_php环境集成包 1.0_零度软件园...
- TPAMI 2021 | 深度赋智AutoDL系列竞赛世界冠军方案首次公开
- 打造专属BGM,​Python 深度学习教你
- AI换脸、声音篡改等,明确写入新版《民法典》
- Google最新论文:Youtube视频推荐如何做多目标排序
- 31页PPT概述:图神经网络表达能力有多强?
- 2019秋招AI岗位竞争究竟有多激烈?
- AI一分钟 | 马斯克:我不是中本聪,我自己的比特币都丢了;商汤科技再获阿里巴巴15亿元投资,内部消息称C轮还有更大巨头入股