REVISITING DYNAMIC CONVOLUTION VIA MATRIXDECOMPOSITION 官方代码解析心得

概要：这篇文章是动态卷积的改进版，最近研究了下官方代码。
下文所述，如有错误，欢迎指正。

代码并不长，但是想看懂也不是那么容易。论文里讲的是动态卷积的改进，即

结构图示如下：

初看代码，大概率会错误的以为就是单纯实现了W(x),但是卷积不应该是W(x)*x吗，这步操作代码怎么没体现呢？
第一个关键点，实际上代码是将W(x)*x分解为了许多小步，分别在代码里实现。
第二个关键点，对于卷积核的加权，作者并不是直接对卷积核参数加权，而是对标准卷积核卷积之后的结果加权，(wx+b)*p=p*wx+p*b
具体解析见代码段。

class conv_dy(nn.Module):def __init__(self, inplanes, planes, kernel_size, stride, padding):super(conv_dy, self).__init__()self.conv = nn.Conv2d(inplanes, planes, kernel_size=kernel_size, stride=stride, padding=padding, bias=False)self.dim = int(math.sqrt(inplanes))squeeze = max(inplanes, self.dim ** 2) // 16self.q = nn.Conv2d(inplanes, self.dim, 1, stride, 0, bias=False)self.p = nn.Conv2d(self.dim, planes, 1, 1, 0, bias=False)self.bn1 = nn.BatchNorm2d(self.dim)self.bn2 = nn.BatchNorm1d(self.dim)self.avg_pool = nn.AdaptiveAvgPool2d(1)self.fc = nn.Sequential(nn.Linear(inplanes, squeeze, bias=False),SEModule_small(squeeze),)self.fc_phi = nn.Linear(squeeze, self.dim ** 2, bias=False)self.fc_scale = nn.Linear(squeeze, planes, bias=False)self.hs = Hsigmoid()def forward(self, x):r = self.conv(x)#先进行卷积，后对卷积结果加权b, c, _, _ = x.size()#获得batchsize和通道数y = self.avg_pool(x).view(b, c)#平均池化，self.avg_pool(x)尺寸为[b,c,1,1]，故加viewy = self.fc(y)#fc层phi = self.fc_phi(y).view(b, self.dim, self.dim)#phi 即φ，这一步即为φ(x)scale = self.hs(self.fc_scale(y)).view(b, -1, 1, 1)#hs 即Hsigmoid()激活函数r = scale.expand_as(r) * r#这里就是加权操作，从公式来看这里应该是A*W0#实际上这里是 A*W0*x，即把参数的获取和参数计算融合到一块out = self.bn1(self.q(x))#q的话就是压缩通道数_, _, h, w = out.size()out = out.view(b, self.dim, -1)out = self.bn2(torch.matmul(phi, out)) + out#这里为什么加out呢，看论文像是设计成#残差块？这里不太确定。out = out.view(b, -1, h, w)out = self.p(out) + r#p是把通道拓展到输出空间，为什么要压缩再拓展，减少参数量return out

REVISITING DYNAMIC CONVOLUTION VIA MATRIXDECOMPOSITION 官方代码解析心得相关推荐

番外篇15：libevent简单理解（附libevent官方代码解析，和跨平台服务器、客户端链接代码）
文章目录一.事件event和事件管理器event_base介绍二.libevent流程简介(注册->检测->分派) 三.libevent的好处四.代码比较 4.1 原来reactor ...
输出分组_通过分组卷积的思想，巧妙的代码实现动态卷积(Dynamic Convolution)
论文的题目为<Dynamic Convolution: Attention over Convolution Kernels> paper的地址https://arxiv.org/pdf/ ...
【论文笔记】Dynamic Convolution: Attention over Convolution Kernels
Dynamic Convolution: Attention over Convolution Kernels,CVPR2020 论文地址:https://openaccess.thecvf.com/ ...
ViTAE论文阅读与官方代码讲解
论文名称: ViTAE: Vision Transformer Advanced by Exploring Intrinsic Inductive Bias arxiv网址: https://arxi ...
G-GhostNet（IJCV 2022）原理与代码解析
paper:GhostNets on Heterogeneous Devices via Cheap Operations code:https://github.com/huawei-noah/Ef ...
【Netty】入门Netty官方例子解析（二）Time Server
本文承接上文<[Netty]入门Netty官方例子解析(一)写个 Discard Server> ,接下来讲解官网文档中Netty入门官方例子第二个例子 Time Server 原文这个章 ...
ORB-SLAM / ORB-SLAM2原理解读+代码解析（汇总了资料，方便大家学习）
注释:本文非原创,初学搜集了很多资料附上链接,方便初学者学习,避免盲目搜索浪费时间. 目录官方代码链接代码框架思维导图参考解读参考链接- -一步步带你看懂orbslam2源码 ORB-SLAM ...
AXI-IIC官方示例解析
AXI-IIC官方示例解析说明:本文是作者自己对Xilinx的AXI-IIC的官方示例的解析,如有错误望各位指正. 文章目录 AXI-IIC官方示例解析前言 xiic_eeprom_example ...
PX4代码解析(1)
前言做pixhawk飞控有一段时间了,但在学习过程中遇到许多困难,目前网上找不到比较完整的PX4学习笔记,我打算结合自己理解,写写自己对PX4源码的理解,不一定对,只是希望与各位大佬交流交流,同时梳 ...

REVISITING DYNAMIC CONVOLUTION VIA MATRIXDECOMPOSITION 官方代码解析心得

REVISITING DYNAMIC CONVOLUTION VIA MATRIXDECOMPOSITION 官方代码解析心得相关推荐

最新文章

热门文章