【CVPR2021】Decoupled dynamic filter networks

论文：https://thefoxofsky.github.io/files/ddf.pdf
代码：https://github.com/thefoxofsky/ddfnet
主页：https://thefoxofsky.github.io/project_pages/ddf

先从论文首页的图说起。第一行为普通静态卷积，对于道路、车辆、建筑使用相同的卷积核，这样会导致一个问题：sub-optimal feature learning。第二行为动态卷积，每一个像素都使用不同的卷积核，道路、车辆、建筑使用的卷积核就不一样了，有助于特征学习。但是会引入一个新的问题：参数量大大增加。

可以看出，动态卷积的参数量从普通静态卷积的 (c×c×k×kc \times c \times k \times kc×c×k×k) 提升为 (c×c×k×k×h×wc \times c \times k \times k \times h \times wc×c×k×k×h×w )，参数量显著增加，计算复杂。为了降低计算量，作者提出了解耦的思路，把 (c×h×wc \times h \times wc×h×w) 分解成 (h×w+ch \times w + ch×w+c)，即先计算空间位置的动态卷积，再计算通道上的动态卷积。

如图所示，包含两个步骤：

在 spatial 维度上，首先用 1x1 的卷积将 channel 数变成 k2k^2k2，reshape后，就是每个空间位置上的卷积核，参数量是 k×k×h×wk\times k \times h \times wk×k×h×w
在 channel 维度上，通过 GAP + SE 操作，每个 channel 得到一个 k2k^2k2 向量，即每个 channel 分配一个卷积核，参数量是k×k×ck\times k \times ck×k×c。

好的，终极问题来了？每个空间位置上有一个卷积核，每个 channel 上有一个卷积核，如何把卷积核作用到 (c,h,w)(c, h , w)(c,h,w) 的三维矩阵中的每个像素上？

具体方法是： 每个像素点，找到与它 对应位置的卷积核 和 对应通道的卷积核 ，这两个卷积核进行 逐像素相乘 ，得到新的卷积核再对这个点进行卷积

论文中还有一个点值得注意，为了提升性能，卷积核归一化时，作者设计了一个 Filter-Norm，性能会优于使用 Batch-Norm 和 Sigmoid，具体可以参考作者实验，不再多说。

【CVPR2021】Decoupled dynamic filter networks相关推荐

《Dynamic Filter Networks》动态过滤网络
Dynamic Filter Networks <Dynamic Filter Networks>NIPS 2016 论文链接:https://arxiv.org/abs/1605.096 ...
【Paper】2003_Consensus Problems in Networks of Agents with Switching Topology and Time-Delays
此篇文章主要在于仿真代码,关于文献的解释请参考 [Paper]2003_Murr_Consensus Problems in Networks of Agents with Switching Top ...
【UWB】Savitzky Golay filter SG滤波器原理讲解
文章目录简介推导举例最小二乘法原理 Ref: 关于 Matlab 程序的操作请参考:[UWB]Savitzky Golay filter SG滤波器快速入门并上手使用简介 Savitzky- ...
【UWB】Savitzky Golay filter SG滤波器快速入门并上手使用
文章目录函数介绍示例程序 Ref: 关于 S-G 滤波器原理的讲解请参考: [UWB]Savitzky Golay filter SG滤波器原理讲解函数介绍 Savitzky Golay fil ...
【论文研读】【医学图像分割】【BCRNN】Fine-grained Recurrent Neural Networks for Automatic Prostate Segmentation ...
[论文研读][医学图像分割][BCRNN]Fine-grained Recurrent Neural Networks for Automatic Prostate Segmentation inUl ...
论文笔记 |【CVPR2021】Uformer: A General U-Shaped Transformer for Image Restoration
论文笔记 |[CVPR2021]Uformer: A General U-Shaped Transformer for Image Restoration 文章目录论文笔记 |[CVPR2021]U ...
【去噪去模糊去雨】Multi-Stage Progressive Image Restoration 多阶段渐进式通用图像恢复【CVPR2021】
论文:[CVPR2021]Multi-Stage Progressive Image Restoration 多阶段渐进式通用图像恢复参考:多阶段渐进式图像恢复 | 去雨.去噪.去模糊 | 有效教程 ...
Dynamic Filter Networks
Dynamic Filter Networks 2019-06-10 11:29:19 Paper:http://papers.nips.cc/paper/6578-dynamic-filter-ne ...
【Matlab】conv、filter、conv2、filter2和imfilter卷积函数总结
[Matlab]conv.filter.conv2.filter2和imfilter函数总结 1. conv函数作用: 1.计算一维向量卷积 u = [1 1 1]; v = [1 1 0 0 0 ...

【CVPR2021】Decoupled dynamic filter networks

【CVPR2021】Decoupled dynamic filter networks相关推荐

最新文章

热门文章