【ACMMM 2022】Learning Hierarchical Dynamics with Spatial Adjacency for Image Enhancement

代码：https://github.com/DongLiangSXU/HDM

该论文的研究动机：近年来动态网络非常流行，因此作者引入了 channel-spatial-level，structure-level 和 region-level 的动态机制用于图像增强。具体来说：

channel-spatial-level：使用了 CBAM 注意力机制
structure-level：使用了 Deformable convolution
region-level：使用了 CVPR2021的Dynamic Region-Aware Convolution（DRConv）的思想，把图像分割为多个区域，然后不同区域使用不同的卷积核处理。不同的是，在进行区域分割时，使用暗通道特征，直接用域值分割来得到5个区域。

CBAM 和 Deformable conv 比较经典了，这里不再回顾，只简单回顾下 DRConv，其结构如下图所示，使用卷积生成m个feature map，每个位置就有m个数值，直接用 argmax() 即可以得到最大值的index，这样就可以分割为m个区域。接着使用动态卷积的思路，就可以对各个区域使用不同的卷积核处理（详细可以参考以前的解析）

因为 argmax 不可以反向传播，还需要使用 gamble-softmax 神器来优化。为了避免这个问题，这个论文使用了暗通道（ Dark channel prior, DCP）来直接分割得到各个区域。感兴趣的可以阅读何恺明大神CVPR2009的Single Image Haze Removal Using Dark Channel Prior。统计发现，对于无模糊的自然图像，RGB各个通道的最小值形成一个暗通道，近似为零。

该方法的整体架构如上图所示，总体是 UNet 结构，只不过中间串行了上述三个动态模块。同时，skip connection 还使用了Mixup。不过，和分类中使用的 Mixup 有一定区别，该思想来自于论文：Contrastive Learning for Compact Single Image Dehazing，如下图所示，UNet 的skip connection 一般是直接相加，但 Mixup 的思想是加入一个参数来自适应的调节特征输入的权重。

实验方面，作者在图像去雾、图像去雨、弱光增强三个任务上进行了实验，均取得了非常好的性能。这里提一下 ablation study，作者调节了三个动态模块的顺序，发现论文中的顺序是最合理的，解释是：从像素到语义的安排会更合理（the importance of local to global philosophy）。此外，作者还研究了使用暗通道和 DRConv 的区别。

其它实验可以参考作者论文，这里不再多说。

【ACMMM 2022】Learning Hierarchical Dynamics with Spatial Adjacency for Image Enhancement相关推荐

【ACMMM 2022】Depth-inspired Label Mining for Unsupervised RGB-D Salient Object Detection
[ACMMM 2022]Depth-inspired Label Mining for Unsupervised RGB-D Salient Object Detection 代码:https://g ...
【论文笔记】Learning Enriched Features for Real Image Restoration and Enhancement
Learning Enriched Features for Real Image Restoration and Enhancement Abstract Contribution Method(M ...
【图像Restoration】Learning Enriched Features for Real Image Restoration and Enhancement
论文地址:https://arxiv.org/pdf/2003.06792.pdfhttps://arxiv.org/pdf/2003.06792.pdf 代码地址:https://github.co ...
【IJCV 2022】RIConv++: Effective Rotation Invariant Convolutions for 3D Point Clouds Deep Learning
文章目录研究旋转不变就从这里开始吧. [3DV 2019]Rotation Invariant Convolutions for 3D Point Clouds Deep Learning [IJC ...
【论文阅读】Learning Traffic as Images: A Deep Convolutional ... [将交通作为图像学习: 用于大规模交通网络速度预测的深度卷积神经网络]（1）
[论文阅读]Learning Traffic as Images: A Deep Convolutional Neural Network for Large-Scale Transportation ...
【论文笔记】Learning Synergies between Pushing and Grasping with Self-supervised Deep Reinforcement Learn
文章目录 [论文笔记] Learning Synergies between Pushing and Grasping with Self-supervised Deep Reinforcement ...
【论文阅读】Learning Traffic as Images: A Deep Convolutional ... [将交通作为图像学习: 用于大规模交通网络速度预测的深度卷积神经网络]（2）
[论文阅读]Learning Traffic as Images: A Deep Convolutional Neural Network for Large-Scale Transportation ...
【论文阅读】Learning Spatiotemporal Features with 3D Convolutional Networks
[论文阅读]Learning Spatiotemporal Features with 3D Convolutional Networks 这是一篇15年ICCV的论文,本篇论文提出的C3D卷积网络是 ...
【论文阅读】Learning Spatio-Temporal Representation with Pseudo-3D Residual Networks
[论文阅读]Learning Spatio-Temporal Representation with Pseudo-3D Residual Networks 虽然这是一篇17年ICCV的论文,但是这篇 ...

【ACMMM 2022】Learning Hierarchical Dynamics with Spatial Adjacency for Image Enhancement

【ACMMM 2022】Learning Hierarchical Dynamics with Spatial Adjacency for Image Enhancement相关推荐

最新文章

热门文章