深度学习论文: MicroNet: Improving Image Recognition with Extremely Low FLOPs及其PyTorch实现

深度学习论文: MicroNet: Improving Image Recognition with Extremely Low FLOPs及其PyTorch实现
MicroNet: Improving Image Recognition with Extremely Low FLOPs
PDF: https://arxiv.org/pdf/2108.05894.pdf

1 概述

MicroNet的提出主要的遵循以下两个设计原则：

降低网络节点（神经元）之间的连通性而不降低网络的宽度
使用更复杂的非线性激活函数来弥补通性网络深度的减少所带来的精度损失

2 Micro-Factorized Convolution

Micro-Factorized convolution 将MobileNet中的point-wise卷积以及depth-wise卷积分解为低秩矩阵，从而使得通道数目和输入输出的连通性得到一个良好的平衡。

2-1 Micro-Factorized Pointwise Convolution

提出了一种微分解卷积(MF-Conv)来将Pointwise卷积分解成两组卷积层。其中，组数G适应于通道C的数量为：

R是通道减少率。在给定的计算成本下，这个等式在通道数和节点连接性之间实现了很好的权衡。数学上，Pointwise卷积矩阵由一个块矩阵(G×G块)近似，其块的rank为1。这保证了最小的路径冗余和最大的输入覆盖率，从而使网络能够为给定的计算预算实现更多的通道。（如上图左）

2-2 Micro-Factorized Depthwise Convolution

对于depth-wise卷积的分解，就是将一个KK的卷积核分解为两个K1和1*K的向量。计算复杂度从O(k2Ck^{2}Ck2C) 降为 O(kCkCkC)。（如上图中）

2-3 Lite Combination

先用depthwise进行expand（通道数增加），再使用pointwise进行squeeze（通道压缩），这样可以节省更多的计算资源用到depthwise上，而非通道融合的pointwise上。（如上图右）

3 Dynamic Shift-Max

Dynamic Shift-Max 使用一种新的激活函数，通过最大化输入特征图与其循环通道偏移之间的多重动态融合，来增强非线性特征。之所以称之为动态是因为，融合过程的参数依赖于输入特征图。

Dynamic Shift-Max(DY-ShiftMax)，加强了由微分解创建的组之间的连接。是一种对微分解pointwise卷积的补充，因为微分解pointwise卷积更加关注组内的交互。

其中ai,jk(x)a^{k}_{i,j}(x)ai,jk(x)是一个取决于输入x的动态权重。它由平均池化，两个完全连接的层和一个Sigmoid层得到（类似SENet）。

DY-Shift-Max就实现了两种形式的非线性：1）输出J组的K个融合的最大值；2）通过一个动态参数ai,jk(x)a^{k}_{i,j}(x)ai,jk(x)来加权每个融合。

第一个非线性是对侧重于每一组内的连通性的微分解pointwise卷积的补充，从而加强了每一组之间的连接。第二个非线性使网络能够根据输入x来调整这种增强功能。这两种操作增加了网络的表示能力，弥补了减少的层数所固有的损失。

4 MicroNet

4-1 Micro-Blocks

三个不同方式组合的Micro-Blocks

4-2 Architectures

不同参数和计算量的MicroNet实例化结构