主要思想

基于传统卷积模块设计，提出一种高效空间金字塔卷积模块（ESP Module），有助于减小模型运算量和内存、功率消耗，以提高在终端设备上的适用性。这款模型和MobileNet系列、ShuffNet系列相似，都是轻量级模型，可以部署到移动端。

模型具体结构

如下图所示，模型主要有两个模块构成，一个是Efficient spatial pyramid模块，一个是HFF模块。

Efficient spatial pyramid

这个部分由两个子部分构成，前面部分是逐点卷积，就是采用K个1x1xM的小卷积核对原图进行卷积操作，1x1卷积的作用其实就是为了降低维度，这样就可以减少参数，这也是轻量级模型的思路。后面的部分是空洞卷积，即在没有进行下采样（pooling）的操作下，扩大感受野。使用不同膨胀率的卷积核，可以得到不同感受野下的feature，这一点有点类似金字塔池化，所以这个模块也叫ESP。

参数计算

下面来计算下一共包含的参数，其实在效果上，以这种轻量级的网络作为backbone效果肯定不如那些重量级的，比如Resnet，但是在运行速度上有很大优势。

如上图所示，对Efficient spatial pyramid第一部分来说，d个1x1xM的卷积核，将M维的输入feature map降至d维。此时参数为： M∗N/KM*{N/K}M∗N/K,第二部分参数量为K∗n2∗(N/K)2K*{n^2}*{(N/K)}^2K∗n2∗(N/K)2,和标准卷积结构相比，参数数量降低很多。

HFF模块

如上图所示，因为使用了大感受野的膨胀卷积，导致了gridding artifacts现象，如下图所示。本文提出了使用HFF方法来解决该问题，具体做法就是从最小的膨胀卷积核输出的那张feature map开始，逐级叠加。这样的做法并没有引入任何新的参数，同时计算量上也没有增加太多，但却有效地改善了网格效应。

这里其实就是对空洞卷积的结果进行逐层点加向下传递，然后在通道方向上进行concat，concat之后，再对之前的特征做一个点加，这一点采用了残差的思想。

和其它模型的对比

这里，文章对其它模型和该模型做了一个对比，包括参数的数量以及核心网络结构，如下图所示。在这里，不再一一阐述。

ESPNet模型

作者提出了四种模型，分别如下图所示。

下面是以不同网络模型作为backbone的语义分割网络再VOC数据上的表现效果。

发现，ESPNet在较少的参数下，取得了很好的效果。

源代码

作者开源了基于ESPNet的语义分割网络源代码，ESPNet,支持测试和训练。下面展示几幅在kitti数据集上的测试效果。

原图像：

结果图像：

ESPNet: Efficient Spatial Pyramid of Dilated Convolutions for Semantic Segmentation（自动驾驶领域轻量级模型）相关推荐

ESPNet: 自动驾驶领域轻量级分割模型
原文首发于微信公众号「3D视觉工坊」--ESPNet: 自动驾驶领域轻量级分割模型原文:ESPNet: Efficient Spatial Pyramid of Dilated Convolutio ...
ESPNet系列：自动驾驶领域轻量级分割模型
点击上方,选择星标或置顶,不定期资源大放送! 阅读大概需要5分钟 Follow小博主,每天更新前沿干货 ESPNet: Efficient Spatial Pyramid of Dilated Con ...
空间金字塔匹配Spatial Pyramid Matching 小结
稀疏编码系列: (一)----Spatial Pyramid 小结 (二)----图像的稀疏表示--ScSPM和LLC的总结 (三)----理解sparse coding (四)----稀疏模型与结构 ...
Spatial Pyramid Matching
稀疏编码系列: (一)----Spatial Pyramid 小结 (二)----图像的稀疏表示--ScSPM和LLC的总结 (三)----理解sparse coding (四)----稀疏模型与结构 ...
SPM——Spatial Pyramid Matching
本文主要介绍:SPM(空间金字塔匹配)的基本原理和计算方法. 1 基本介绍 SPM 全称是Spatial Pyramid Matching,出现的背景是bag of visual words模型被大量 ...
Spatial Pyramid Matching 小结
稀疏编码系列: (一)----Spatial Pyramid 小结 (二)----图像的稀疏表示--ScSPM和LLC的总结 (三)----理解sparse coding (四)----稀疏模型与结构 ...
卫星图像分割--Effective Use of Dilated Convolutions for Segmenting Small Object Instances
Effective Use of Dilated Convolutions for Segmenting Small Object Instances in Remote Sensing Imager ...
Paper8：Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition
Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition 还未读
膨胀卷积--Multi-scale context aggregation by dilated convolutions
Multi-scale context aggregation by dilated convolutions ICLR 2016 https://arxiv.org/abs/1511.07122 C ...
空间金字塔Spatial Pyramid的BOW和Pyramid HOG的多核
经过我的实验,发现在基于模板法的object detection或者classification中,将Pyramid Histogram of Oriented Gradients (PHOG)和Sp ...

ESPNet: Efficient Spatial Pyramid of Dilated Convolutions for Semantic Segmentation（自动驾驶领域轻量级模型）