CVPR2019| 亚洲微软研究院、阿德莱德论文：结构知识蒸馏应用语义分割

点上方蓝字计算机视觉联盟获取更多干货

在右上方 ··· 设为星标 ★，与你不见不散

今天介绍一篇来自阿德莱德大学、亚洲微软研究院、北航的CVPR2019关于语义分割的论文。

本文研究了利用大型网络训练小型语义分割网络的知识提取策略。我们从简单的像素蒸馏方案开始，它将图像分类所采用的蒸馏方案应用于图像分类，并对每个像素分别进行知识蒸馏。基于语义分割是一个结构化的预测问题，我们进一步提出将结构化知识从大网络提取到小网络。我们研究了两种结构化的蒸馏方案:(i)成对蒸馏，提取成对的相似性;(ii)整体蒸馏，使用GAN提取整体知识。通过对三种场景解析数据集Cityscapes、Camvid和ADE20K的大量实验，验证了知识提取方法的有效性。

介绍

语义分割是预测输入图像中每个像素的类别标签的问题。它是计算机视觉中的一项基础性工作，具有自动驾驶、视频监控、虚拟现实等多种现实应用。自全卷积神经网络(FCNs)[38]问世以来，深度神经网络一直是语义分割的主流解决方案。随后的DeepLab[5,6,7,48]、PSPNet[56]、OCNet[50]、Re- fineNet[23]、DenseASPP[46]等方法在分割精度上都取得了显著的提高，但往往模型繁琐，计算费用昂贵。

近年来，由于在移动设备上的应用需要，模型尺寸小、计算量小、分割精度高的神经网络受到了广泛的关注。目前的研究主要集中在设计轻量级的网络，专门用于分割或借鉴分类网络的设计，如ENet[31]、ESPNet[31]、ERFNet[34]和ICNet[55]。本文的研究方向是紧致分割网络，重点是利用冗余网络训练紧致网络，提高分割精度。

本文的主要贡献：

研究了用于训练精确紧凑语义分割网络的知识提取策略。
提出了两种结构化的知识精馏方案:成对精馏和整体精馏，在紧凑和繁琐的分割网络输出之间实现成对和高阶一致性
我们通过在三个基准数据集(Cityscapes[10]、CamVid[4]和ADE20K[58])上改进最近开发的最先进的紧凑细分网络ESPNet、MobileNetV2- Plus和ResNet18来证明我们的方法的有效性，如图1所示。

方法

本文的流程图：

实验和结果

论文地址：

https://arxiv.org/pdf/1903.04197.pdf

END

加群交流

欢迎加入CV联盟群了解CV和ML等领域前沿资讯

扫描添加CV联盟微信拉你进群，备注：CV联盟

热文荐读

最全中科大计算机学院课程资源（含答案）

必备收藏！超全 TensorFlow 代码集，随查随看！

【收藏】CMU、斯坦福等知名AI实验室、团队AI成果大盘点

近十年以来机器学习中最优秀的想法~一文带你领略GANs核心

卡内基·梅隆大学新提出AdaScale：自适应缩放实现视频对象实时检测算法

计算机视觉奠基人Alan L. Yuille ：深度学习在计算机视觉中作用有限，需要找到新的突破口！

CVPR2019| 亚洲微软研究院、阿德莱德论文：结构知识蒸馏应用语义分割相关推荐

【华人学者风采】陈卫亚洲微软研究院
[华人学者风采]陈卫,亚洲微软研究院首席研究员,清华大学跨学科信息科学研究所教授,中国科学院计算技术研究所的研究员,IEEE Fellow.研究兴趣包括社交和信息网络,在线学习,算法博弈论,互联网经济 ...
radioml2018数据集_7 Papers Radios | CVPR 2020获奖论文；知识蒸馏综述
机器之心 & ArXiv Weekly Radiostation 参与:杜伟.楚航.罗若天本周的重要论文是CVPR 2020 公布的各奖项获奖论文,包括最佳论文和最佳学生论文等. 目录: K ...
论文解析（1）——语义分割（求索ljj解读：A Review on Deep learning Techniques Applied to Semantic Segmentation）（更新中））
论文地址:https://arxiv.org/abs/1704.06857 摘要: 社会需求:精确且高效的分割技术. 现需领域:自动驾驶,室内导航,虚拟现实,增强现实等. 技术发展:语义分割,场景理解 ...
【深度学习论文翻译】应用于语义分割问题的深度学习技术综述01
目录一.前言二.摘要三.引言四.术语及背景概念 1. 常见的深度网络架构 2. 迁移学习 3. 数据预处理与数据增强五. 数据集及竞赛 1.2维数据集 2.2.5维数据集 3.3维数据集一 ...
【论文汇总】 ECCV 2020 语义分割paper汇总
语义分割 segmentation paper@ECCV 2020 ECCV 2020语义分割文章总结,文章下载链接. 文章目录语义分割 segmentation paper@ECCV 2020 前 ...
论文：SETR（Transformer 语义分割）
摘要现有的语义分割模型都是基于Encoder-Decoder结构的FCN,包括一些使用空洞卷积或者注意力模块的语义分割模型.而SETR将Encoder看作为一个seq2seq(序列到序列),seq2 ...
【北京】亚洲微软研究院-微软游记
文章目录微软游记黑科技交流会办公区晚餐结束微软游记 11月24日,身为一名初出茅庐得技术博主,有幸来到微软亚洲研究院,与CSDN一些博主们共同学习!通过这一天对微软的认识,让我有了更多的 ...
论文推荐：CCNet用于语义分割的交叉注意力
CCNet, Transformer递归交叉自注意力,比非局部神经网络更有效.华中科技大学.地平线.ReLER 和伊利诺伊大学香槟分校联合研发论文提出了交叉网络 (CCNet),对于每个像素,CCN ...
CVPR2019| 最新CVPR2019论文：含目标检测、分割、深度学习、GAN等领域
点上方蓝字计算机视觉联盟获取更多干货在右上方 ··· 设为星标 ★,与你不见不散推荐几篇CPRR2019最新论文,含目标检测.分割.深度表示.GAN等领域 [1]Strong-Weak Distr ...

CVPR2019| 亚洲微软研究院、阿德莱德论文：结构知识蒸馏应用语义分割

CVPR2019| 亚洲微软研究院、阿德莱德论文：结构知识蒸馏应用语义分割相关推荐

最新文章

热门文章