【论文解读】通过知识蒸馏促进轻量级深度估计

摘要

采用大型复杂的神经网络实现深度估计的高级性能。虽然性能仍在不断提高，但作者认为深度估计必须是准确和高效的。这是现实应用的初步要求。但是，快速深度估计会在模型容量和精度之间产生折衷，从而降低模型的性能。在这篇论文中，作者尝试用一个轻量级的网络来实现高度精确的深度估计。为此，作者首先介绍了一种可以实时估计深度图的紧凑网络。然后，作者在技术上展示了两种补充和必要的策略，以提高轻量级网络的性能。由于真实场景的数量是无限的，首先是辅助数据的使用，增加了训练数据的多样性。二是运用知识精馏进一步提升绩效。通过广泛和严格的实验，作者表明，作者的方法在推理精度，计算效率和泛化方面优于以往的轻量级方法。与只有1%参数的最先进的方法相比，作者可以实现相当的性能，另一方面，作者的方法比其他轻量级方法的性能要好得多。

论文创新点

作者通过实验证明：

本文介绍的光网络可以实时估计深度图。它在推理精度、计算效率和泛化性能方面优于基准方法。

对于深度估计，有效的知识提炼的关键是采用良好的误差度量。作者证明了应用几何约束有助于更好的知识转移。

这两种策略，即使用辅助数据和知识精馏以一种互补的方式工作。它们的结合给作者带来了一个高精度和计算效率高的深度估计网络。

框架结构

提出的网络图。其核心组件是四个特征融合与压缩层(FFC)。FFC层由一个信道的关注层和一个卷积层组成，这样它可以自动将更多的权值归到更重要的特征上，然后将它们融合到少量的信道中。

实验结果

(a)有无额外训练数据的教师和学生网的表现。注意，学员网是经过培训而没有知识的提炼的。(b)学生网与知识精馏的表现。由此可见，即使给定相同的教师网，作者也可以通过额外的训练数据获得显著的准确性提高。

对不同轻型深度估算方法进行定性比较。

基于TUM数据集的5个序列预测点云的定性比较。

结论

本文从以下三个方面对单目深度估计进行了全面回顾:1)推断精度，2)计算效率，3)概化性。作者指出主要有两大挑战。首先是模型准确性和模型容量之间的权衡，其次是对未知场景的泛化性能较差。作者的方法首先引入了一个紧凑的网络，可以实时估计深度地图。然后，作者的实证和定量表明，使用辅助训练数据是必要的改进轻量级网络。场景多样性的增加不仅可以提高网络的准确性和泛化程度，而且是后续知识提炼过程中所需要的。作者运用知识蒸馏技术，利用辅助数据从训练有素的教师网中提升出轻量级网。作者利用额外的几何约束(梯度和法线)来精确测量老师和学生之间的估计的差异。因此，作者的方法与在只有1%参数的大型网络上建立的方法相比具有相当的性能，并在很大程度上优于其他轻量级方法。在未来，作者将进一步改进作者的方法与更多的现实场景，以发展一个更通用的网络深度估计。

论文链接：https://arxiv.org/pdf/2105.06143.pdf

每日坚持论文分享不易，如果喜欢我们的内容，希望可以推荐或者转发给周围的同学。

- END -

往期精彩回顾适合初学者入门人工智能的路线及资料下载机器学习及深度学习笔记等资料打印机器学习在线手册深度学习笔记专辑《统计学习方法》的代码复现专辑
AI基础下载机器学习的数学基础专辑温州大学《机器学习课程》视频
本站qq群851320808，加入微信群请扫码：

【论文解读】通过知识蒸馏促进轻量级深度估计相关推荐

深度学习论文笔记（知识蒸馏）—— FitNets: Hints for Thin Deep Nets
文章目录主要工作知识蒸馏的一些简单介绍文中一些有意思的观念 Method 最近看了不少文献,一直懒得总结,现在才爬起来写总结-,不少论文的idea还是不错的主要工作让小模型模仿大模型的输出( ...
CVPR2019| 亚洲微软研究院、阿德莱德论文：结构知识蒸馏应用语义分割
点上方蓝字计算机视觉联盟获取更多干货在右上方 ··· 设为星标 ★,与你不见不散今天介绍一篇来自阿德莱德大学.亚洲微软研究院.北航的CVPR2019关于语义分割的论文. 本文研究了利用大型网络训练 ...
知识图谱最新权威综述论文解读：知识图谱补全部分
上期我们介绍了2020年知识图谱最新权威综述论文<A Survey on Knowledge Graphs: Representation, Acquisition and Applicatio ...
【论文笔记_知识蒸馏_2022】Knowledge Distillation with the Reused Teacher Classifier
(下文中的知识提炼即知识蒸馏) 摘要知识提炼的目的是将一个强大而繁琐的教师模型压缩到一个轻量级的学生模型中,而不至于牺牲很多性能.为此,在过去的几年里,人们提出了各种方法,一般都有精心设计的知识表示 ...
【论文笔记_知识蒸馏_2022】Dynamic Rectification Knowledge Distillation
摘要知识蒸馏是一种技术,其目的是利用dark知识压缩信息,并将信息从一个庞大.训练有素的神经网络(教师模型)传输到一个较小.能力较差的神经网络(学生模型),从而提高推理效率.由于在边缘计算设备上部署 ...
【论文笔记_知识蒸馏_2022】Masked Generative Distillation
摘要知识提炼已经成功地应用于各种任务.当前的蒸馏算法通常通过模仿老师的输出来提高学生的表现.本文表明,教师也可以通过指导学生的特征恢复来提高学生的表征能力.从这个角度出发,我们提出了掩蔽生成蒸馏(M ...
论文解读：《开发和验证深度学习系统对黄斑裂孔的病因进行分类并预测解剖结果》
论文解读:<Development and validation of a deep learning system to classify aetiology and predict anat ...
论文解读：《DeepSuccinylSite：基于深度学习的蛋白质琥珀酰化位点预测方法》
论文解读:<DeepSuccinylSite:a deep learning based approach for protein succinylation site prediction&g ...
【论文翻译_知识蒸馏】Distilling Holistic Knowledge with Graph Neural Networks
(以下的"提取"都可以替换为"蒸馏"),收录于ICCV2021 摘要知识提炼(KD)旨在将知识从一个更大的优化教师网络转移到一个更小的可学习学生网络.现有的知 ...

【论文解读】通过知识蒸馏促进轻量级深度估计

【论文解读】通过知识蒸馏促进轻量级深度估计相关推荐

最新文章

热门文章