资源分享 | 知识蒸馏总结、应用与扩展（2015-2019）

点击我爱计算机视觉标星，更快获取CVML新技术

知识蒸馏示意图

知识蒸馏因为2015年Hinton的著名论文 Distilling the knowledge in a neural network 而被更多人所认知，是模型参数压缩、计算加速的重要方法，尤其在将深度神经网络模型部署到移动端、IOT等边缘设备上时。

在华东师范大学读书的Yuang Liu 同学最近对知识蒸馏方向近几年（2015-2019）进行了技术总结、应用梳理和扩展讨论。作者希望通过52CV平台分享出来供大家参考。

Yuang Liu查考了大量的知识蒸馏的技术文献，并按照以下模块设置对该领域进行了技术梳理：

知识蒸馏的定义：

Knowledge Distillation aims to compress and improve the model by transfering knowledge from deep nets to a small network.

Yuang Liu从三个方向知识蒸馏

对近几年的知识蒸馏方法进行了总结，每部分均有具代表性的论文介绍。

在知识蒸馏应用的部分，作者从GAN、ReID、视频分类、姿态估计、物体姿态回归、BERT（NLP）、车道线检测、语义分割等方向分别列出了代表性论文。

GAN是目前大热的深度学习方向，作者进一步调研了知识蒸馏与GAN的关系：

最后作者从新出的知识蒸馏文献中总结了该领域的挑战和展望。

PDF 资料下载：

因为 PDF 无法直接在公众号共享，想要获得这份资料的同学可以在“我爱计算机视觉”公众号对话界面回复“知识蒸馏总结”（建议复制），即可收到PDF下载。

感谢Yuang Liu 同学！欢迎大家文末点个“在看”支持。

模型压缩与应用部署交流群

关注知识蒸馏、模型压缩、剪枝、轻量级网络设计、应用部署等，不仅有最新的论文和开源代码分享，也关注工业级真实应用，欢迎加CV君好友拉你入群，（如已为CV君好友，请直接私信，不需要重复添加）

（请务必注明：部署）

喜欢在QQ交流的童鞋，可以加52CV官方QQ群：805388940。

（不会时时在线，如果没能及时通过验证还请见谅）

长按关注我爱计算机视觉

资源分享 | 知识蒸馏总结、应用与扩展（2015-2019）相关推荐

论文阅读：Knowledge Distillation: A Survey 知识蒸馏综述（2021）
论文阅读:Knowledge Distillation: A Survey 知识蒸馏综述2021 目录摘要 Introduction Background 知识基于响应的知识基于特征的知识基于 ...
『优势特征知识蒸馏』在淘宝推荐中的应用
作者 | Chilia 方向 | 哥伦比亚大学研究生搜索推荐方向整理 | NewBeeNLP 今天分享阿里的一篇将「目标蒸馏-logits方法」应用到推荐系统领域的论文, 其提出的蒸馏技术是工业界 ...
【知识蒸馏】知识蒸馏（Knowledge Distillation）技术详解
参考论文:Knowledge Distillation: A Survey 1.前言近年来,深度学习在学术界和工业界取得了巨大的成功,根本原因在于其可拓展性和编码大规模数据的能力.但是,深度学习 ...
Osmocom-BB 相关资源、知识分享
Osmocom-BB 相关资源.知识分享 1.在layer1层添加了解析sniffer的代码参考http://git.osmocom.org/osmocom-bb/log/?h=luca/gsmma ...
知乎搜索文本相关性与知识蒸馏
分享嘉宾:申站知乎算法工程师编辑整理:许宴铭出品平台:DataFunTalk 导读:大家好,我是申站,知乎搜索团队的算法工程师.今天给大家分享下知乎搜索中文本相关性和知识蒸馏的工作实践,主要内 ...
一文看懂“知识蒸馏”技术
知识蒸馏算法原理前言知识基于响应的知识算法思想基于特征的知识算法思想基于关系的知识蒸馏方式离线蒸馏在线蒸馏自蒸馏教师学生架构前言过去几年中,深度学习已成为人工智能许多成功的 ...
知识蒸馏在推荐系统的应用
点击上方,选择星标或置顶,每天给你送干货! 作者 | 张俊林本文转载自知乎 https://zhuanlan.zhihu.com/p/143155437 随着深度学习的快速发展,优秀的模型层出不穷, ...
知识蒸馏：如何用一个神经网络训练另一个神经网络
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达如果你曾经用神经网络来解决一个复杂的问题,你就会知道它们的尺寸可能 ...
加速100倍，性能媲美SOTA，浙大知识蒸馏新方法FastDFKD
来源:机器之心在无法获取到原始训练数据的情况下,你可以尝试一下这种新型蒸馏算法 FastDFKD,数据合成与现有的生成方法相比,可以实现 10 倍的加速,与非生成方法相比,甚至可以达到 100 倍以 ...

资源分享 | 知识蒸馏总结、应用与扩展（2015-2019）

资源分享 | 知识蒸馏总结、应用与扩展（2015-2019）相关推荐

最新文章

热门文章