模型蒸馏（Distillation）

模型在训练后需要更改，以创建更紧凑的表示形式。这一过程的主要实现技术包括剪枝（pruning）和知识蒸馏。

知识蒸馏的基本理念，是考虑到较大网络内部存在的稀疏性或冗余性。虽然大规模网络具有较高的表示能力，但如果网络容量未达到饱和，则可以用具有较低表示能力的较小网络（即较少的神经元）表示。在 Hinton 等人 2015 年发表的研究工作中，将 Teacher 模型中转移给 Student 模型的嵌入信息称为“黑暗知识”（dark knowledge）。

下图给出了知识蒸馏的过程：

图 5 深度压缩过程图

图中 Teacher 模型是经过训练的卷积神经网络模型，任务是将其“知识”转移给称为 Student 模型的，参数较少的小规模卷积网络模型。此过程称为“知识蒸馏”，用于将相同的知识包含在规模较小的网络中，从而实现一种网络压缩方式，以便用于更多内存受限的设备上。

模型蒸馏（Distillation）相关推荐

【模型蒸馏】从入门到放弃：深度学习中的模型蒸馏技术
点击上方,选择星标或置顶,每天给你送干货! 阅读大概需要17分钟跟随小博主,每天进步一丢丢来自 | 知乎作者 | 小锋子Shawn 地址 | https://zhuanlan.zhihu.c ...
架构 encoder_一种新的超分模型蒸馏架构 (ECCV2020)
Learning with Privileged Information for Efficient Image Super-Resolution,ECCV2020 作者信息: Paper: Lear ...
模型蒸馏探索(Bert)
1. 蒸馏是什么? 所谓的蒸馏,指的是从大模型(通常称为teacher model)中学习小模型(通常称为student model).何以用这个名字呢?在化学中,蒸馏是一个有效的分离沸点不同的 ...
知识蒸馏相关技术【模型蒸馏、数据蒸馏】以ERNIE-Tiny为例
1.任务简介基于ERNIE预训练模型效果上达到业界领先,但是由于模型比较大,预测性能可能无法满足上线需求. 直接使用ERNIE-Tiny系列轻量模型fine-tune,效果可能不够理想.如果采用数据 ...
【模型蒸馏】TinyBERT: Distilling BERT for Natural Language Understanding
总述 TinyBert主要探究如何使用模型蒸馏来实现BERT模型的压缩. 主要包括两个创新点: 对Transformer的参数进行蒸馏,需要同时注意embedding,attention_weight ...
Seq2seq模型蒸馏方法
一. Seq2seq模型蒸馏方法总体过程如下 1. 训练teacher模型 2. 产生student模型 3. 利用teacher模型预测的logits和来自语料的true labels来计算stud ...
【星球知识卡片】模型蒸馏的核心技术点有哪些，如何对其进行长期深入学习...
大家好,欢迎来到我们的星球知识小卡片专栏,本期给大家分享模型蒸馏的核心技术点. 作者&编辑 | 言有三 1 什么是模型蒸馏一般地,大模型往往是单个复杂网络或者是若干网络的集合,拥有良好的性能 ...
【AutoML】强化学习如何用于模型蒸馏？
大家好,欢迎来到专栏<AutoML>,在这个专栏中我们会讲述AutoML技术在深度学习中的应用,这一期讲述在知识蒸馏中的应用. 作者&编辑 | 言有三上一期给大家介绍了AutoM ...
bert模型蒸馏实战
由于bert模型参数很大,在用到生产环境中推理效率难以满足要求,因此经常需要将模型进行压缩.常用的模型压缩的方法有剪枝.蒸馏和量化等方法.比较容易实现的方法为知识蒸馏,下面便介绍如何将bert模型进行 ...

模型蒸馏（Distillation）

模型蒸馏（Distillation）相关推荐

最新文章

热门文章