在知识蒸馏中不要忘记教师网络detach()

引用来自b站过儿不喜欢香菜
https://www.bilibili.com/video/BV1WD4y1i7M5/?spm_id_from=333.788&vd_source=9cb19666428572b1aba60f70b08649d2
中的一张关于知识蒸馏的流程图如下

由于在整个过程中，教师网络并不需要训练，仅仅是引用了预训练好的模型（加载了参数），因此，一定要加上

y_teacher = tea_net(images)
y_teacher = y_teacher.detach()

而图中的第4步要求训练学生网络，因此需要梯度反向传播的过程，以确定学生网络中的参数，完成训练过程，因此学生网络中不加detach()

在知识蒸馏中不要忘记教师网络detach()相关推荐

【AAAI 2021】在线知识蒸馏中的对等协同学习：Peer Collaborative Learning for Online Knowledge Distillation
[AAAI 2021]在线知识蒸馏中的协同学习:Peer Collaborative Learning for Online Knowledge Distillation 论文地址: 主要问题: 主要 ...
【实践】文本相关性和知识蒸馏在知识蒸馏中的应用实践
今天给大家带来知乎搜索团队申站所做的分享<文本相关性和知识蒸馏在知乎搜索中的应用实践.pdf>,本次分享共包含如下四大部分: 1.知乎搜索文本相关性的演进: 2.BERT的应用和问题: 3 ...
多尺度特征融合的知识蒸馏异常检测方法文献笔记
多尺度特征融合的知识蒸馏异常检测方法期刊:计算机辅助设计与图形学学报学校:南京信息工程大学计算机学院时间:2022 关键词:异常检测;知识蒸馏;一分类问题;特征融合背景异常检测一般是指判断并 ...
张祥雨团队最新工作：用于物体检测的实例条件知识蒸馏 | NeurIPS 2021
[专栏:前沿进展]在青源LIVE第31期中,旷视研究院张祥雨团队的张培圳研究员深入浅出地为我们介绍了其团队被 NeurIPS 2021 录用的论文「用于物体检测的实例条件知识蒸馏」.本期报告首先简要回 ...
借鸡生蛋，无需数据的知识蒸馏
点击我爱计算机视觉标星,更快获取CVML新技术本文简要介绍ICCV 2019论文"Data-Free Learning of Student Networks"的主要工作.该论文 ...
【轻量化深度学习】知识蒸馏与NLP语言模型的结合
Knowledge Distillation Student : Wenxuan Zeng School : University of Electronic Science and Technolo ...
NeurIPS 2021 | 用于物体检测的实例条件知识蒸馏
在青源LIVE第31期中,旷视研究院张祥雨团队的张培圳研究员深入浅出地为我们介绍了其团队被 NeurIPS 2021 录用的论文「用于物体检测的实例条件知识蒸馏」.本期报告首先简要回顾了用于图像识别. ...
【深度学习】深度学习中的知识蒸馏技术（上）简介
本文概览: 1. 知识蒸馏介绍 1.1 什么是知识蒸馏? 在化学中,蒸馏是一种有效的分离不同沸点组分的方法,大致步骤是先升温使低沸点的组分汽化,然后降温冷凝,达到分离出目标物质的目的.化学蒸馏条件:( ...
目标检测中的知识蒸馏方法
目标检测中的知识蒸馏方法知识蒸馏 (Knowledge Distillation KD) 是模型压缩(轻量化)的一种有效的解决方案,这种方法可以使轻量级的学生模型获得繁琐的教师模型中的知识.知识蒸馏 ...

在知识蒸馏中不要忘记教师网络detach()

在知识蒸馏中不要忘记教师网络detach()相关推荐

最新文章

热门文章