【CVPR 2021】Knowledge Review：知识蒸馏新解法
【CVPR 2021】Knowledge Review：知识蒸馏新解法
- 论文地址：
- 主要问题：
- 主要思路：
- 符号假设：
- 具体实现：
- 实验结果：
- 关注我的公众号：
- 联系作者：
论文地址：
https://jiaya.me/papers/kdreview_cvpr21.pdf
主要问题：
目前大部分关于KD的方法都是基于相同层或者相同Block之间的知识迁移。但是Teacher往往深层表示抽象的语义信息，底层表示简单的知识的信息。
因此在Student训练初期，直接学习Teacher的深层抽象语义信息，显然是非常困难。
由此作者提出让Student训练中既能看到抽象的知识又能看到简单的知识，这样开始的时候可以先学习简单的知识，训练后期可以重点学习抽象的知识。
如下图，其中(a)图是蒸logits，(b)是蒸单层feture，©是蒸多层feature。之前的蒸馏方法(a)(b)©三种形式都可以理解为相同层进行蒸馏，引导student学习teacher相同层的feature。
【CVPR 2021】Knowledge Review：知识蒸馏新解法相关推荐
- 【CVPR 2021】自我知识蒸馏：Self-distillation with Batch Knowledge Ensembling Improves ImageNet Classification
[CVPR 2021]自我知识蒸馏:Self-distillation with Batch Knowledge Ensembling Improves ImageNet Classification ...
- 【论文解读】Knowledge Review：知识蒸馏新解法
今天介绍一篇我司的文章Distilling Knowledge via Knowledge Review(缩写为KR),提出知识蒸馏的新解法. 之前在知乎回答过一个知识蒸馏的问题,为何感觉" ...
- 【AAAI 2021】在线知识蒸馏中的对等协同学习：Peer Collaborative Learning for Online Knowledge Distillation
[AAAI 2021]在线知识蒸馏中的协同学习:Peer Collaborative Learning for Online Knowledge Distillation 论文地址: 主要问题: 主要 ...
- CVPR 2022｜解耦知识蒸馏！旷视提出DKD：让Hinton在7年前提出的方法重回SOTA行列！...
点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达 转载自:机器之心 | 旷视科技等 与主流的feature蒸馏方法不同,本研究将重心放回到logits蒸馏 ...
- 加速100倍，性能媲美SOTA！浙大提出无数据知识蒸馏新方法FastDFKD
来源:机器之心 本文共2400字,建议阅读5分钟 本文为你介绍知识蒸馏的新方法. 在无法获取到原始训练数据的情况下,你可以尝试一下这种新型蒸馏算法 FastDFKD,数据合成与现有的生成方法相比,可以 ...
- 加速100倍，性能媲美SOTA，浙大知识蒸馏新方法FastDFKD
来源:机器之心 在无法获取到原始训练数据的情况下,你可以尝试一下这种新型蒸馏算法 FastDFKD,数据合成与现有的生成方法相比,可以实现 10 倍的加速,与非生成方法相比,甚至可以达到 100 倍以 ...
- ACL 2021 | 结构化知识蒸馏方法
本文介绍了上海科技大学屠可伟课题组与阿里巴巴达摩院的一项合作研究,提出了在结构预测问题上一种较为通用的结构化知识蒸馏方法.该论文已被 ACL 2021 接受为长文. 论文标题: Structural ...
- Knowledge Distillation | 知识蒸馏经典解读
作者 | 小小 整理 | NewBeeNLP 写在前面 知识蒸馏是一种模型压缩方法,是一种基于"教师-学生网络思想"的训练方法,由于其简单,有效,在工业界被广泛应用.这一技术的理论 ...
- 【李宏毅2020 ML/DL】P51 Network Compression - Knowledge Distillation | 知识蒸馏两大流派
我已经有两年 ML 经历,这系列课主要用来查缺补漏,会记录一些细节的.自己不知道的东西. 已经有人记了笔记(很用心,强烈推荐):https://github.com/Sakura-gh/ML-note ...
最新文章
- jvm性能调优实战 - 44Metaspace区域是如何因为类太多而发生内存溢出OOM
- Android --- 如何更改应用程序的图标以及名称（Android studio）
- EasyUI中分页的简单使用
- Hadoop快速入门——第一章、认识Hadoop
- DM6467之视频采集(Linux)下MMAP
- SQL中基于代价的优化
- 华为云GaussDB新产品特性亮相DTC2021，新品开源预告
- Linux iptables防火墙详解（四）——配置实战
- 微软宣布与中国电子科技集团筹建合资公司
- NPT PT G螺纹
- 【数学建模笔记 24】数学建模的时间序列模型
- 注册造价工程师用书免费电子版_2019-2020造价工程师各科电子教材精讲高清课件拿来和大家免费分享.......
- 《A brief review of image denoising algorithms and beyond》
- 计算机视觉（视频追踪检测分类、监控追踪）常用测试数据集
- 微软亚洲研究院“牵手”莲花山视觉研究院
- 不能通过“www.baidu.com”访问百度解决方法
- 数据结构c语言程序杨辉三角,杨辉三角 --- C语言程序
- 登录+注册界面的实现（代码）
- 静态成员与静态成员函数
- Leetcode典型题解答和分析、归纳和汇总——T46（全排列）