【Distill 系列：三】CVPR2019 Relational Knowledge Distillation
Relational Knowledge Distillation
Relational Knowledge Distillation
TL;DR
teacher 和 student feature 可能有 gap，student 应该学习 teacher 样本之间的关系而不是 teacher 样本本身
区别于直接蒸馏teacher 和student的特征信息，本文将teacher样本间的距离和角度以及student样本间的距离和角度作为knowledge
knowledge：relation
distance loss
instance 蒸馏是
对于 teacher 一个 batch 内的 N个 sample
student 一个 batch 内的 N个sample
这两个求一个 L2 或者是其他rkd是
对于 teacher 一个 batch 内的 N个 sample，分别求和其他sample的距离（这里用的 L2），得到一个 NN的矩阵，代表一个 sample 和其他 sample的关系
student 一个 batch 内的 N个sample，也同样得到一个 NN矩阵
这两个 N*N 的矩阵求一个距离（这里用的 smooth L1）作为蒸馏 loss
angle loss
- 同理
teacher 和 student 内分别求 cos ，然后求这两个 cosin 的 loss
实验结果：
Thoughts
人脸检测上 work
【Distill 系列：三】CVPR2019 Relational Knowledge Distillation相关推荐
- 论文翻译: Relational Knowledge Distillation
Relational Knowledge Distillation 这是 CVPR 2019年的一篇文章的译文. 文章链接: Relational Knowledge Distillation 附上G ...
- 【没有哪个港口是永远的停留~ 论文简读】Relational Knowledge Distillation
论文:Relational Knowledge Distillation [1]关系知识蒸馏,中的关系知识是啥? 如图1,很明显就是字面意思,传统的知识蒸馏是让学生输出与教师模型一致,而本论文提出,输 ...
- CVPR 2022 | Cross-Image Relational Knowledge Distillation for Semantic Segmentation
CVPR 2022 | Cross-Image Relational Knowledge Distillation for Semantic Segmentation 论文:https://arxiv ...
- Mosaicking to Distill Knowledge Distillation from Out-of-Domain Data
Mosaicking to Distill: Knowledge Distillation from Out-of-Domain Data 在本文中,我们试图解决一项雄心勃勃的任务,即域外知识蒸馏(O ...
- 【2021知识蒸馏】Show, Attend and Distill:Knowledge Distillation via Attention-based Feature Matching
[2021知识蒸馏]Show, Attend and Distill:Knowledge Distillation via Attention-based Feature Matching 1.问题背 ...
- 【深度学习】【CVPR2019 oral】Structured Knowledge Distillation for Semantic Segmentation
[CVPR2019 oral]Structured Knowledge Distillation for Semantic Segmentation KD Intro Approach Structu ...
- 【李宏毅2020 ML/DL】P51 Network Compression - Knowledge Distillation | 知识蒸馏两大流派
我已经有两年 ML 经历,这系列课主要用来查缺补漏,会记录一些细节的.自己不知道的东西. 已经有人记了笔记(很用心,强烈推荐):https://github.com/Sakura-gh/ML-note ...
- FreeKD：Free-direction Knowledge Distillation for Graph Neural Networks
标题:FreeKD:Free-direction Knowledge Distillation for Graph Neural Networks 1.什么是知识蒸馏? 1.1 什么是知识: we t ...
- Knowledge Distillation: A Survey
本文是蒸馏学习综述系列的第一篇文章,主要是针对2021年 IJCV Knowledge Distillation: A Survey的一个翻译. 知识蒸馏:综述 摘要 1 引言 2 知识 2.1 基于 ...
最新文章
- 阿里巴巴启动2017全球创客大赛 四大洲共设25个赛区
- 建立能够持续请求的CS网络程序
- dubbo是长连接还是短连接_从快手短视频看，内容平台如何做好产品与用户的连接及运营实操...
- 【三国志战略版】拆解与分析
- [USACO06NOV]玉米田Corn Fields（动态规划，状态压缩）
- 在原有的基础之上，启用NAT模型
- 通用职责分配软件原则之2-创造者原则
- 上汽集团减发员工绩效工资75% 时效长度3到6个月
- CSS 魔法：学海无涯，而吾生有涯
- linux中使用gbd进行单布调试
- 滑动转向机器人轮间距校准
- 仿微信图片上传，带加号，且超过最大数隐藏
- SpringBoot整合JWT(二)
- 最近游戏更新 未整理 无图片 续3
- PCQQ - 发送自定义的XML卡片消息
- DevOps 对比分析：产品、服务、开源投入
- Mac 升级ruby版本
- 深度学习计算模型中门函数的作用
- 2285列车时刻表_K2285火车时刻表里程表价格表
- java、简单练习题