AAAI2021 蒸馏论文review
简介
- aaai论文列表：https://aaai.org/Conferences/AAAI-21/wp-content/uploads/2020/12/AAAI-21_Accepted-Paper-List.Main_.Technical.Track_.pdf
- 总体：feature map的蒸馏很普遍，之前很多手动选择feature map的蒸馏方法，这次aaai2021的论文中，有3篇关于feature map的蒸馏论文，都是基于自动挑选feature map/attention的思路去做的，这也可以看出一个趋势：中间层特征是大家研究的热点，但是怎样去自动挖掘中间层特征的信息，还有待进一步的挖掘。
蒸馏相关论文列表
PSSM-Distil: Protein Secondary Structure Prediction (PSSP) on Low-Quality PSSM by Knowledge Distillation with Contrastive Learning
LRC-BERT: Latent-Representation Contrastive Knowledge Distillation for Natural Language Understanding
Peer Collaborative Learning for Online Knowledge Distillation
Cross-Layer Distillation with Semantic Calibration
Few-Shot Class-Incremental Learning via Relation Knowledge Distillation
Harmoniz
AAAI2021 蒸馏论文review相关推荐
- 知识蒸馏论文翻译（1）——CONFIDENCE-AWARE MULTI-TEACHER KNOWLEDGE DISTILLATION（多教师知识提炼）
知识蒸馏论文翻译(1)--CONFIDENCE-AWARE MULTI-TEACHER KNOWLEDGE DISTILLATION(多教师知识提炼) 文章目录 知识蒸馏论文翻译(1)--CONFID ...
- 给Bert加速吧！NLP中的知识蒸馏论文 Distilled BiLSTM解读
论文题目:Distilling Task-Specific Knowledge from BERT into Simple Neural Networks 论文链接:https://arxiv.org ...
- 【论文review+总结】屏幕内容图像质量评估SC-IQA（Screen Content Image Quality Assessment）
目录 论文review 2017年论文 2018年论文 2019年论文 总结 主要思路 主要方法总结 全参考FR-IQA 弱参考RR-IQA 无参考NR-IQA 多内容(不只局限于SCIs--基于cr ...
- 知识蒸馏论文翻译（8）—— Knowledge Distillation Meets Self-Supervision（自监督）
知识蒸馏论文翻译(8)-- Knowledge Distillation Meets Self-Supervision(自监督) XXXXXXX 文章目录 知识蒸馏论文翻译(8)-- Knowledg ...
- AAAI2021推荐系统论文清单
2021年第35届人工智能顶级会议AAAI论文列表已经放出,此次会议共收到9034篇论文提交,其中有效审稿为7911篇,最终录取篇数为1692篇,录取率为21.4%.由于境外疫情形势依然严峻,大会将在 ...
- 知识蒸馏论文翻译（5）—— Feature Normalized Knowledge Distillation for Image Classification（图像分类）
知识蒸馏论文翻译(5)-- Feature Normalized Knowledge Distillation for Image Classification(图像分类) 用于图像分类的特征归一化知 ...
- 知识蒸馏论文翻译（7）—— Knowledge Distillation from Internal Representations（内部表征）
知识蒸馏论文翻译(7)-- Knowledge Distillation from Internal Representations(内部表征) 文章目录 知识蒸馏论文翻译(7)-- Knowledg ...
- 知识蒸馏论文翻译（3）—— Ensembled CTR Prediction via Knowledge Distillation
知识蒸馏论文翻译(3)-- Ensembled CTR Prediction via Knowledge Distillation 经由知识蒸馏的集合CTR预测 文章目录 知识蒸馏论文翻译(3)-- ...
- 蒸馏论文三（Similarity-Preserving）
本文介绍一种知识蒸馏的方法(Similarity-Preserving Knowledge Distillation).作者针对分类任务,通过"保留相似性"实现更好的蒸馏. 1. ...
最新文章
- CGpoint，CGSize，CGRect，NSRange
- android java file 清理垃圾获取文件大小 删除文件等操作
- Activity的使用(四):两个activity的交互
- 中国剩余定理(孙子定理)(精华详细版！)
- 剑指Offer - 面试题57 - II. 和为s的连续正数序列（滑动窗口）
- VMware NSX 6.2初学者指南 - 从实验室的零部署到完全部署
- 求最大子数组（贪心算法）
- 2.6.29的一个节省内存的补丁
- java 嵌入式 类型工具库_你常用的Java工具库都有哪些?
- hashmap.clear会不会失败_每日三省吾身 | 试问：现在的你，还害怕失败吗？
- error C2871: #39;std#39; : does not exist or is not a namespace
- bzoj3545: [ONTAK2010]Peaks 主席树合并
- C++ 基础 弱类型语言是指不需要进行变量/对象类型声明的语言。Python属于弱类型语言
- c语言数组及其下标引用,C语言之数组下标引用与间接引用
- 关于在tomcat9中配置server.xml中URIEncoding=UTF-8无效的解决方法
- jQuery插件及表单验证
- 解析迅捷产品的八大特点
- 多任务学习(Multi-task Learning)方法总结
- Error:(343, 83) java: 从lambda 表达式引用的本地变量必须是最终变量或实际上的最终变量
- html 代码礼物，特效 ，圣诞树，纪念天数