论文笔记——Deep Model Compression Distilling Knowledge from Noisy Teachers

论文地址：https://arxiv.org/abs/1610.09650

主要思想

这篇文章就是用teacher-student模型，用一个teacher模型来训练一个student模型，同时对teacher模型的输出结果加以噪声，然后来模拟多个teacher，这也是一种正则化的方法。

1. teacher输出的结果加噪声以后，然后和student的输出结果计算L2 loss，作为student网络的反馈。

2. 加噪声

3. 计算L2 loss

4. 反向传播，更新参数

5. 算法过程

注意：加噪声的时候对输入进行了采样，不然直接全加也太暴力了吧。

等价于基于噪声的回归

实验结果

1. 对比了不同噪声比例对结果的影响，其实就是调参的过程。

2. 比较了学生加噪声和教师加噪声，结果是教师加噪声效果更加明显。

3. 比较了教师加噪声和一般的正则化操作(dropout)

总结

本文想法比较简单，就是给teacher输出结果加噪声，美曰其名，learn from multi teachers.

转载于:https://www.cnblogs.com/zhonghuasong/p/7653619.html

论文笔记——Deep Model Compression Distilling Knowledge from Noisy Teachers相关推荐

论文笔记--Deep contextualized word representations
论文笔记--Deep contextualized word representations 1. 文章简介 2. 文章概括 3 文章重点技术 3.1 BiLM(Bidirectional Langu ...
AI医药论文笔记--Deep learning improves prediction of drug–drug and drug–food interactions
深度学习用于提高对药物-药物相互作用和药物-食物相互作用的预测论文题目 Deep learning improves prediction of drug–drug and drug–food in ...
【论文笔记】Exploring and Distilling Posterior and Prior Knowledge for Radiology Report ... (CVPR 2021)
论文原文:https://arxiv.org/pdf/2106.06963.pdf 参考:https://blog.csdn.net/qq_45645521/article/details/12349 ...
论文笔记 Deep Gaussian Processes for Calibration of Computer Models 用于校准计算机模型的深度高斯过程
0.摘要黑盒计算机模型的贝叶斯校准为量化模型参数和预测的不确定性提供了一个既定的框架.传统的贝叶斯校准涉及计算机模型的仿真和使用高斯过程的加性模型差异项:然后使用马尔可夫链蒙特卡罗进行推理.这种校准 ...
论文笔记006-《Bootstrapping Entity Alignment with Knowledge Graph Embedding》
更多博客可以关注MyBlog,欢迎大家一起学习交流! 1. 简介题目:<Bootstrapping Entity Alignment with Knowledge Graph Embeddin ...
[论文笔记] A model for correlated failures in N-version programming(IIE Trans, 2004)
Time: 4.0 hours YS Dai, M Xie, KL Poh, SH Ng., 2004. A model for correlated failures in N-version pr ...
论文笔记——News Recommendation with Topic-Enriched Knowledge Graphs
文章目录 Abstract Model 问题定义模型探究(TEKGR) 总结 Abstract 概述引用论文中的一句话,新闻推荐系统的目标是处理大量的新闻以及给用户提供个性化的新闻推荐. 动机新 ...
论文笔记 Deep Facial Expression Recognition: A Survey深度面部表情识别调查
论文链接:https://arxiv.org/abs/1804.08348 面部表情是人类传达其情感状态和意图的最强烈,最自然和最普遍的信号之一.下图是面部表情识别数据库和方法的进化过程,由传统的Ha ...
论文笔记——Deep Residual Learning for Image Recognition（论文及相关代码）
啊先说一些题外话,在刚刚进入深度学习的时候就在知乎上看到关于何恺明大神的phd的传奇经历.大概就是何大牛顶着光环选手的称号进的MSRA,peer的到第1-2年就已经各种论文刷到飞起,但是何大牛到第三年 ...