【领域泛化论文阅读】Embracing the Dark Knowledge: Domain Generalization Using RegularizedKnowledgeDistillation

这篇论文从任务的难度来解决领域泛化问题，论文认为如果模型的学习任务太难的话，容易发生过拟合，学习到的特征是域特有的特征而不是域不变特征，这样很难学习到泛化的特征。因此论文假设简单的任务可以提高目标域的泛化性能。论文提出了对于域泛化的知识蒸馏(KDDG)，在知识蒸馏框架基础上使用梯度滤波器作为正则化项，提高模型泛化能力。

采用知识蒸馏模型，可以让学生网络学习更少的领域特定特征，达到更好泛化能力。教师网络给学生网络提供soft label，含有更多的信息量，可以让学生网络学习的任务更简单，可以学习到更加general和comprehensive的feature。教师网络和学生网络之间的蒸馏损失是式(2)，学生网络的总损失是蒸馏损失和学生网络的输出与hard label之间交叉熵损失的加权和式(3)。

梯度滤波器只应用于学生网络的训练。gradient filter的设置如式(4)所示，ω代表梯度，η是控制filter强度的超参数。梯度滤波器可以视为对损失函数施加权重。梯度滤波器可以防止学生网络与教师网络过于相似，也可以过滤掉与high score输出相对应的梯度，可以避免over-confidence的问题。在每次迭代中，梯度滤波器检查每个样本的置信度，并降低置信度得分高于预定义阈值的样本的梯度权重。

采用了梯度滤波器后的模型域泛化的综合损失可以表示为式(8)，ε是避免教师模型的错误预测产生的负面影响。

参考文献

Wang Y, Li H, Chau L, et al. Embracing the Dark Knowledge: Domain Generalization Using Regularized Knowledge Distillation[C]//Proceedings of the 29th ACM International Conference on Multimedia. 2021: 2595-2604.

【领域泛化论文阅读】Embracing the Dark Knowledge: Domain Generalization Using RegularizedKnowledgeDistillation相关推荐

【领域泛化论文阅读】Semantic-Aware Domain Generalized Segmentation
关于图像白化和色彩变换的基本内容可以参考: 图像标准化.图像白化.色彩变换_S L N的博客-CSDN博客论文是针对语义分割的领域泛化模型.论文提出了SAN和SAW两个模块来增强类别之间的分离,类内 ...
【领域泛化论文阅读】Generalizing to Unseen Domains: A Survey on Domain Generalization
传统的机器学习是假设训练数据和测试数据独立同分布进行训练的,当训练数据和测试数据的分布不同,也就是域分布不同时,模型的性能将大大下降.而迁移学习是在训练数据和测试数据服从不同的数据的概率分布时,提高模 ...
【领域泛化论文阅读】Birds of A Feather Flock Together:Category-Divergence Guidance for DomainAdaptiveSegmentat
论文提出了一个分层的无监督的领域自适应框架用于跨领域的语义分割.类间分离,类内聚合的机制(ISIA). 针对语义分割的无监督领域自适应(UDA)的方法可以分为image-level,feature-l ...
[软件自动修复领域] 前沿论文阅读（2019年8月12日）
文章目录前言论文列表 Automated Program Repair: A Step towards Software Automation Getafix: Learning to fix b ...
论文阅读：IDM: An Intermediate Domain Module for Domain Adaptive Person Re-ID
论文阅读:IDM: An Intermediate Domain Module for Domain Adaptive Person Re-ID(ICCV 2021) 任务:UDA ReID 论文地址 ...
论文阅读笔记—Reasoning on Knowledge Graphs with Debate Dynamics（AAAI，2020）
这是一篇非常有趣的工作,看完会觉得眼前一亮. 论文标题:Reasoning on Knowledge Graphs with Debate Dynamics 发表于AAAI,2020 动机很多机器 ...
论文阅读《How Does Knowledge Graph Embedding Extrapolate to Unseen Data: A Semantic Evidence View》
https://arxiv.org/abs/2109.11800 https://github.com/renli1024/SE-GNN 论文概览现有的KGE工作大多集中在精巧的三元组建模函数的设计 ...
【论文阅读】Learning Hierarchy-Aware Knowledge Graph Embeddings for Link Prediction
<Learning Hierarchy-Aware Knowledge Graph Embeddings for Link Prediction> 论文来源:EMNLP2020 论文链接: ...
论文阅读2 Learning Hierarchy-Aware Knowledge Graph Embeddings for Link Prediction
目录问题创新 1.Introduction 2.相关工作 3.HAKE模型原文:[1911.09419] Learning Hierarchy-Aware Knowledge Graph Emb ...

【领域泛化论文阅读】Embracing the Dark Knowledge: Domain Generalization Using RegularizedKnowledgeDistillation

【领域泛化论文阅读】Embracing the Dark Knowledge: Domain Generalization Using RegularizedKnowledgeDistillation相关推荐

最新文章

热门文章