【领域泛化论文阅读】Birds of A Feather Flock Together:Category-Divergence Guidance for DomainAdaptiveSegmentat

论文提出了一个分层的无监督的领域自适应框架用于跨领域的语义分割。类间分离，类内聚合的机制(ISIA)。

针对语义分割的无监督领域自适应(UDA)的方法可以分为image-level，feature-level,label-level。Image-level自适应是改变图像的appearance，使源域和目标域的图像看起来更相似，比如改变图像的颜色纹理光照等。GAN广泛被应用在image-level的域映射，可以将源域的image style转移到目标域上。Feature-level自适应是将从源域和目标域中提取的特征分布进行匹配。GAN经常被用来最小化特征分布之间的差异，GAN可以很好的对齐全局特征分布，但在多分类上还是很难有效泛化。Label-level自适应是利用源域中学习到的知识为目标域生成伪标签，通常可以采用自监督方法。

图1模型架构

本文的模型是由一个多级对齐框架组成，包括全局特征级对齐，类别级对齐和实例级对齐。

在全局特征级对齐中，使用cycle-consistency实现image to image的转换，将图像的appearance从目标域转移到源域，这可以看做低级的特征的对齐。为了实现输出空间的全局特征对齐，将源域和目标域的图像导入参数共享特征提取器中，再通过鉴别器来最小化源域和目标域的特征分布差距。

在类别级对齐中，缩小源域和目标域中相同类别的特征分布距离，扩大不同类别的特征分布距离。将源域和目标域中的图像输入至一个共享的encoder F中，再分别输入decoder DS,DT中，得到p(xs)，p(xt)，p是N*H*W的概率预测向量，N是分割的类别数。再从p(xs)，p(xt)中得到cis，cit，ci是第i类的向量。对于属于同一类别的特征，使用L1范式缩小源域特征和目标域特征之间的距离。对于属于不同类别的特征，使用余弦相似度扩大源域特征和目标域特征之间的距离。

在实例级对齐中，background在不同领域具有相似的appearance，而foreground有很大的差异，所以针对foreground设计了自适应加权实例匹配策略(AIM)。通过label map，找到每个类的不连接区域生成实例掩码，通过掩码和特征图得到实例级特征，最小化目标域和源域的实例匹配损失。

模型通过两步进行训练，首先在没有伪标签的时候进行训练，然后利用训练好的模型生成目标域的伪标签，在损失函数上添加一个目标域的分割损失进行训练。

参考文献

Yuan B, Zhao D, Shao S, et al. Birds of A Feather Flock Together: Category-Divergence Guidance for Domain Adaptive Segmentation[J]. IEEE Transactions on Image Processing, 2022.

【领域泛化论文阅读】Birds of A Feather Flock Together:Category-Divergence Guidance for DomainAdaptiveSegmentat相关推荐

【领域泛化论文阅读】Semantic-Aware Domain Generalized Segmentation
关于图像白化和色彩变换的基本内容可以参考: 图像标准化.图像白化.色彩变换_S L N的博客-CSDN博客论文是针对语义分割的领域泛化模型.论文提出了SAN和SAW两个模块来增强类别之间的分离,类内 ...
【领域泛化论文阅读】Generalizing to Unseen Domains: A Survey on Domain Generalization
传统的机器学习是假设训练数据和测试数据独立同分布进行训练的,当训练数据和测试数据的分布不同,也就是域分布不同时,模型的性能将大大下降.而迁移学习是在训练数据和测试数据服从不同的数据的概率分布时,提高模 ...
【领域泛化论文阅读】Embracing the Dark Knowledge: Domain Generalization Using RegularizedKnowledgeDistillation
这篇论文从任务的难度来解决领域泛化问题,论文认为如果模型的学习任务太难的话,容易发生过拟合,学习到的特征是域特有的特征而不是域不变特征,这样很难学习到泛化的特征.因此论文假设简单的任务可以提高目标域的 ...
[软件自动修复领域] 前沿论文阅读（2019年8月12日）
文章目录前言论文列表 Automated Program Repair: A Step towards Software Automation Getafix: Learning to fix b ...
论文阅读《Accurate Few-shot Object Detection with Support-Query Mutual Guidance and Hybrid Loss》
Background & Motivation 文中将 Few-shot 学习分为两类:metric-based 和 optimization-based,后者是元学习的方法.将 Few-sh ...
语音情感识别领域-论文阅读笔记1：融合语音和文字的句段级别情感识别技术
语音情感识别领域-论文阅读笔记1 Fusion Techniques for Utterance-Level Emotion Recognition Combining Speech and Tran ...
领域泛化文献综述阅读笔记
Generalizing to Unseen Domains: A Survey on Domain Generalization https://arxiv.org/pdf/2103.03097.p ...
【Transformer】医学分割领域的应用与扩展（论文阅读）（二） || DETR
声明:仅学习使用~ 目录 1. Transformer学习 2. DETR 1. Transformer学习前篇指路:[Transformer]医学分隔领域的应用与扩展(论文阅读)(一) 继续- 关 ...
【领域泛化】论文介绍《Respecting domain relations Hypothesis invariance for domain generalization》
[领域泛化]论文介绍<Respecting domain relations Hypothesis invariance for domain generalization> 论文地址摘 ...

【领域泛化论文阅读】Birds of A Feather Flock Together:Category-Divergence Guidance for DomainAdaptiveSegmentat

【领域泛化论文阅读】Birds of A Feather Flock Together:Category-Divergence Guidance for DomainAdaptiveSegmentat相关推荐

最新文章

热门文章