Unsupervised Domain Adaptation via Structurally Regularized Deep Clustering-CVPR2020

无监督域自适应(Unsupervised domain adaptive, UDA)是对目标域上的未标记数据进行预测。主流的UDA方法学习两个领域之间的对齐特征，这样根据源特征训练的分类器可以很容易地应用到目标特征上。然而，这种转移策略有可能破坏目标数据的内在辨识性。为了减轻这一风险，我们以结构域相似性假设为动机，提出通过对目标数据进行判别聚类，直接揭示目标的内在判别。我们使用结构源正则化来约束聚类解决方案，这取决于我们假定的结构域相似性。技术上，我们采用了一种灵活的基于深度网络的判别聚类框架，使网络预测标签分布与引入的辅助标签分布之间的KL差异最小;用源数据地面真实标签形成的辅助分布代替辅助分布，通过联合网络训练的简单策略实现结构化的源正则化。我们将我们提出的方法称为结构正则化深度聚类(SRDC)，其中我们还通过中间网络特征聚类增强了目标识别，通过软选择小分歧源实例增强了结构正则化。仔细的消融研究表明我们建议的SRDC的疗效。值得注意的是，由于没有显式的域对齐，SRDC在三个UDA基准测试上优于所有现有方法。

为了解决通过明确学习域对齐特征而破坏内在数据判别的潜在问题，我们在本研究中提出了一种源正则化的深度判别聚类方法，以直接揭示目标数据之间的内在判别。该方法的动机是我们假设这两个领域的结构相似，为此我们将提出的方法称为结构正则化深度聚类(SRDC)。•为了从技术上实现SRDC，我们使用了一个灵活的深度聚类框架，该框架首先引入一个辅助分布，然后最小化引入的分布和网络的预测标签分布之间的KL差异;用源数据的地真标签代替辅助分布，通过联合网络训练的简单策略实现结构化的源正则化。在SRDC中，我们还设计了有用的成分，利用中间网络特征聚类来增强目标识别，并利用低发散源实例的软选择来增强结构正则化。•我们在UDA基准数据集上进行仔细的消融研究，以验证SRDC中提出的单个成分的疗效。值得注意的是，在没有显式域对齐的情况下，我们提出的SRDC在基准数据集上优于所有现有的方法

该框架首先引入一个辅助分布，然后最小化引入的分布和网络的预测标签分布之间的KL差异;用源数据的地真标签代替辅助分布

利用对抗和mmd方法进行源域和目标域的对齐
源数据和目标域数据满足两个假设：
1.领域识别假设：在单个领域中存在固有的数据识别结构，即源域或目标域的数据根据共享标签空间进行区分聚类。
2.类的紧密性假设：对应于同一个类标签的两个域的集群在几何上紧密。

损失函数：KL散度，网络损失
Qt：网络预测标签。Pt：聚类辅助标签

准确率：Office-31 based on ResNet-50
(1)源模型，对标记源样本的基础网络进行微调;
(2)SRDC (w/o结构源正则化)对源预训练模型进行精细调整，即不使用结构源正则化;
(3)SRDC (w/o特征识别)，表示在特征空间中不进行源和目标识别的训练;
(4) SRDC (w/o软源样本选择)，表示通过软源样本选择进行不增强训练。

Unsupervised Domain Adaptation via Structurally Regularized Deep Clustering-CVPR2020相关推荐

【论文阅读】Deep Cocktail Network: Multi-source Unsupervised Domain Adaptation with Category Shift
Deep Cocktail Network: Multi-source Unsupervised Domain Adaptation with Category Shift SUMMARY@ 2020 ...
语义分割-Unsupervised Domain Adaptation in Semantic Segmentation：a Review语义分割中的无监督领域自适应：综述
Unsupervised Domain Adaptation in Semantic Segmentation:a Review语义分割中的无监督领域自适应:综述 0.摘要 1.介绍 1.1.语义分割 ...
AWB——Complementarity-enhanced Mutual Networks for Unsupervised Domain Adaptation in Person Re-ID
论文地址:arXiv:2006.06525 代码地址:Attentive-WaveBlock 1 概述这是一篇有关UDA Re-ID的文章,方法性能在paper with code上位居榜首,本文可 ...
【ICML 2015迁移学习论文阅读】Unsupervised Domain Adaptation by Backpropagation (DANN) 反向传播的无监督领域自适应
会议:ICML 2015 论文题目:Unsupervised Domain Adaptation by Backpropagation 论文地址: http://proceedings.mlr.pre ...
CVPR2019:Domain-Specific Batch Normalization for Unsupervised Domain Adaptation无监督域适配的特定域批处理规范化
CVPR2019:Domain-Specific Batch Normalization for Unsupervised Domain Adaptation无监督域适配的特定域批处理规范化 0.摘要 ...
《Weighted Maximum Mean Discrepancy for Unsupervised Domain Adaptation》论文阅读
Weighted Maximum Mean Discrepancy for Unsupervised Domain Adaptation 摘要类先验分布(Class prior distributi ...
Unsupervised Domain Adaptation with Variational Approximation for Cardiac Segmentation
Wu F, Zhuang X. Unsupervised domain adaptation with variational approximation for cardiac segmentati ...
TGRS2022/云检测：Unsupervised Domain Adaptation for Cloud Detection Based on Grouped Features Alignment
TGRS2022/云检测:Unsupervised Domain Adaptation for Cloud Detection Based on Grouped Features Alignment ...
无源领域自适应：Source Hypothesis Transfer for Unsupervised Domain Adaptation
Do We Really Need to Access the Source Data? Source Hypothesis Transfer for Unsupervised Domain Adap ...

Unsupervised Domain Adaptation via Structurally Regularized Deep Clustering-CVPR2020

Unsupervised Domain Adaptation via Structurally Regularized Deep Clustering-CVPR2020相关推荐

最新文章

热门文章