有关UDE(Unsupervised Domain Expansion)以及UDA,DG的思考与调研
一.UDE,UDA以及几个其他相近概念的区别
几个相似概念的区别解释:
概念 | 解释 | 训练 | 测试 |
---|---|---|---|
域泛化(Domain Generalization) | 域泛化的目标是从多个不同但相关的域学习一个模型,该模型能很好地在未见过的域泛化 | XD1,XD2...XDn,YD1,YD2...YDnX_{D_1},X_{D_2}...X_{D_n},Y_{D_1},Y_{D_2}...Y_{D_n}XD1,XD2...XDn,YD1,YD2...YDn | XDn+1X_{D_{n+1}}XDn+1 |
单域泛化(Single Domain Generalization) | 域泛化的目标是从一个域学习一个模型,该模型能很好地在未见过的域泛化 | XS,YSX_{S},Y_{S}XS,YS | XTX_{T}XT |
无监督域适应(Unsupervised Domain Adaptation) | 利用源域数据标签与目标域数据训练一个模型,使得模型在目标域表现的性能更好 | XS,XT,YSX_{S},X_{T},Y_{S}XS,XT,YS | XTX_{T}XT |
半监督域适应(Semi-supervised Domain Adaptation) | 利用源域数据标签与目标域数据(部分带标签)训练一个模型,使得模型在目标域表现的性能更好 | XS,XT,YS,YD⊆TX_{S},X_{T},Y_{S},Y_{D \subseteq T}XS,XT,YS,YD⊆T | XTX_{T}XT |
无监督域扩张(Unsupervised Domain Expansion) | 利用源域数据标签与目标域数据训练一个模型,使得模型在源域与目标域的性能更好 | XS,XT,YSX_{S},X_{T},Y_{S}XS,XT,YS | XS,XTX_{S},X_{T}XS,XT |
终身学习/增量学习/持续学习(Continuous Learning/Lifelong learning/Incremental Learning) | 在不同每个域训练模型,并保持模型学习不遗忘 | XD1,YD1→XD2,YD2→...→XDn,YDnX_{D_1},Y_{D_1} \rightarrow X_{D_2},Y_{D_2} \rightarrow ... \rightarrow X_{D_n},Y_{D_n}XD1,YD1→XD2,YD2→...→XDn,YDn | XD1,XD2...XDnX_{D_1},X_{D_2}...X_{D_n}XD1,XD2...XDn |
其他要点
- 通常来说,前五个都一般在相同的某个固定任务上,不会随着域的改变而改变。
- 而其中终身学习中依次每个域的学习的任务是不同的,但是域可能是相同的。更着重点在“任务”上。
- DA 和 DG和DE 相同点都存在different distributions across domains并且需要针对cross domains gap做设计。
二.DA 和 DG当前的主流论文分类
2.1 理论基础
待续…
2.2 分类
2.2.1 数据操作
指的是通过对数据的增强和变化使训练数据得到增强。这一类包括数据增强和数据生成两大部分。
数据增强:普通数据增强(Data augmentation),随机域初始化(Domain randomization.)【主要指在人造模拟器随机初始化信息,用于目标检测领域】,对抗数据增强(Adversarial data augmentation)【使用梯度上升的方法修改数据形成新的数据,会有正则化保持数据不变形】
数据生成:GAN模型,以及MixUP操作。
Progressive Domain Expansion Network for Single Domain Generalization
在源域上循环生成形态颜色变化的数据模拟未知的域。
2.2.2 表征学习
指的是学习领域不变特征(Domain-invariant representation learning)以使得模型对不同领域都能进行很好地适配。领域不变特征学习方面主要包括四大部分:核方法、显式特征对齐、领域对抗训练、以及不变风险最小化(Invariant Risk Minimiation, IRM)。特征解耦与领域不变特征学习的目标一致、但学习方法不一致,我们将其单独作为一大类进行介绍。
- 特征对齐方法(explicit feature alignment method):
DDC(Deep Domain Confusion: Maximizing for Domain Invariance) - 域对抗学习(Domain adversarial learning):
DANN(Domain-Adversarial Training of Neural Networks) - 解耦方法(Feature disentanglement-based ):
分为两种,第一种称为Multi-component analysis,目的是将参数分解为特定域和共享域参数。
共享域参数用于DG。
Deep Domain Generalization with StructuredLow-Rank Constraint
第二种为Generative modeling,将特征通过VAE,解耦为 域特征,分类特征,其他特征。
DADA(Domain agnosticlearning with disentangled representation)
2.2.3学习策略
指的是将机器学习中成熟的学习模式引入多领域训练中使得模型泛化性更强。这一部分主要包括基于集成学习和元学习的方法。以及很多其他学习方法,如自监督学习。
集成学习策略
在DG中对于源域的多个domain-specific分类模型结果给予不同权重,最为最后的泛化模型。
Best Sources Forwards:Domain Generalization Through Source-Specific Nets
元学习策略
利用了元学习的方法,先把多个源域分为几个域为meta-train,几个域meta-test。按照如下算法训练,对于任意基础模型都可以用于元学习。
Learning to Generalize: Meta-Learning for Domain Generalization
三.Visual Domain Adaptation Challenge
3.1 VisDA介绍
域适应方向的比赛,已经举办了四届,17,18,19,20年,在ICCV和ECCV上举办。这里介绍2019年和2020年最新的两届的Top方法以及训练中的Trick。
3.1.1 2019:Semi-supervised domain adaptation 【其中之一】
url:http://ai.bu.edu/visda-2019/
主要内容:在大型图片分类数据集上,进行半监督的domain adaptation。
3.1.2 2020:Domain Adaptive Pedestrian Re-identification
url:http://ai.bu.edu/visda-2020/
主要内容:具体的任务是检索与查询图像具有相同ID的行人实例。其中训练数据包含有标签的源域人造数据,以及无标签的真实世界的目标域数据。验证集有标签的真实世界的目标域数据。测试集是无标签的真实世界的目标域数据。训练集验证集与测试集上的目标域数据互斥。
介绍一下基于聚类的伪标签法通用的UDA-reID模型:
3.2 VisDA2019-Top3
3.2.1 Top1:
Style-Agnostic Networks
+Synthetic Data Augmentation(CycleGAN生成数据)
+Inter- and Intra-Domain Mixup
+Iterative Pseudo Labeling
+ensemble
作者还提及在345类里通过聚类构建伪标签的效果不好。
3.2.2 Top2:
1.将有标签的目标域数据过采样10倍,与源域数据一起预训练。
2.七模型融合+伪标签:初始伪标签为七个模型预测的概率平均值。
3.Generalized cross entropyloss for training deep neural networks with noisy labels.
上面论文提出GCE对伪标签效果更好。
3.2.3 Top3:
超强半监督学习 MixMatch+集成。
3.3 VisDA2020-Top3
3.3.1 Top1:
生成数据,模型,后处理
SPGAN将源域生成目标域风格图片,成为SPGAN数据。对于SPGAN数据再拓展,使用StarGAN生成不同的相机风格图片,成为CamStyle数据。
利用源域生成的SPGAN数据,以及拓展的CamStyle数据,训练一个baseline监督模型。
进行域适应,按照下图的方式,聚类使用了DBSCAN。训练策略分为两个阶段,第一阶段关注样本多的500个id,第二阶段再加入剩余的200个id来调整。
后处理,核心解决相机偏差。第一步先训练一个相机模型。第二步计算所有特征对应的几个相机特征中心点,每个特征减去所属特征中心点。第三步根据不同相机中心点,计算不同相机的距离,检索到特征对应减去该距离(与被检索特征的相机距离)。第四步在验证集上计算,出现在某个相机后,出现在其他相机的概率,做一个拓扑图,生成一组权重。最后re-rank。
模型集成
3.3.2 Top2:
- 步骤一核心:将源域图片转化为目标域图片风格。
步骤一作者使用了提出的SDA域转化方法,在训练域转换GAN模型时,要求源域图像风格迁移后,图像间的关系保持不变【使用triplet控制】,这样可以更好地维持源域图像原有的信息和数据分布。左边是源域数据训练的监督模型,右边是上面提到的UDA-reID baseline模型。
在SDA论文中还把re-ID任务集成了进去,这里是剥除了re-ID任务。
- 步骤二核心:利用目标域风格的有标签源域图片预训练一个模型。
- 使用auto-augmentation可以有效避免overfit
- 使用GeM pooling代替average pooling
- 训练过程中使用测试集通过模型adapt BN
- 步骤三核心:Improved Mutual Mean-Teaching for Unsupervised Domain Adaptive Re-ID
- 这一步最好不适用auto-augmentation
- 使用GeM pooling代替average pooling
- 训练过程中使用Domain-Specific Batch Normalization ,来消除domain gap对训练的影响
- 使用ArcFace或CosFace代替普通的linear classification loss;由于ArcFace或CosFace已经很强了,所以triplet loss作用不大了;
- baseline中加入IBN模块提升模型域自适应性
MMT:
提出"相互平均教学"(Mutual Mean-Teaching)框架为无监督领域自适应的任务提供更为可信的、鲁棒的伪标签。
如上图所示,该文提出的"相互平均教学"框架利用离线优化的"硬"伪标签与在线优化的"软"伪标签进行联合训练。"硬"伪标签由聚类生成,在每个训练epoch前进行单独更新;"软"伪标签由协同训练的网络生成,随着网络的更新被在线优化。直观地来说,该框架利用同行网络(Peer Networks)的输出来减轻伪标签中的噪声,并利用该输出的互补性来优化彼此。而为了增强该互补性,主要采取以下措施:
对两个网络Net 1和Net 2使用不同的初始化参数;随机产生不同干扰,例如,对输入两个网络的图像采用不同的随机增强方式,如随机裁剪、随机翻转、随机擦除等,对两个网络的输出特征采用随机dropout;训练Net 1和Net 2时采用不同的"软"监督,i.e. “软"标签来自对方网络的"平均模型”; 采用网络的"平均模型"Mean-Net 1/2而不是当前的网络本身Net 1/2进行相互监督。
主要的结构:
利用硬标签在预测结果进行分类损失,利用硬标签在特征层上进行三元组损失。
利用Mean-teacher模型的预测结果作为软标签构建相互网络的分类损失。
利用Mean-teacher模型的特征层的softmax-triplet,构建相互网络三元组损失。
softmax-triple构建前提是构建min-batch里的有确定的三元组对。
MMT+:
最初的MMTframework仅使用目标域数据进行训练并生成伪标签,然而,我们认为正确地建模跨两个域的样本间关系对最终性能至关重要。
相比MMT,数据变成了源域和目标域,BN改成了Domain-Specific BN,注意DSBN要求arrange batch,去除了三元组损失。加入了MOCO Loss。
- 步骤四:后处理
单独训练一个相机分类模型,在原始person similarity的基础上减去camera similarity。
检索时候重新排序Re-ranking Person Re-identification with k-reciprocal Encoding。
衡量距离以及生成伪标签用DBSCAN(jaccard)。
3.3.3 Top3: RuiYan Technology
数据增强:AugMix,auto-augmentation,Random-erase
modle:IBN模块,arcFace, GeM pooling
衡量距离以及生成为标签用DBSCAN(jaccard)。
余弦学习策略
训练一个相机模型。在特征层用特征减去相机特征以达到去除相机域的作用。
在最后的相似度结果里person similarity的基础上减去camera similarity。
3.4 AI CITY CHALLENGE 2020
3.4.1 TOP1 baidu
Going Beyond Real Data: A Robust Visual Representationfor Vehicle Re-identification
3.4.2 TOP2 RuiYan Technology
VOC-ReID: Vehicle Re-identification based on Vehicle-Orientation-Camera
参考文献
1.Structured Domain Adaptation with Online RelationRegularization for Unsupervised Person Re-ID
2.Semi-supervised Domain Adaptation via Minimax Entropy
3.Improved Mutual Mean-Teaching for Unsupervised Domain Adaptive Re-ID
4.https://zhuanlan.zhihu.com/p/265758275
5.https://zhuanlan.zhihu.com/p/295581325
6.Domain-Specific Batch Normalization for Unsupervised Domain Adaptation
7.Going Beyond Real Data: A Robust Visual Representationfor Vehicle Re-identification
8.VOC-ReID: Vehicle Re-identification based on Vehicle-Orientation-Camera
9.Re-ranking Person Re-identification with k-reciprocal Encoding
10.Bias Elimination for Domain Adaptive Pedestrian Re-identification
11.camera based person re-identification for VisDA 2020
12.Generalizing to Unseen Domains: A Survey onDomain Generalization
13.Domain randomization for transferring deep neural networksfrom simulation
14.MixMatch: A Holistic Approach to Semi-Supervised Learning
有关UDE(Unsupervised Domain Expansion)以及UDA,DG的思考与调研相关推荐
- Unsupervised Domain Adaptation for Semantic Segmentation by Content Transfer
论文链接:https://arxiv.org/abs/2012.12545 此篇论文被AAAI2021接收. 文章目录 1 Motivation 1.1 Domain Gap 1.2 Class Im ...
- 【论文阅读】Deep Cocktail Network: Multi-source Unsupervised Domain Adaptation with Category Shift
Deep Cocktail Network: Multi-source Unsupervised Domain Adaptation with Category Shift SUMMARY@ 2020 ...
- AWB——Complementarity-enhanced Mutual Networks for Unsupervised Domain Adaptation in Person Re-ID
论文地址:arXiv:2006.06525 代码地址:Attentive-WaveBlock 1 概述 这是一篇有关UDA Re-ID的文章,方法性能在paper with code上位居榜首,本文可 ...
- TGRS2022/云检测:Unsupervised Domain Adaptation for Cloud Detection Based on Grouped Features Alignment
TGRS2022/云检测:Unsupervised Domain Adaptation for Cloud Detection Based on Grouped Features Alignment ...
- Unsupervised Domain Adaptation via Structurally Regularized Deep Clustering-CVPR2020
无监督域自适应(Unsupervised domain adaptive, UDA)是对目标域上的未标记数据进行预测.主流的UDA方法学习两个领域之间的对齐特征,这样根据源特征训练的分类器可以很容易地 ...
- 【ECCV 2020】Joint Visual and Temporal Consistency for Unsupervised Domain Adaptive Person Re-ID
JVTC 1 背景知识 1.1Person Re-Identification (ReID) 1.2 supervised person ReID Problem #2 Problem #3 1.3 ...
- 论文笔记:An Adaptive Feature Norm Approach for Unsupervised Domain Adaptation
论文链接 最近把毕业论文的题目确定了,这个专栏专门放相关论文的阅读笔记,个人理解可能有限,欢迎大家指正! 标题理解 阅读论文之前,首先对标题进行一定的理解,才能更好的理解论文的内容. 论文完整标题为: ...
- 语义分割-Unsupervised Domain Adaptation in Semantic Segmentation:a Review语义分割中的无监督领域自适应:综述
Unsupervised Domain Adaptation in Semantic Segmentation:a Review语义分割中的无监督领域自适应:综述 0.摘要 1.介绍 1.1.语义分割 ...
- 论文笔记:Contrastive Adaptation Network for Unsupervised Domain Adaptation
1. 任务设置 U n s u p e r v i s e d D o m a i n A d a p t a t i o n f o r I m a g e C l a s s i f i c a ...
最新文章
- 【Java学习笔记之五】java数组详解
- 从生命周期去看互联网金融产品的风险管理框架
- 实例分析C语言中strlen和sizeof的区别
- Sublime插件开发 启动Anaconda并运行对应Python脚本
- 《信息存储理论》笔记
- 方法调用(车票练习)
- 日站会——你的站会姿势正确吗?
- QT每日一练day28:QT中的2D绘图知识概念——讲义截图
- 联众打码平台接口调用(初版)
- 快速地将SolidWorks模型导入Adams
- 【常用 JS 插件】jQuery TreeTable 树表格插件
- 如何把word ppt 思维导图这类文件转化为高清晰度的图片(要干货只看粗体黑字)
- 测试用例方法----正交试验(实验)设计法(黑盒)
- python学习——pandas查看数据集null值:isnull
- UPC 6615: Snuke Festival
- android对cpu硬件要求,Android手机想用64位处理器?系统阻碍
- 管理Linux 系统的用户与用户组
- java源码系列:HashMap底层存储原理详解——5、技术本质-原理过程-算法-取模会带来一个什么问题?什么是哈希冲突?为什么要用链表?
- 如何确认电脑USB口哪个快(USB 3.0 3.2 Gen1 Gen2)
- 2022年暑期实习 PwC AC 普华永道信息技术 待遇+笔试+面试信息
热门文章
- java下载微信支付账单_java微信支付,对账单下载
- fota空中升级开发完全入门
- 十年磨一剑,剑指IT技术之巅,WOT 全球技术创新大会 2022盛大开启
- python课程优势-上海python课程体系
- 生活明朗,万物可爱,人间值得,未来可期
- SQL Server数据库语法篇(付费内容限时开放)
- 云端的精彩:让信息在指尖流动
- 字典dict.pop()和del dict[]的区别与联系
- ajax浏览器操作发生异常,解决IE浏览器缓存导致AJAX请求数据异常
- 快速多级子算法(Fast Multipole Method)