Universal Source_free Domain Adaption论文阅读笔记

用于解决无源域适应的方法大致分为两个阶段：

获取阶段

我们有一个带标签的源数据集 Ds={(xs,ys):xs∼p,ys∈Cs}D_{s}=\{(x_{s},y_{s}):x_{s}\sim p,y_{s}\in C_{s} \}Ds={(xs,ys):xs∼p,ys∈Cs} 这里的ppp是源样本的分布，CsC_{s}Cs表示源域的标签集。
这里的主要目的是让模型可以进行之后的无源适应，模型将会遇到目标域上未知的域移位和类别差距。
为此我们依赖于一个人为生成的负数据集Dn={(xn,yn):xn∼pn,yn∼Cn}D_{n}=\{(x_{n},y_{n}):x_{n}\sim p_{n},y_{n}\sim C_{n} \}Dn={(xn,yn):xn∼pn,yn∼Cn},这里pnp_{n}pn是负源样本的分布，并且Cn∩Cs=∅C_n \cap C_s=\varnothingCn∩Cs=∅。

部署阶段

在获取阶段得到一个训练模型后，这个模型将会在部署环境中遇到未标记的目标域样本。我们表示未标记的目标数据为Dt={xt:xt∼q}D_t=\{x_t:x_t\sim q\}Dt={xt:xt∼q}，这里的qqq是目标样本分布。
注意，获取阶段的源数据集DsD_sDs在部署阶段进行适应时是不可用的，CtC_tCt是目标域的标签集。
在通用设定中，我们不知道CtC_tCt和CsC_sCs的关系，定义共享标签C=Cs∩CtC=C_s\cap C_tC=Cs∩Ct，源域和目标域的私有标签集为Csˉ=Cs\Ct\bar{C_s}=C_s\backslash C_tCsˉ=Cs\Ct,Ctˉ=Ct\Cs\bar{C_t}=C_t\backslash C_sCtˉ=Ct\Cs。

1.获取阶段的学习

挑战
通常DA情景中，部署阶段可以用源样本，通常采用的方法是学习域不变特征，其中源类簇的位置实在无标记目标样本的存在下学习到的，其中CsC_sCs和CtC_tCt之间的关系作为监督。
获取阶段的目的有两个：
（1）学习对所有类差异场景都适合的源簇位置，无源场景不允许我们在适应过程中改变这个位置（目标样本存在）。
（2）模型有能力拒绝分别外样本，这是域转移下进行无监督适应的关键要求。
解决方案
源数据存在下，想要限制模型的域和类别差异。采用两种正则化策略：使用一个带标记的模拟负源数据集来对未被给定正源样本覆盖的潜在区域泛化，通过生成模型的正则化。
配置负数据集方法
训练过程
生成源分类器分为三个阶段：1）骨干模型MMM，2）特征提取器FsF_sFs，3）分类器D。
骨干网的输出记作v=M(x)v=M(x)v=M(x)，这里xxx取自DsD_sDs或DnD_nDn。类似的，FsF_sFs和DDD的输出分别表示为u,vu,vu,v。
DDD输出一个K维的元向量记作d=[d(k)],k=1,2,...,K,K=∣Cs∣+∣Cn∣d=[d^(k)],k=1,2,...,K,K=|C_s|+|C_n|d=[d(k)],k=1,2,...,K,K=∣Cs∣+∣Cn∣。然后做softmax得到每个类概率y^(k)=σ(k)(D∘Fs∘M(x))\hat{y}^{(k)}=\sigma^{(k)}(D \circ F_s\circ M(x))y^(k)=σ(k)(D∘Fs∘M(x))，这里的σ\sigmaσ表示softmax激活，上标(k)(k)(k)代表类索引。
并且，仅对正源类定义了先验，P(us∣ci)=N(us∣μci,∑ci)，i=1,2...∣Cs∣P(u_s|c_i)=N(u_s|{\mu}_{c_i},\sum{c_i})，i=1,2...|C_s|P(us∣ci)=N(us∣μci,∑ci)，i=1,2...∣Cs∣在中间嵌入中us=Fs∘M(xs)u_s=F_s\circ M(x_s)us=Fs∘M(xs)。在这些先验分布上的交叉熵损失定义为LpL_pLp，有效地增强了类内完整性和类间可分离性。
还引入了一个解码器GGG，有选择地对来自正源类的样本vsv_svs最小化循环重建损失并随机地从对应的类先验(Lv,Lu)(L_v,L_u)(Lv,Lu)抽取样本uru_rur。同时对负源类（在交叉熵损失LCEL_{CE}LCE）赋予较低权重α\alphaα，组合来将偏差FsF_sFs偏向正源样本，考虑到生成负数据集不可靠的程度。

2. 部署阶段的学习

挑战
大量负源类和正源类一起Cs∪CtC_s\cup C_tCs∪Ct，可以subsume一堆目标域的标签集CtC_tCt。还想实现一个统一的适应算法，用于各种类差异。强制把负样本适应到正源类会导致目标私有样本分类为源私有或公共标签集的一个实例，而非分类为unknownunknownunknown，（负类中一个）。
解决方法
寻找一种支持域特定特征的架构，因为我们必须避免扰乱获取阶段得到的源簇位置。这是保持来自源数据集的任务依赖特征的必要要求。因此，我们引入了一个域特定特征提取器FtF_tFt，它的参数是从完全训练的FsF_sFs初始化而来的。进一步，想要利用获取阶段学得的生成分类器，来补充之前各个ad-hoc网络的目的。
(a)源相似度矩阵（SSM）
对每个目标样本xtx_txt，定义了一个权重因子w(xt)w(x_t)w(xt)叫做SSM。高值：xtx_txt倾向于正源类，特别是公共标签集CCC。低值：倾向负源类CnC_nCn，更倾向目标私有标签Ctˉ\bar{C_t}Ctˉ。
w(xt)=maxi=1...∣Cs∣exp(y^(i))w(x_t)=\mathop{max}\limits_{i=1...|C_s|}exp(\hat{y}^{(i)}) w(xt)=i=1...∣Cs∣maxexp(y^(i))
w′(xt)=maxi=1...∣Cs∣exp(1−y^(i))w'(x_t)=\mathop{max}\limits_{i=1...|C_s|}exp(1-\hat{y}^{(i)}) w′(xt)=i=1...∣Cs∣maxexp(1−y^(i))
(b)无源域适应
目的：高SSM值的目标样本–>正源类簇，反之亦然（在获取阶段的冻结源嵌入u空间中），在部署阶段只能训练FtF_tFt网络的参数。但是，在目标样本上对loss赋值的计算过程用到了源特征提取器FsF_sFs。定义部署模型为h=D∘Ft∘M(xt)h=D\circ F_t\circ M(x_t)h=D∘Ft∘M(xt)（用到了目标特征提取器），在K个类别上进行的softmax预测为z^(k)=σ(k)(h)\hat{z}^{(k)}=\sigma^{(k)}(h)z^(k)=σ(k)(h)
因此，可以得到用于适应的主要损失方程为：
Ld1=w(xt)⋅(−log(∑k=1∣Cs∣z^(k))+w′(xt)⋅(−log(∑k=∣Cs∣+1∣Cs∣+∣Cn∣z^(k))L_d1=w(x_t)\cdot(-log(\sum^{|C_s|}_{k=1}\hat{z}^{(k)})+w'(x_t)\cdot(-log(\sum^{|C_s|+|C_n|}_{k=|C_s|+1}\hat{z}^(k)) Ld1=w(xt)⋅(−log(k=1∑∣Cs∣z^(k))+w′(xt)⋅(−log(k=∣Cs∣+1∑∣Cs∣+∣Cn∣z^(k))
没有标签信息，预测KaTeX parse error: Expected '}', got 'EOF' at end of input: \hat{z}^{(k)会有不确定性，导致样本更高的熵。采用：熵最小化，将目标样本移向高置信区域（正和负簇中心）。正负源类要分别进行，从而将目标私有从整个目标数据集分开。对正、负源类定义两个不同的类概率向量：
z~s(i)exp(h(i))∑j=1∣Cs∣exp(h(j))；z~n(i)exp(h(i+∣Cs∣))∑j=1∣Cn∣exp(h(j+∣Cs∣))\widetilde{z}_s^{(i)}\frac{exp(h^(i))}{\sum^{|C_s|}_{j=1}exp(h^{(j)})}；\widetilde{z}_n^{(i)}\frac{exp(h^(i+|C_s|))}{\sum^{|C_n|}_{j=1}exp(h^{(j+|C_s|)})} zs(i)∑j=1∣Cs∣exp(h(j))exp(h(i))；zn(i)∑j=1∣Cn∣exp(h(j+∣Cs∣))exp(h(i+∣Cs∣))
得到正源类的目标样本熵为Hs(xt)=−∑i=1∣Cs∣z~s(i)logz~s(i)H_s(x_t)=-\sum^{|C_s|}_{i=1}\widetilde{z}_s^{(i)}log\widetilde{z}_s^{(i)}Hs(xt)=−∑i=1∣Cs∣zs(i)logzs(i)，负类的为Hn(xt)=−∑i=1∣Cn∣z~n(i)logz~n(i)H_n(x_t)=-\sum^{|C_n|}_{i=1}\widetilde{z}_n^{(i)}log\widetilde{z}_n^{(i)}Hn(xt)=−∑i=1∣Cn∣zn(i)logzn(i)。因此，熵最小化为：
Ld2=w(xt)⋅Hs(xt)+w′(xt)⋅Hn(xt)L_d2=w(x_t)\cdot H_s(x_t)+w'(x_t)\cdot H_n(x_t) Ld2=w(xt)⋅Hs(xt)+w′(xt)⋅Hn(xt)
因此最终的loss方程为Ld=Ld1+βLd2L_d=L_{d1}+\beta L_{d2}Ld=Ld1+βLd2。这里的β\betaβ是控制适应过程中熵最小化重要性的超参数。

Universal Source_free Domain Adaption论文阅读笔记相关推荐

论文阅读笔记《USAC: A Universal Framework for Random Sample Consensus》
本文总结了RANSAC算法的流程与存在的问题,整理了近几年基于RANSAC提出的改进算法,并整合各个算法的优势,提出一个统一的RANSAC算法框架.因此本文也可以看做是一片关于RANSAC算法的论 ...
HLA-Face: Joint High-Low Adaptation for Low Light Face Detection论文阅读笔记
HLA-Face: Joint High-Low Adaptation for Low Light Face Detection 论文阅读笔记这是去年7月读这篇文章的笔记了,今年由于忘记了,又有需要 ...
Learning from Synthetic Data for Crowd Counting in the Wild 论文阅读笔记
Learning from Synthetic Data for Crowd Counting in the Wild 论文阅读笔记发表:CVPR 2019 人群计数任务在多变的环境,大范围的人群中 ...
全卷积（FCN）论文阅读笔记：Fully Convolutional Networks for Semantic Segmentation
论文阅读笔记:Fully Convolutional Networks forSemantic Segmentation 这是CVPR 2015拿到best paper候选的论文. 论文下载地址:Fu ...
DnCNN论文阅读笔记【MATLAB】
DnCNN论文阅读笔记论文信息: 论文代码:https://github.com/cszn/DnCNN Abstract 提出网络:DnCNNs 关键技术: Residual learning an ...
Learning Multiview 3D point Cloud Registration论文阅读笔记
Learning multiview 3D point cloud registration Abstract 提出了一种全新的,端到端的,可学习的多视角三维点云配准算法. 多视角配准往往需要两个阶段 ...
FCGF论文阅读笔记
FCGF论文阅读笔记 0. Abstract 从三维点云或者扫描帧中提取出几何特征是许多任务例如配准,场景重建等的第一步.现有的领先的方法都是将low-level的特征作为输入,或者在有限的感受野上提 ...
PointConv论文阅读笔记
PointConv论文阅读笔记 Abstract 本文发表于CVPR. 其主要内容正如标题,是提出了一个对点云进行卷积的Module,称为PointConv.由于点云的无序性和不规则性,因此应用卷积比 ...
DCP（Deep Closest Point）论文阅读笔记以及详析
DCP论文阅读笔记前言本文中图片仓库位于github,所以如果阅读的时候发现图片加载困难.建议挂个梯子. 作者博客:https://codefmeister.github.io/ 转载前请联系作者 ...
2019 sample-free（样本不平衡）目标检测论文阅读笔记
点击我爱计算机视觉标星,更快获取CVML新技术本文转载自知乎,已获作者同意转载,请勿二次转载 (原文地址:https://zhuanlan.zhihu.com/p/100052168) 背景 < ...

Universal Source_free Domain Adaption论文阅读笔记

Universal Source_free Domain Adaption论文阅读笔记相关推荐

最新文章

热门文章