原文链接：https://www.techbeat.net/article-info?id=4150
作者：吕骋

本文提出了一种全新的无监督域自适应模式：先验知识指导的无监督域自适应（KUDA），目的是利用先验知识补偿目标域标记数据的缺失。具体地，作者考虑了两种目标域类分布的先验约束：描述单个类类概率范围的一元上下界，以及描述两个类类概率差异的二元关系。基于先验约束，作者提出了一种通用模块用于修正模型预测的伪标签，该模块可以很容易地集成到基于自训练的UDA方法中。作者将它与两种前沿方法SHOT和DINE相结合，验证了利用先验知识可以改善伪标签质量，进而提升域自适应的性能。

论文链接： https://arxiv.org/abs/2207.08877
代码链接：https://github.com/tsun/KUDA

一、引言

深度神经网络在各种视觉任务中表现出显著的性能提升，然而这样的性能高度依赖于大量的标记数据，获得这些数据通常是昂贵的。无监督域自适应（UDA）将有标记源域学习到的预测模型迁移到无标记目标域，近年来取得了很多进展，但由于目标域中没有标记数据，UDA仍然是一项具有挑战性的任务。

另一方面，在许多实际应用中，关于目标域的先验知识通常是可以获得的。获取类分布先验信息并不一定需要标记每个个体样本。例如，植物学家可以利用历史信息估计保护区内野生物种的比例；经济学家可以根据当地的产业结构判断货车保有量是否比其他车辆更多。这些先验知识可以提供与未标记数据互补的有价值线索，在源域和目标域分布偏移较大时尤为有益。事实上，传统机器学习工作中已有提出利用先验知识弥补标记数据的不足，但将其系统性集成到UDA中仍有待探索。

基于上述观察，作者提出了一种全新的UDA模式：先验知识指导的无监督域自适应（KUDA），具体如图1所示。除目标域训练样本之外，还可以访问目标域类分布的先验知识。文中考虑了两种类型：描述单个类类概率范围的一元上下界（例如方块的类概率在0.1到0.3之间），和描述两类类概率差异的二元关系（例如三角形多于方块）。KUDA的任务是在这些先验知识的指导下，将源域学习到的预测模型迁移到目标域中。值得说明的是，除了文中提到的两种，还可以定义其他各种类型先验知识。一元和二元约束在实际应用中更加通用且更容易获得。

图1（左）先验知识指导的无监督域自适应（KUDA）。除目标数据外，还可以利用目标域类分布的一些先验知识。（右）本文考虑的两种类型先验知识。

为了将先验知识结合到域自适应中，文中提出了一种通用模块，通过求解0-1整数规划问题来修正模型生成的伪标签。该模块可以很容易地集成到基于自训练的UDA方法中。为了验证其有效性，作者将其与两种前沿UDA方法SHOT和DINE相结合，在四个常用的UDA数据集上进行对比实验，其中两个数据集具有很大的类分布偏移。实验结果验证了在先验知识指导下利用修正模块可以改善伪标签质量，进而显著提升自训练后两种方法的域适应性能。本文工作表明，考虑目标域类分布的先验知识非常重要，尤其是当源域和目标域间隔较大时候。

二、方法

假设 P∈Rnt×CP \in \mathbb{R}^{n_t \times C}P∈Rnt×C 是模型在目标域数据上预测得到的类概率矩阵，则第 ii 个样本的伪标签可以通过 y^it=arg maxpi\hat y_i^t=\text{arg max} p_iy^it=arg maxpi 获得，其中 pip_ipi 是 PPP 的第 iii 行。求解伪标签的过程可以等价地且更加紧凑地表示为：

其中 LLL 是one-hot形式表示的待求解伪标签，⟨⋅,⋅⟩\langle\cdot, \cdot\rangle⟨⋅,⋅⟩ 是两个矩阵的内积，[nt]={0,1,…,nt−1}[n_t ]=\{0,1,…,n_t-1\}[nt]={0,1,…,nt−1} 。该优化问题的最优解为 L^i,y^it=1\hat L_{i,\hat y _i^t}=1L^i,y^it=1 ，同时 L^i,c=0∀\hat L_{i,c}=0 \forallL^i,c=0∀ c≠y^itc \neq \hat{y}_{i}^{t}c=y^it 。

在没有任何先验知识的情况下，每个目标域样本求解伪标签相互独立。伪标签类概率 p^t(c)=∑iLi,c/nt\hat{p}_{t}^{(c)}=\sum_{i} L_{i, c} / n_{t}p^t(c)=∑iLi,c/nt 理论上应接近真实类概率 pt(c)p_t^{(c)}pt(c) ，但由于模型预测结果有噪声，该条件往往无法满足。本文提出使用类概率的先验知识来修正模型预测的伪标签。

2.1 硬约束形式优化问题

将两种目标域类分布的先验知识作为约束条件，添加到上述的优化问题中，可以得到硬约束形式的优化目标：

此优化问题属于0-1整数规划，可以用标准算法直接求解。尽管如此，使用硬约束形式是不推荐的，因为当这些约束条件不相容时，优化问题将变得不可求解。

2.2软约束形式优化问题

为了克服硬约束形式的缺点，作者通过引入松弛变量 \xiξ 将先验知识转化为软约束形式。在软约束形式的目标函数中， MM 是一个非负常数。当 MM 充分大时，只要从先验知识导出的硬约束是可满足的，软约束形式的最有解将与硬约束形式相同；当 M=0M=0 时，软约束优化问题将退化为无先验约束的初始问题。

2.3 平滑正则化

前文提出利用目标域类分布的先验知识来改进伪标签。该步骤仅利用了模型预测的概率矩阵，而忽略了特征空间中样本的分布情况。在分类任务中，通常希望标签预测是局部平滑的。因此，作者添加了一个平滑正则化，使相邻样本求解得到的伪标签保持一致。

文中选择模型预测不确定的目标样本的子集 St⊆Dt\mathcal{S}_{t} \subseteq \mathcal{D}_{t}St⊆Dt 。让每个 xit∈Stx_i^t \in \mathcal{S}_txit∈St 在 Dt\St\mathcal{D}_{t} \backslash \mathcal{S}_{t}Dt\St 中的最近邻为 xkitx_{ki}^txkit 。平滑正则化是等约束的集合， R={(li=lki)∣xit∈St}\mathcal{R}=\left\{\left({l}_{i}={l}_{k i}\right) \mid {x}_{i}^{t} \in\right. \left.\mathcal{S}_{t}\right\}R={(li=lki)∣xit∈St} 。将这些等式转换为软约束是非常重要的，因为它将在目标中引入二阶项。这些等式是硬约束时，无法直接将它们添加到上面两个等式中。

首先求解一次无平滑正则约束的优化问题得到模型在目标域样本上预测不确定的一个子集 St⊆Dt\mathcal{S}_{t} \subseteq \mathcal{D}_{t}St⊆Dt ，令样本 xit∈Stx_i^t \in \mathcal{S}_txit∈St 在 Dt\St\mathcal{D}_{t} \backslash \mathcal{S}_{t}Dt\St 中的最近邻为 xkitx_{ki}^txkit ，则可以得到一组平滑正则化约束条件 R={(li=lki)∣xit∈St}\mathcal{R}=\left\{\left({l}_{i}={l}_{k i}\right) \mid {x}_{i}^{t} \in\right. \left.\mathcal{S}_{t}\right\}R={(li=lki)∣xit∈St} 。因为将这些等式转换为软约束是非平凡的，作者直接将其作为硬约束添加到优化问题中，并再次求解优化问题。

2.4 先验知识指导的UDA方法

图2 将伪标签修正模块集成到SHOT和DINE方法中的示意图。

文中提出的伪标签修正模块（即通过优化问题更新伪标签）可以很容易地集成到基于自训练的UDA方法中。作者选择了两种前沿的UDA算法，SHOT和DINE，来验证其有效性，其流程如图2所示。

三、实验

作者在Office-Home，Office，VisDA-2017和DomainNet上进行了对比实验，探究了在不同精确程度的先验知识约束下，UDA算法的性能提升。其中 σ\sigmaσ 越小表明先验知识越精确。部分结果如下：

表1 SHOT和kSHOT方法在Office-Home以及VisDA上目标域正确率对比结果

表2 SHOT和kSHOT方法在DomainNet 上目标域正确率对比结果

表3 DINE和kDINE方法在Office-Home上目标域正确率对比结果

实验表明，当先验知识比较精确时，进行伪标签修正后的算法相比原始版本准确率有了显著提升。随着先验知识精确度下降，性能提升也有所下降。更多实验表明，在类分布偏移较大的数据集上以及Partial-set UDA设置下，使用先验知识对模型准确率的提升更加显著。

四、分析

作者从两方面分析了先验知识对UDA的指导作用：先验知识可以修正靠近决策边界的非置信样本的预测标签（如图3所示）；先验知识可以改善样本伪标签的整体分布（如图4所示）。

图3 （左）先验知识可以修正非置信样本的伪标签；（右）Office A→W任务训练过程中使用先验知识修正前后伪标签的正确率曲线。

图4 先验知识可以改善伪标签的整体分布。
图5表明即使当先验知识含有噪声或先验知识只约束部分类别时，其对UDA仍有帮助。

图5 （左）Office-Home US-RT 和（中）Office上含有不同程度噪声的先验知识指导； Office-Home US-RT上覆盖不同类别个数的先验知识指导。

五、总结

作者提出了一种新颖但现实的设置：先验知识指导的无监督域自适应（KUDA）。在KUDA中，除了有标记源数据和无标记目标域数据之外，还可以获得目标域类别分布的一些先验知识。为了利用先验知识，作者提出了一种通用模块，通过求解约束条件下的优化问题来修正伪标签。作者将其集成到两种前沿的基于自训练的UDA方法，SHOT和DINE，中进行对比实验。结果表明，使用先验知识可以改善伪标签质量，进而提升域自适应性能。

ECCV 2022 | 石溪大学联合小鹏汽车提出先验知识指导的无监督领域自适应相关推荐

特斯拉撤诉和解，小鹏汽车沉冤得雪：警惕自动驾驶领域的“美国陷阱”
雷刚发自凹非寺量子位报道 | 公众号 QbitAI 历时2年,曾经轰轰烈烈的特斯拉状告小鹏汽车新员工一案,落锤.和解. 特斯拉最初以"商业窃密"起诉,但两年翻来覆去,最终 ...
拆解小鹏汽车财报：连续三个季度收入下滑，门店月均销量仅为8辆
11月30日,小鹏汽车(NYSE:XPEV.HK:09868)公布了截至2022年9月30日的2022年第三季度财报.财报显示,小鹏汽车2022年第三季营收68.2亿元,略低于市场预期的68.8亿元, ...
短期逆风造成了小鹏汽车的股价持续暴跌和错误定价
来源:猛兽财经作者:猛兽财经小鹏汽车2022年第二季度财务业绩分析小鹏汽车近期发布的2022年第二季度财报显示,营收超过预期,但收益未达到预期.第二季度营收为11.1亿美元,略高于预期,而每股 ...
特斯拉联合苹果发难要对小鹏汽车“窃密”员工动手了...
日前,特斯拉起诉前华人员工窃密一案有了最新进展. 特斯拉起诉的对象是前特斯拉高级工程师曹光植,目前为小鹏汽车及其美国子公司XMotors工作.据双方提交的法庭文件显示,特斯拉提起诉讼称,曹光植窃取了特 ...
AI一分钟 | 小鹏汽车回应前苹果员工窃取商业机密：积极配合相关调查
▌苹果前华人工程师涉窃密被捕,小鹏汽车回应今日(7月11日),有外媒报道称,苹果前雇员张晓浪因窃取商业机密罪被美国联邦调查局逮捕并被起,该员工即将加入小鹏汽车. 小鹏汽车的声明如下: 我们关注到 7 ...
互联网晚报 | 2月17日星期四 | 小鹏汽车回应总裁年薪超4亿；B站将上线开播前人脸认证功能；星巴克再次涨价...
今日看点 ✦ Redmi K50电竞版正式发布:搭载高通骁龙8Gen1,售价3299元起 ✦ 小鹏汽车回应"总裁年薪超4亿":系误解,实为多年累积的股权激励 ✦ B站直播新规:开播 ...
互联网晚报 | 2月11日星期五 | 小红书月活跃用户超2亿；小鹏汽车宣布拓展欧洲市场；贝壳首个青年公寓项目落地上海...
今日看点 ✦ 小鹏汽车宣布拓展欧洲市场,品牌零售体验店Q1在瑞典和荷兰开业 ✦ 小红书月活跃用户已超过2亿,90后等年轻群体占比达到72% ✦ 贝壳首个青年公寓项目落地上海,与乐湾公寓合作共建 ✦ 百 ...
互联网晚报 | 9月28日星期二 | 乐视手机宣布回归；小鹏汽车累计交付量突破10万台；苹果售出20亿部iPhone...
‍ 今日看点 ✦ 快手搜索发布首个品牌Slogan,日均搜索次数超3亿 ✦ 乐视宣布手机业务正式回归并发布新品S1,内置华为HMS服务 ✦ 合合信息提交科创板IPO招股书:拟募资14.9亿元,去年净利 ...
小鹏汽车拟挂牌港交所披露了一些有意思的数据
6月29日消息,近日港交所发布信息显示,小鹏汽车已通过港交所聆讯,在港上市步入倒计时.小鹏汽车将于6月25日至6月30日招股,预期于7月7日正式在联交所主板挂牌上市. 小鹏汽车宣布其在全球拟发售850 ...
自动驾驶“稳打地基”，小鹏汽车基于阿里云建自动驾驶AI智算中心算力可达600PFLOPS
数据驱动是自动驾驶发展的公认方向,也让自动驾驶模型训练成为一头"吃算力"的巨兽.自动驾驶的视觉检测.轨迹预测与行车规划等算法模型,有赖于机器学习海量数据集,但算力的不足让研发速度仍 ...

ECCV 2022 | 石溪大学联合小鹏汽车提出先验知识指导的无监督领域自适应