用鲁棒学习提升无监督图像聚类

摘要
无监督图像聚类方法通常引入替代目标来间接训练模型，并会受错误预测和过自信结果的影响。为克服这些挑战，当前研究提出一个新颖的模型RUC，受鲁棒学习的启发。RUC的新颖性是在用现有图像聚类方法的伪标签时作为一个可能包含错分类样本的有噪数据集。它的重训练过程可以修改错误对齐的知识，并减轻预测中的过自信问题。这个模型的灵活结构使他可以用作好的聚类方法的一个附加模块，并帮助他们在多数据集上有更好效果。大量实验证明提出的模型可用更好的校准来调整模型置信度，并获得对抗噪声的鲁棒性。

1. 引言
无监督聚类，旨在辨别每个图像的类所属不用任何标签。一个类：有相似视觉特征的图像的group属性。很多研究提出：使用特征空间中的距离作为一个相似度矩阵来分配数据点给类的基于深度学习的算法。
但是，不用真实指导进行训练，容易找到从低层次的视觉特征比如颜色和纹理学习到的琐碎的解决方案。一些研究引入新方法间接指导模型训练，通过设置替代目标。
这篇文章引入一个新的鲁棒学习训练方法，RUC（无监督聚类的鲁棒学习），与现有的聚类模型一起运行来缓解上面的噪声。利用并将现有的聚类模型的结果作为一个可能包含错误标签的有噪数据集，RUC更新模型的错误对齐信息。我们过滤出不干净的样本，并应用loss校正。*（图1）*这个过程用标签平滑和共同训练协助来减小任何来自不干净标签的错误梯度信号。这个用修改后的伪标签的重训练过程进一步正则化模型，并防止产生过自信结果。
RUC包括两个关键部分：（1）提取干净样本；（2）用过滤后的数据集重训练。提出基于置信度，基于矩阵和混合方法来过滤错误分类的伪标签。
第一个方法：将来自原始聚簇模型的高预测置信度的样本视作一个干净集合，它过滤出低置信度样本。这种方法依赖于模型的校准效果。第二种：使用来自无监督嵌入模型的相似度矩阵来用非参数分类器检测出干净样本，通过检查是否给定的样本和top k最近邻样本有相同标签。第三种：结合这两种，并根据两种方法选择可信的样本。

下一步：用采样样本重新训练聚簇模型。我们用MixMatch，一个半监督学习方法，用干净样本作为标签数据，不干净样本作为无标签数据。采样标签平滑来在标签噪声上利用强去噪效果，并阻止从过自信样本中学习。最后，一个共同训练的架构（两个网络）用来减轻训练过程中的来自不干净样本的噪声积累，并增加效果。

用严格的实验方法在数据集上评估RUC，将RUC结合到已有的聚簇模型上效果很好。提升了baseline模型，在对抗噪声上鲁棒，贡献如下：
（1）提出的算法RUC通过重训练和避免过自信预测来帮助已有的无监督聚类模型；
（2）RUC独特的重训练过程帮助已有方法提升效果，对STL-10数据集提升了5.3pp当被加到好的模型中时。
（3）消融实验表明：RUC中每个部分都很重要，包括三个提出的方法（基于置信度、基于矩阵、混合），在从有噪伪标签中提取干净样本时很好。
（4）提出的训练过程对抗对抗噪声时鲁棒，可以用更好的校准调整模型置信度。

2. 相关工作
2.1 无监督图像聚类
聚类的主要目标：将数据点分组为相似特征的不同类。大多现实问题处理高纬度数据（比如图像），因此，在提取低维特征时设置一个具体的相似度概念成为为分组设置合适标准的关键部分。类似的，无监督聚类是研究的一类，旨在解决在学到的相似度矩阵上的维度减小和边界确定问题。现有研究可分类为：有序的，联合的，多步的提纯方法。
有序方法
提取特征，然后有序地应用传统的距离或基于密度的聚簇算法进行类分配。为了特征提取，自动编码器结构通常被用来在分组前提取潜在特征，自动编码器的类型包括：堆叠的，布尔的和可变自动编码器。然而，这些模型通常在簇间产生分离性较小的特征，由于缺少在接下来分配过程中的知识。
联合方法
联合方法的特征是使用一个端到端的观点，同时执行特征提取和类分配。例子：采用聚簇损失的概念来保证簇间有足够的分离性。端到端CNN管道广泛用于迭代的鉴别簇，同时提纯提取特征。最近研究现实：一个基于互信息的目标是有效度量提升分类准确率。但是，模型仍问题：生成意外的解决方案-依赖于来自随机初始化的小的低层次特征。
多步提纯方法
为减少意料外的小的解决方案，最近方法利用无监督嵌入学习模型的力量来提供下游聚簇任务的更好初始化。这些方法产生特征表示来收集有相似视觉特征的数据点，并将剩余的推向嵌入空间。通过初始化，聚簇结果在一个提纯步骤中进行阐述，给类分配质量带来显著提高。特别地，SCAN首先通过特征相似度得到高级别的特征表示，然后通过最近邻聚簇这些表示，并且这个模型在无监督聚簇上有很好效果。
额外模块提升无监督聚类
提出的带有样本选择方法的重训练过程提升了现有的无监督聚类算法（比如有序的，联合的，多步提纯的），作为一个额外模块。模块主要目标：通过标签净化和用净化后标签重训练来修正训练后的聚簇模型的错误对齐的知识，

2.2 用标签噪声进行鲁棒学习
鲁棒学习的一个广泛应用的设定：对手特意破坏标签，否则就来自于一些干净的分布。根据文献，深度网络在训练过程中很容易过拟合标签噪声，并获得一个低的泛化能力。在此基础上，防止在一个噪声标签环境中过拟合的模型被研究。
loss 校正
第一个代表性工作：一个loss校正，明确或间接地重标签不干净的样本。例如，Patrini：估计了标签转换概率矩阵，来修正loss并冲训练模型。为更准确估计转换矩阵，黄金loss校正方法被提出来利用可信任的标签作为额外信息。
Loss 重加权
旨在将一个较小的权重给不干净样本的loss，从而模型可以减少训练过程中标签噪声的负面影响。一个工作计算出重要性作为两个数据分布的逼近比率，干净和不干净。另一方面，主动偏置方法计算出训练过程中的预测不连续性，并分配一个权重来惩罚不干净数据。
样本选择
重标签错分类样本会导致一个错误的校正。这样，很多最近的工作引入了一个样本选择过程来筛选错分类样本，并且仅选择干净数据进行训练。注意的是，小的损失技巧，认为带有小训练损失的样本是干净的，在分离真实和错误标签数据点时很强。并且，最近研究显示了多种不同的导致额外性能的方法，通过保持两个网络来避免积累样本偏差，采用错误标签样本的翻新方法，用一个半监督方法来最大程度使用错标签的样本。我们的模型超过了其中一些样本选择方法来在聚簇结果中过滤不干净样本，并在重训练时仅使用干净样本。

3. 方法
RUC是一种附加的方法，可被用于与现有的无监督聚类方法结合来提纯错误预测。它的关键思想：将初始的聚簇结果用作有噪的伪标签，并学习用一个温和的聚簇假设和鲁棒学习技术来改进它们。图2和算法1：整体的算法框架。给定初始伪标签，首先将训练数据分为两个不连接的集合，干净和不干净（3.1节）。然后将这些集合分别视为干净和不干净数据，我们以一种半监督方式学习一个分类器，同时翻新标记和未标记的数据（3.2节）。我们用鲁棒学习方法指导半监督类分配，比如共同训练和标签平滑，来考虑固有的标签噪声。这些方法在解决标签噪声和校正模型的预测分数时有用，下面：模型细节。
3.1 提取干净样本
训练数据：xix_ixi是一个图像，yi=gϕ(xi)y_i=g_\phi(x_i)yi=gϕ(xi)是来自一个无监督分类器gϕg_\phigϕ的一个伪标签。模型首先用一种特定的采样策略将伪标签划分为两个不连续集合
将X\mathcal{X}X作为干净的，它的伪标签中等可信，因此可被用作一个标记的数据集(x,y)∈X(x,y)\in\mathcal{X}(x,y)∈X进行提纯。相反，U\mathcal{U}U作为不干净的，我们丢弃的标签u∈Uu\in\mathcal{U}u∈U。设计一个准确的采样策略是不直接的，因为没有真实的来直接验证伪标签。受鲁棒学习的干净集选择策略启发，我们发现三种不同方法：基于置信度，基于矩阵的和混合的。
基于置信度的方法
这种方法基于一个无监督分类器的置信分数选择干净样本。给定一个训练样本(x,y)∈D(x,y)\in D(x,y)∈D，如果max(y)>τ1max(y)>\tau_1max(y)>τ1认为伪标签y是可信的，并将它加到干净集合X\mathcal{X}X中。否则，被分配到U\mathcal{U}U中。受启发：无监督分类器通常生成过自信的预测，因此，我们仅信任每个类最典型的例子，而忽视其余的。阈值τ1\tau_1τ1被设置足够高来尽可能多的消除不确定样本。

基于矩阵的方法
上面方法限制：选择方法仍完全依赖于无监督分类器。这种方法利用一个以无监督方式学习的附加的嵌入网络hψh_\psihψ，并根据伪标签与使用hψh_\psihψ的分类结果一致性来衡量伪标签的可信度。对每个(x,y)∈D(x,y)\in D(x,y)∈D，计算它的嵌入hψ(x)h_\psi(x)hψ(x)，并通过y′=kNN(hψ(x))y'=kNN(h_\psi(x))y′=kNN(hψ(x))应用基于KNN的无参数分类器。我们认为如果argmax(y)=argmax(y′)argmax(y)=argmax(y')argmax(y)=argmax(y′)那么伪标签是可信的，并加到干净集X中，否则分到不干净集合U中。
混合方法
这种方法仅当被基于置信度和基于矩阵的方法都认为可信时，向干净集合X中加入一个样本。所有其它的加到U中。

3.2 通过鲁棒学习重训练
给定一个干净X和不干净集U，下一步：学习提纯分类器fθf_\thetafθ，修正初始无监督分类器的不正确的预测。使用MixMatch作为Baseline。
普通的半监督学习
MixMatch是一种半监督算法，使用MixUp增强从无标签样本中估计低熵的混合标签。对无监督聚类，MixUp可带来额外的阻力对抗噪声标签，因为大量的来自MixUp拟合的额外视觉样本使得记忆难以实现。特别地，给定一个两对数据(x1,y1),(x2,y2)(x_1,y_1),(x_2,y_2)(x1,y1),(x2,y2)采样自标签或无标签数据，用下面操作增强数据：

在无标签数据u∈Uu\in Uu∈U情况下，用MixMatch从而通过平均锐化后模型的预测得到一个代理标签y=qy=qy=q。之后，我们将说明：直接以半监督学习使用标签y和q会导致一个次优解决方案，并讨论怎样提升它的鲁棒性。
对于（公式5）MixMatch之后的X^,U^\hat{X},\hat{U}X^,U^，一个普通的半监督学习模型用两个单独的损失进行训练：标记集合X^\hat{X}X^的交叉熵损失（公式6），和无标签集合U^\hat{U}U^的一致正则化（公式7）。H(p,q)H(p,q)H(p,q)表示p和q之间的交叉熵：

标签平滑
为正则化我们的对有噪预测过自信的模型，我们应用标签平滑和普通的半监督学习。标签平滑规定了以均匀噪声混合的软标签，并提高了预测的校准。给定一个标签样本和它对应的标签(x,y)∈X(x,y)\in X(x,y)∈X，我们向所有的类中是注入均匀的噪声：

其中C是类数量，ϵ\epsilonϵ服从（0，1）正态分布是噪声。我们使用软标签y~\widetilde{y}y和强增强样本ϕA(x)\phi_A(x)ϕA(x)通过RandAugment计算交叉熵损失。我们发现强增强最小化了来自有噪样本的记忆：

最终的训练目标：

其中λU\lambda_UλU是控制MixMatch中无监督损失效果的超参数。

共同训练
维护一个网络进行学习有过拟合错误伪标签的漏洞，因为网络的初始错误被重新转移回，并且会累积。为避免这种谬误，我们还引入一个共同训练模块，其中两个网络并行训练，并且通过在MixMatch上添加一个联合提纯来交换彼此的猜测来教彼此。
共同提纯是一个标签提纯过程，旨在通过融合两个网络的预测来生成可信的标签。我们对每个网络在标签集X和伪标签集U进行共同提纯。从网络1的角度解释共同提纯过程。对标签数据点x，我们计算X中原始标签y和逆向网络2的预测之间的线性和，并在结果上应用锐化来生成提纯标签y‾\overline{y}y

其中w(2)w^{(2)}w(2)是x的逆向网络的置信值，T是锐化温度。对无标签集合U，应用两个网络预测的集合来猜测数据样本u的伪标签q‾\overline{q}q：

其中umu_mum是u的第m个弱增强。

代替X和U，共同提纯生成提纯数据集通过公式11到14
我们使用那些数据集作为MixMatch算法的输入，并且模型最终优化如下：

L是公式10中定义的Loss，这个过程也对网络2进行以同样方式。

联合翻新
最近，在训练过程的每个epoch最后翻新有噪样本，来提供额外的干净样本。如果在给定不干净样本u∈Uu\in Uu∈U上至少一个网络置信度超过阈值τ2\tau_2τ2，对应样本的标签用网络的预测p来更新。更新的样本然后被视作干净的，并添加到标记集合X。

其中1p是p的一个one-hot向量，第i个原始是1，考虑到i=argmax(p)i=argmax(p)i=argmax(p)。

用鲁棒学习提升无监督图像聚类相关推荐

有监督回归：鲁棒学习
1.前言虽然最小二乘学习法是非常实用的机器学习方法,但是当训练样本中包含异常值的时候,学习效果非常易于受到影响.下图展示的是对于线性模型: 以10个训练样本进行最小二乘学习的例子.测试结果如下图所示 ...
Github大热论文 | U-GAT-IT：基于GAN的新型无监督图像转换
作者丨武广学校丨合肥工业大学硕士生研究方向丨图像生成生成对抗网络(GAN)在这几年的发展下已经渐渐沉淀下来,在网络的架构.训练的稳定性控制.模型参数设计上都有了指导性的研究成果.我们可以看出 1 ...
四大指标超现有模型！少样本的无监督图像翻译效果逆天| 技术头条
作者 | Ming-yu Liu, Xun Huang, Arun Mallya, Tero Karras, Timo Aila, Jaakko Lehtinen 译者 | linstancy 编辑 ...
论文Express | 英伟达最新：多模态无监督图像迁移网络框架
不久前,文摘菌给大家分享了一篇Ian Goodfellow的论文,教大家如何把一张哈士奇的图像硬生生的AI成一只猫咪,论文的结果确实会让人傻傻分不清楚,点击这里查看相关内容. 然而,今天的这篇论文效果 ...
【IM】关于稀疏学习和鲁棒学习的理解
主要是理解L1和L2正则化,鲁棒学习中也是围绕L1残差和L2方差损失来提出模型.关于鲁棒学习,对于异常值的鲁棒性有两方面:一是对现有样本中异常点的鲁棒性:二是对新增异常点的鲁棒性. 关于L1和L2正则 ...
“用于无监督图像生成解耦的正交雅可比正则化”论文解读
Tikhonov regularization terms https://blog.csdn.net/jiejinquanil/article/details/50411617 本文是对博客http ...
又一新框架｜无监督图像转换任务新境界（附论文代码）
关注并星标从此不迷路计算机视觉研究院 2020 IEEE国际计算机视觉与模式识别会议(IEEE Conference on Computer Vision and Pattern Recognit ...
无需聚类，杭电学者提出基于软化相似度学习的无监督行人再识别
请点击: 无需聚类,杭电学者提出基于软化相似度学习的无监督行人再识别查看详情. 标注成本越来越高,无监督学习越来越受重视. 该文有非官方实现的开源代码,欢迎参考.
基于深度学习和无监督血管分割的OCTA图像中央凹血管区分割 -- ICASSP2021 阅读笔记
文章目录文章信息标题出处关键词任务背景任务需求背景贡献提出的方法实验数据集描述 OCTAGON3 sFAZDA TA 实验指标小结文章信息标题 FOVEAL A V ASC ...
UCL-Dehaze: Towards Real-world Image Dehazing via Unsupervised Contrastive Learning 基于对比学习的无监督真实图像去雾
概述本文提出了一种有效的无监督对比学习范式 --ucl-dehaze.未配对的真实世界清晰图像和模糊图像很容易获取,在训练UCL-Dehaze网络时分别作为重要的正样本和负样本.为了更有效地训练网 ...

用鲁棒学习提升无监督图像聚类

用鲁棒学习提升无监督图像聚类相关推荐

最新文章

热门文章