Open-set Adversarial Defense with Clean-Adversarial Mutual Learning

用干净的对抗性学习进行开放集对抗性防御

摘要

开放集识别和对抗性防御研究了深度学习的两个关键方面，这对现实世界的部署至关重要。开放集识别的目的是在测试过程中识别开放集类的样本，而对抗性防御的目的是使网络对受不可察觉的对抗性噪声干扰的图像具有鲁棒性。

本文证明了开放集识别系统很容易受到对抗性样本的影响。
此外，本文还表明，在已知类别上训练的对抗性防御机制无法很好地推广到开放集的样本。

在这些观察的激励下，我们强调了开放集对抗性防御（OSAD）机制的必要性。本文提出了一个带有清洁对抗相互学习（OSDN-CAML）的开放集防御网络作为OSAD问题的解决方案。所提出的网络设计了一个带有双注意特征去噪层的编码器，与一个分类器一起学习无噪音的潜在特征表示，它在信道和空间上的注意过滤器的指导下自适应地去除对抗性噪音。为了提高对抗性防御和开放集识别的性能，我们利用了几种技术来学习无噪音和信息丰富的潜在特征空间。

首先，我们加入了一个解码器，以确保干净的图像可以从获得的潜在特征中得到很好的重建。
然后，使用自我监督来确保潜伏特征有足够的信息量来执行辅助任务。
最后，为了利用清洁图像分类的更多补充知识来促进特征去噪，并为开放集识别寻找更普遍的局部最小值，我们进一步提出清洁-对抗相互学习，其中进一步引入同行网络（分类清洁图像），与分类器（分类对抗图像）相互学习。

我们提出了一个测试协议来评估OSAD的性能，并展示了所提方法对白盒攻击、黑盒攻击以及多个物体分类数据集中的矩形遮挡攻击的有效性。

引言

深度卷积神经网络（CNN）[15]的出现，促进了各种图像分类任务的显著改善。由于CNN在分类任务中的良好表现，许多现实世界的计算机视觉应用[51,53,21,2,52,40,39,41]已经实现。然而，传统的CNN存在一些局限性，在现实世界的应用中产生了影响。特别是，在过去的几年里，开放集识别[3,11,27,31,54,34,36,35,57]和对抗性攻击[13,26,5,20,49]在计算机视觉和机器学习界获得了很多兴趣

传统上，CNN假设在测试过程中遇到的类与训练过程中观察到的类是相同的。但是在现实世界中，一些在训练中未曾见过的类的开放集样本很可能会被提交给一个训练有素的分类器。在这种情况下，CNN会错误地将一个开放的样本与一个已知的类别进行分类。考虑一个用动物类别训练的CNN。给定一个来自动物类（如猫）的输入，网络能够预测出正确的类别，如图1（a-第一行）所示。然而，如图1（a-第二行）所示，当网络遇到非动物图像，如飞机图像时，CNN错误地将其归类为已知类别之一。另一方面，一个众所周知的事实是，在干净的图像中加入手工制作的人类无法感知的扰动可以改变分类器中的模型预测[13]。这些对抗性攻击可以很容易地部署并威胁到各种现实世界的应用[9,47]。如图1（a-第三行）和图1（a-第四行）所示，已知图像和开放图像的模型预测分别被这种对抗性攻击严重削弱。

在计算机视觉界已经提出了几种开放集识别算法[3,11,27,31,54]来解决前者的挑战。通过将开放集类作为一个额外的类，这些算法将c类分类问题转换成c+1类问题。如图1（b-第一行和第二行）所示，这些算法可以为已知类和开放类提供正确的分类决定。然而，如图1（b-第三行和第四行）所示，在有对抗性攻击的情况下，这些模型不能产生正确的预测。另一方面，一些防御策略[20,49,23,18]已经被开发出来以对抗后一种挑战。然而，这些防御机制都是建立在封闭集测试的假设基础上的。因此，尽管当这一假设成立时，它们表现良好（图1（c-第一行和第三行）），但如图1（c-第二行和第四行）所示，它们不能很好地推广到开放集样本。

基于上述讨论，很明显，现有的开放集识别算法对对抗性攻击并不稳健，在已知类上训练的对抗性防御机制在开放集样本存在的情况下不能很好地泛化。这一观察促使我们提出了一个新的研究问题--开放集对抗性防御（OSAD），其目的是利用对抗性鲁棒性和开放集泛化之间的互补性，这样我们就可以在对抗性噪声的存在下同时检测开放集样本并对已知类别进行分类。为了证明所提出问题的重要性，我们在CIFAR10数据集中进行了初步实验，其中只有6个类别被认为是分类器的已知类别。我们在表1中列出了这个实验的开放集检测性能（即ROC曲线的曲线下面积）和封闭集分类精度。当干净的图像被提交给网络时，开放集检测和封闭集分类的准确率都可以达到80%以上的性能。然而，当图像受到对抗性噪声的攻击时，开放集检测和封闭集分类的性能会明显下降。请注意，在这种情况下，开放集检测性能接近随机猜测（45：98%）。

为了解决这个新的研究问题，本文提出了一个带有清洁对抗性相互学习的开放集防御网络（OSDN-CAML），它可以学习一个无噪音的、信息丰富的潜在特征空间，目的是泛化到开放集样本并对对抗性攻击具有鲁棒性。

我们使用一个自动编码器网络，其分类器分支连接到其潜在空间作为我们解决方案的骨干。双注意特征去噪层被嵌入到编码器网络中，以同时去除由空间和通道方面的注意过滤器引导的对抗性噪声。

为了提高所学特征空间的信息量，清洁图像生成和自监督去噪被纳入我们的网络中，这有利于在对抗性攻击下检测开放集的样本。清洁图像生成通过解码器根据所学的潜在特征生成无噪音图像，而自我监督去噪是通过强迫网络根据所学的无噪音特征执行辅助分类任务来进行的。此外，为了充分利用干净图像和其相应的对抗性例子之间的互补性来帮助对抗性防御和开放集识别，我们加入了一个同行学习者（对干净图像进行分类）来与分类器（对对抗性图像进行分类）相互学习。所提出的清洁-对抗相互学习可以进一步利用清洁图像分类的更多互补性知识，以促进特征去噪和寻找更普遍的局部最小值来进行开放集识别。如表1所示，所提出的OSDN-CAML在近似集分类和开放集检测方面明显提高了对对抗性攻击的鲁棒性。我们论文的主要贡献总结如下。

1. 本文提出了一个新的研究问题，名为开放集对抗性防御（OSAD），其中对抗性攻击是在开放集设置下研究的。

2.我们提出了一个带有清洁对抗相互学习的开放集防御网络（OSDN-CAML），该网络学习了一个潜在的特征空间，对对抗性攻击具有鲁棒性，并且在识别开放集样本方面具有信息量。在编码器中嵌入了双注意去噪层，以实现更好的特征去噪，并且提出了清洁对抗相互学习，以利用清洁图像和其相应的对抗性例子之间的互补性来帮助对抗性防御和开放集识别。

3.对OSAD问题定义了一个测试协议。在三个公开的图像分类数据集上进行了广泛的定量实验，包括白盒攻击、黑盒攻击和矩形遮挡攻击，以证明所提方法的有效性。各种定性的可视化分析提供了对所提方法更全面的分析和理解。

这项工作的初步版本出现在ECCV 2020上[42]。我们在这个期刊版本中做了三个主要改进。首先，我们提出了一个双注意力的特征去噪层，以改善编码器中的特征去噪。与我们的会议版本所进行的去噪操作相比，我们提出的双注意特征去噪层在信道和空间注意滤波器的指导下同时进行信道和空间的特征去噪。当使用双注意去噪层时，编码器可以同时学习 "哪里 "和 "什么 "来强调或抑制特征去噪。其次，我们提出了清洁-对抗相互学习，在这个框架中，我们进一步加入了一个分支，即清洁图像分类的同伴学习器。在所提出的清洁-对抗相互学习中，同行学习者和编码器-开放集分类器分支相互学习，这有利于特征去噪，并帮助网络收敛到最小，对开放集样本有更好的泛化能力。最后，本刊对白盒攻击、黑盒攻击以及矩形闭塞攻击进行了更全面的定量和定性实验，以证明所提方法的有效性。

相关工作

对抗性攻击和防御方法。Szegedy等人[44]证明，通过添加精心制作的人类无法感知的扰动，对抗性攻击可以误导CNN做出错误的预测。快速梯度符号法（FGSM）[13]被提出来，通过计算分类器的梯度更新的符号来产生对抗性样本。基本迭代法（BIM）[20]和投影梯度下降法（PGD）[26]将FGSM扩展为迭代版本，形成更强的攻击。与上述基于梯度的对抗性攻击不同，Carlini和Wagner[5]提出了C&W攻击，采取直接优化的方式来生成对抗性样本。在各种对抗性防御机制中，对抗性训练[26]作为最流行的防御方法之一，通过用基于网络当前参数即时生成的对抗性图像进行训练来提高网络的鲁棒性。最近，一些对抗性防御方法被开发出来，用基于去噪的操作进一步改善对抗性训练。像素去噪[23]被提出来，利用高层特征指导去噪过程。14]中提出的方法通过探索基于类激活图反应的最有影响力的局部部分进行像素级去噪。Xie等人[49]利用去噪滤波器在特征空间中进行对抗性噪声去除。

开放集识别。开放集样本在封闭集分类器中产生非常高的概率分数的可能性首次在[38]中被提请注意。在[3]中，深度学习模型也被证明会受到同样现象的影响。该方法被称为OpenMax[3]，提出了对这个问题的统计解决方案，通过考虑额外的类是开放集类，将正常的c类分类问题转换为c+1问题。通过考虑查询样本在中间特征空间中的空间定位，将已知类的对数分摊到开放集类中。这一想法被[11]和[27]进一步扩展，利用生成模型来产生开放类的对数。Yoshihashi等人[54]认为，生成性特征包含更多的信息，有利于开放集的识别。基于这些理由，在设计OpenMax层时，考虑了生成特征和分类器特征的串联。[31]中的作者利用产生式方法设计了一个用于开口集检测的分类条件解码器。31]和[54]的作品都证明了生成特征可以使开集识别受益。应该注意的是，开放集识别比新颖性检测[29,32,36,37,30]更具挑战性，因为新颖性检测只需要在推理过程中确定观察到的图像是否属于已知类别之一。

自我监督。自我监督是一种无监督的机器学习技术，数据本身被用来提供监督。为了促进分类和检测任务的性能，已经引入了一些技术。例如，给定一个锚点图像补丁，[7]中提出的方法通过要求网络预测第二个图像补丁的相对位置来进行自我监督。[8]中的作者用一个多任务预测框架扩展了这个想法，在这个框架中，网络被迫预测相对顺序和像素颜色的组合。在作品[12]中，网络被训练来预测被随机旋转90度的转化图像的角度。

3.背景

对抗攻击：以FGSM和PGD为例

开放集识别：以OpenMax为例

4 建议的方法

建议的网络由五个部分组成：编码器、解码器、开放集分类器、转换分类器和同行学习者。图2显示了拟议方法的网络结构，并说明了计算流程。编码器网络在卷积层之间嵌入了几个双注意的去噪层。Open-set分类器在结构上与普通分类器相似，但在推理过程中在分类器的顶部增加了一个OpenMax层，在图2中用OpenMax层表示。一个普通的CNN被进一步纳入作为对等学习器。我们把编码器、解码器、开放集分类器、转换分类器作为我们提议的网络的主要部分。

首先根据相应的输入清洁图像生成一个对抗性图像。通过编码器网络获得该图像的潜在特征。通过路径（1）将该特征传递给开放集分类器，计算出对抗性分类损失Lcls（adv）。然后，我们通过路径（2）将该特征传递给解码器，生成相应的图像，用来测量其与相应的干净图像的距离，以计算出重建损失Lrec。此外，我们对输入图像进行几何变换，生成相应的对抗性变换图像。这个图像经过路径（3）到达变换分类器，并通过考虑应用于图像的变换来执行自我监督损失Lssd。最后，清洁图像通过路径（4）到达对等学习器，评估清洁分类损失Lcls（clean）。清洁-对抗相互学习使用基于Kullback Leibler Divergence的相互学习损失Lmut进行，以匹配开放集分类器和同行学习者之间的概率预测。整个优化过程是使用以下损失函数在拟议网络的主体部分和同伴学习者之间反复进行的。

在下面的小节中，我们将详细描述所有四个路径中涉及的各种组件和计算。

双注意无噪音特征编码。拟议的网络通过编码器网络学习无噪声特征。受[49]的启发，特征去噪层被嵌入到编码器的每个主要卷积块之后，这样就可以明确地对对抗性样本进行特征去噪。然而，我们发现[49,42]中所利用的特征去噪层的变体，如非局部均值[4]、双边滤波器[45]、均值滤波器和中值滤波器，都只专注于去除空间维度上的对抗性噪声。对抗性噪声的影响在不同的通道之间是不同的，因此我们应该进一步强调对受对抗性噪声污染最严重的特定通道进行特征去噪。此外，由于特征的空间信息和信道信息是相互补充的，因此从信道和空间维度对特征去噪进行关联，从而利用最佳的特征去噪操作是至关重要的。受[46]的启发，如图3所示，我们提出了双注意特征去噪层，可以通过信道和空间上的注意滤波器进行特征去噪。

众所周知，特征图的每一个通道都可以被看作是一个特征检测器[56]，以告诉人们 "什么 "特征被提取出来。给定一个输入的对抗性特征图f 2 RC×H×W，我们首先计算一个一维通道关注滤波器Ac 2 RC×1×1，以了解在去噪时应该强调什么样的对抗性特征。考虑到通道关注的有效计算，我们采用平均池化和最大池化来挤压输入特征图的空间维度，从而产生两个不同的空间背景描述符。然后，这两个描述符通过一个共享的多层感知器（MLP），产生如下的通道关注滤波器。

其中σ表示sigmoid函数。我们可以得到通道明智的去噪特征图fc：fc = Ac(f) ⊗ f，其中⊗表示元素明智的乘法。与信道信息不同，特征图的空间维度编码了信息区域的 "位置"。因此，我们可以计算一个二维空间维度的衰减滤波器As 2 RH×W，以确定对抗性特征的最关键空间区域用于去噪。同样，给定通道去噪的特征图fc，我们首先沿其通道轴应用平均池化和最大池化操作，并将其串联起来，生成一个特征描述符。然后，我们将特征描述符送入卷积层（Conv），生成一个空间上的衰减滤波器，如下所示。

通过这些双注意去噪层，编码器能够利用通道和空间维度的互补注意，同时学习 "哪里 "和 "什么 "来强调或抑制特征去噪。形式上，我们把嵌入双注意去噪层的编码器称为F，参数为θF，把开放集分类器称为H，参数为θH。相应的标签被表示为y = fyigN i=1，yi 2 f1; 2; ::; Cg。我们可以使用FGSM或PGD攻击，基于当前参数θF、θH，使用真实标签y，即时生成对抗性图像xadv = fxadv i gN i=1。然后将得到的对抗性图像xadv通过编码器和开放集分类器（通过路径（1）），由编码器-开放集分类器分支给出的xadv i的类别概率k可以计算为。

其中zk F;H是编码器和开放集分类器的联合分支的输出对数。通过计算的概率，该分支的基于交叉熵损失的对抗性训练可以定义为：。

通过最小化上述对抗性分类损失，一个无噪声的潜在特征空间可以被嵌入双注意去噪层的训练编码器所学习。一个OpenMax层被集成在分类器之上，进行推理。在这种情况下，即使输入被对抗性噪声污染，在无噪声潜伏特征上运行的开放集分类器仍然能够预测已知样本的正确类别，并同时检测开放集样本。

清洁图像生成。图像生成分支的目标是通过整合解码器网络从对抗性图像中生成无噪声的图像。这是由两个理由驱动的。首先，自动编码器的结构在文献中被广泛利用于图像去噪。通过训练自动编码器网络来生成无噪声的图像，可以为潜在特征空间的噪声去除提供额外的监督。其次，众所周知，更多的描述性特征有利于开集识别[54]。一个分类器只有在用类别标签训练时才能学会对每个类别的边界建模。在这种情况下，由分类网络产生的特征只包含对类的边界建模所必需的信息。然而，当网络被进一步训练以生成基于潜在表征的无噪音图像时，它最终会学习生成性特征。因此，与纯分类器的情况相比，特征变得更有描述性。事实上，现有的开放集识别工作[54]和[31]也利用这种生成性特征来提高开放集识别的性能。因此，我们认为，将图像生成分支与解码器结合起来，可以使开放集识别和对抗性防御都受益。

基于上述想法，如图2所示，我们将对抗性图像通过路径（2），从潜伏特征中解码图像。解码器网络表示为G，参数为θG，编码器网络为F，共同优化，使用以下基于均方误差的重建损失，使生成的图像与相应的干净图像之间的距离最小。

自监督去噪。此外，我们建议利用自我监督作为一种手段，进一步提高潜在特征空间的鲁棒性和信息量。 自我监督是一种无监督的机器学习技术，从数据本身学习表征。我们的工作采用了基于旋转的自我监督任务[12]。具体来说，[12]中提出的任务是从有限的可能旋转的集合中对图像进行随机旋转。在此基础上，训练一个分类器来自动识别应用的图像旋转。

在我们的方法中，继[12]之后，我们首先生成一个随机数r = frigN i=1 2 f0; 1; 2; 3g作为旋转基础，并通过旋转90◦r度对输入的干净图像x进行变换，表示为Rr(x) = fRri(xi)gN i=1，其中Rri是一个旋转变换。我们把变换分类器表示为T，参数为θT。基于旋转后的干净图像，我们使用FGSM或PGD攻击，根据当前网络参数θF、θT，使用旋转的地面实况r，即时生成旋转的对抗性图像Rr(x)adv = fRri(xi)advgN i=1。获得的对抗性旋转图像Rr(x)adv通过编码器和变换分类器（通过路径(3)），由编码器和变换分类器给出的Rri(xi)adv的旋转概率k可以计算为。

其中zk F;T是编码器和变换分类器的串联分支的输出对数。因此，我们可以将自监督去噪的对抗性训练损失函数表述如下。

在我们的方法中利用自我监督是出于多种原因的。训练一个分类器来识别不同的旋转，可以加深它对已知类别的物体结构和方向的理解。因此，在分类的基础上进行自我监督可以使底层特征空间代表额外的信息，而这些信息在纯分类器的情况下是没有考虑的。因此，自我监督增强了潜在特征空间的信息量，这将促进开放集识别。另一方面，由于我们使用对抗性图像进行自我监督，基于转换后的对抗性图像进行了额外的特征去噪，这进一步促进了编码器中去噪算子的学习。请注意，在最近的工作中也发现，自监督学习有利于提高对对抗性样本的鲁棒性[17]。基于这些因素，我们认为，开放集检测和对抗性防御过程都受益于自我监督的加入。

清洁-对抗性相互学习。

为了进一步促进对抗性防御，提高开放集识别的泛化能力，我们在框架中加入了一个同伴学习器，该学习器通过监督训练对清洁图像进行分类。在我们的方法中，我们有一个编码器-开放集分类器分支，它通过对抗性训练学习对相应的对抗性图像进行分类。如图4所示，我们提出清洁-对抗相互学习，让这两个分支相互学习。这是由以下两个原因促成的。首先，由于以上介绍的部分都是基于对抗性图像的输入来进行对抗性训练的，所以对应于干净图像的有用信息没有得到充分利用，值得在对抗性防御中探索。更重要的是，直接结合干净图像和对抗性图像进行对抗性训练，对提升模型的鲁棒性影响不大[50,48]。受深度相互学习[58]的启发，我们不采用单一分支混杂清洁图像和对抗图像进行对抗训练，而是引入一个同伴学习器作为清洁图像分类的辅助分支，让它与编码器-开放集分类器分支进行相互学习，后者对相应的对抗例子进行对抗训练。在这个清洁-对抗相互学习的过程中，编码器-开放集分类器分支和同行学习者学会了相互模仿预测，因此他们可以合作学习，对图像进行正确分类。通过这种方式，可以从同行学习者那里利用更多对应于清洁图像分类的互补性知识来帮助对抗性防御分支对相应的对抗性图像进行去噪和分类。其次，由于这两个分支学习对相同图像的清洁和相应的对抗版本进行分类，它们的分类目标是相同的。然而，它们有不同的网络结构，具有不同的能力，并从不同的初始化开始。在这种情况下，它们以不同的梯度下降路径达到局部最小值，因此它们可以相互分享对应于同一分类目标的不同观点。因此，通过与同伴学习者之间的知识交流，编码器-开放集分类器分支不太可能被过度拟合，其学习过程被引导收敛到更合适的最小值，对开放集样本具有更好的概括能力。因此，我们认为，通过充分利用干净图像和其相应的对抗性例子之间的互补性，所提出的干净-对抗性相互学习可以进一步有利于开放集识别和对抗性防御。

我们把同行学习者表示为P，参数为θP。同行学习者给出的干净图像xi的类的概率k可以计算为。

其中zk P是同伴学习器的输出对数。相互学习是通过匹配编码器-开放集分类器分支和同伴学习器之间的概率预测来进行的。我们使用Kullback Leibler（KL）分歧作为量化概率匹配的指标，因此我们得到基于KL分歧的编码器-开放集分类器分支的相互学习损失如下。

上述相互学习损失可以整合到所提网络的主要部分（包括编码器、解码器、开放集分类器、变换分类器）的优化中。同样地，同伴学习器既要正确预测干净图像的标签，又要与概率预测相匹配，具体如下。

5.实验

为了评估所提方法的有效性，我们在四个流行的多类分类数据集上进行了实验。在这一节中，我们首先介绍了数据集、基线方法并描述了我们实验中使用的协议。

我们在对抗性白盒攻击、黑盒攻击和矩形闭塞攻击的情况下，对我们的方法和基线进行了开放集识别任务的检验。
在白盒攻击的实验中，我们进一步进行了关于分布外检测任务的额外实验，以证明我们方法的有效性。
我们还进行了详细的消融研究。

本节的结论是各种可视化以及综合分析。

5.1 数据集按照文献[54,31]，我们对我们的方法和其他先进的方法进行了评估，在三个标准的图像分类数据集上进行了开放集识别。

5.1.1 SVHN和CIFAR10

CIFAR10[1]和SVHN[28]都是有10个类别的分类数据集。街景房号数据集（SVHN）包含从谷歌街景中提取的房号标志。CIFAR10包含四个车辆类别和六个动物类别的图像。我们将10个类随机分成6个已知的类和4个开放集的类，以模拟开放集的识别场景。我们考虑三个随机选择的拆分来进行测试。

5.1.2 TinyImageNet

TinyImageNet包含一个从ImageNet数据集[6]中选出的200个类的子集。20个类被随机选择为已知的，其余180个类被选择为开放集类。我们考虑三个随机选择的拆分进行评估。从SVHN、CIFAR10和TinyImageNet数据集中选择的已知类和相应的拆分分别显示在表2、3和4中。

5.1.3 ImageNet

我们进一步对大规模的ImageNet数据集[6]进行了实验。ImageNet数据集由真实世界的图像组成，有1000个类别。按照TinyImageNet数据集中已知类和开放类的分割比例，随机选择100个类作为已知类，其余900个类作为开放类。

5.2 实施细节

本文采用了Resnet-18[15]的结构，其中编码器网络由四个主要块组成。编码器中的每个主要卷积块都嵌入了一个去噪层。我们的网络中的解码器部分采用了[27]提出的解码器网络，在SVHN和CIFAR10数据集的实验中，它由三个转置卷积层组成，在TinyImageNet数据集的实验中，由四个转置卷积层组成。开放集分类器和转换分类器都是由一个全连接的层组成。我们采用Resnet-18的标准结构作为同伴学习器。使用Adam优化器[19]，其学习率被设置为1e - 3。在对抗性训练和测试中，我们使用迭代T=5，步幅=0:01的PGD攻击，以及=0:3的FGSM攻击。我们根据验证集上的最佳闭合集准确性来选择训练好的模型进行测试。

5.3 基线方法我们认为以下两种最近的对抗性防御方法与所提出的方法最密切相关，作为基线。抗辩训练[26]和特征去噪[49]。我们还将我们改进后的方法的性能与我们最初的方法OSDN[42]进行比较。为了在开放集识别中进行公平的比较，在所有基线的测试过程中，在最后一个隐藏层的顶部集成了一个OpenMax层。此外，为了评估没有防御机制的分类器的性能，用从已知类别收集的干净图像训练了一个Resnet-18网络，在测试过程中添加了一个OpenMax层。在推理中，这个网络用干净的图像进行评估，这被表示为干净。此外，我们用对抗性图像来测试这个模型，这个测试案例被表示为Adv on clean。

5.3 基线方法我们认为以下两种最近的对抗性防御方法与所提出的方法最密切相关，作为基线。

抗辩训练[26]和
特征去噪[49]。
我们还将我们改进后的方法的性能与我们最初的方法OSDN[42]进行比较。
为了在开放集识别中进行公平的比较，在所有基线的测试过程中，在最后一个隐藏层的顶部集成了一个OpenMax层。
此外，为了评估没有防御机制的分类器的性能，用从已知类别收集的干净图像训练了一个Resnet-18网络，在测试过程中添加了一个OpenMax层。在推理中，这个网络用干净的图像进行评估，这被表示为干净。此外，我们用对抗性图像来测试这个模型，这个测试案例被表示为Adv on clean。

5.4 协议传统的开放集识别要求模型完成两个任务。首先，它应该能够有效地检测开放集样本。其次，它应该能够对封闭集样本进行正确的分类。因此，我们评估了我们的方法和基线在对抗性攻击下这两项任务的表现。特别是，按照以前的开放集工作[27]，我们采用ROC曲线下面积（AUC-ROC）的指标来测试开放集样本检测的性能。另一方面，为了考察封闭集样本的分类能力，我们只考虑测试集中的已知集样本来计算预测精度。在我们的实验中，已知和开放集样本在测试前都受到了对抗性攻击。白盒攻击、黑盒攻击和矩形闭塞攻击被认为是攻击模型的手段。对抗性样本是利用地面真实标签从已知的类别中产生的，而对抗性样本是根据模型的预测从开放集的类别中产生的。

Open-set Adversarial Defense with Clean-Adversarial Mutual Learning相关推荐

AT-GAN: A Generative Attack Model for Adversarial Transferring on Generative Adversarial Nets
文章目录概主要内容符号说明 Original Generator Transfer the Generator Wang X., He K., Guo C., Weinberger K., Ho ...
[半监督学习] Adversarial Dropout for Supervised and Semi-Supervised Learning
引入了对抗性 dropout(AdD), 可最大限度地提高具有 dropouts 的网络输出之间的差异. 识别出的对抗性 dropout 用于在训练过程中自动重新配置神经网络, 是 Virtual A ...
【知识蒸馏】Deep Mutual Learning
[GiantPandaCV导语]Deep Mutual Learning是Knowledge Distillation的外延,经过测试(代码来自Knowledge-Distillation-Zoo), ...
Pytorch实现Deep Mutual Learning网络
-Model(pytorch版本参考资料: 信息熵是什么? 交叉熵和相对熵(KL散度), 极大似然估计求loss, softmax多分类一文搞懂熵.相对熵.交叉熵损失 class torch.nn ...
35、StylizedNeRF Consistent 3D Scene Stylization as Stylized NeRF via 2D-3D Mutual Learning
简介主页:http://geometrylearning.com/StylizedNeRF/ 给定一组真实的照片(a)和一个风格图像(b),模型能够生成风格化的新视图©,通过学习风格化的NeRF在3 ...
Deep Mutual Learning
论文地址: https://arxiv.org/abs/1706.00384 论文简介该论文探讨了一种与模型蒸馏(model distillation)相关却不同的模型---即相互学习(mutual ...
6.论文学习Modality-aware Mutual Learning for Multi-modal Medical Image Segmentation
目录一.摘要 1.背景解决方法 1.如何有效整合来自多模态医学图像的信息 2.如何处理常见模式缺失的情况 2.解决 1.ML 2.MA 3.结论二.方法 2.1模态特定模型Modality-sp ...
[深度学习论文笔记]Modality-aware Mutual Learning for Multi-modal Medical Image Segmentation
Modality-aware Mutual Learning for Multi-modal Medical Image Segmentation 多模态医学图像分割中的模态感知互学习 Publish ...
Mutual Learning 互学习(DML) / collaborative learning 协作学习
DML是 deep mutual learning 深度互学习 Mutual Learning是从Knowledge Distillation知识蒸馏中发展出的一个概念蒸馏模型是一种将知识从教师网络 ...

Open-set Adversarial Defense with Clean-Adversarial Mutual Learning

Open-set Adversarial Defense with Clean-Adversarial Mutual Learning相关推荐

最新文章

热门文章