本文提出了金字塔对抗训练（Pyramid AT），可以提高VIT的整体性能。将其与一个“匹配的”Dropout和随机深度正则化配对，该正则化对干净和对抗样本采用相同的Dropout和随机深度配置。

金字塔对抗训练打破了VIT和相关架构的分布内准确性和分布外鲁棒性之间的平衡。金字塔攻击旨在以一种结构化的、可控的方式(类似于增强亮度)对图像进行大编辑，并以一种灵活的方式(类似于像素对手)对图像进行小编辑。

主要贡献：

第一个证明了对抗性训练在ImageNet和分布外的ImageNet鲁棒数据集上提高ViT模型性能
证明了匹配Dropout和随机深度对于ViT对抗性训练的重要性。
设计金字塔对抗性训练来生成多尺度、结构化的对抗性扰动，它在非对抗性基线和像素扰动对抗性训练上取得了显著的性能增益。
建立了ImageNet-C、ImageNet-R和ImageNet-Sketch的新技术状态，而不需要额外的数据，只使用我们的金字塔对抗性训练和标准的vitb /16框架。通过加入额外的ImageNet-21K数据来进一步改善我们的结果
我们执行大量消融,突出关键性能的几个因素。

方法

对抗训练

为了弥补一般对抗训练clear accuracy比较低的缺点，用以下目标对干净和对抗图像进行训练:

该目标使用对抗性图像作为正则化或数据增强的一种形式，以迫使网络朝着某些对非分布数据表现良好的表示方式发展。

Pyramid AT

动机：我们的主要动机是设计一种两全的攻击:低量级的灵活组件和高量级的结构化组件;
这种攻击可以导致较大的图像差异，同时仍然保留类身份。

方法：

设置的攻击：

对于像素攻击和金字塔攻击，我们对使用多个步骤[35]的随机标签使用投影梯度下降(PGD)。
关于损失，我们观察到，对于ViT，最大化真实标签的负损失会导致攻击性标签泄漏[29]，即网络学习预测对抗性攻击，并在扰动后的图像上表现更好。
为了避免这种情况，我们选择一个随机标签，然后最小化[29]中描述的针对该随机标签的softmax交叉熵损失。

“Matched” Dropout and Stochastic Depth

ViT模型的标准训练使用Dropout和随机深度作为正则化器。在对抗性训练中，我们有一个小批量的干净样本和对抗性样本。这就提出了对抗性训练(像素或金字塔)中的Dropout处理问题。

对于小批处理中的每个训练实例，干净分支只更新网络的子集，而对抗分支更新整个网络。
因此，对抗性分支更新在评估过程中与模型性能更紧密地结合在一起，从而导致对抗性精度的提高，但代价是clean accuracy。目标函数：

M(θ)表示具有随机Dropout掩码和随机深度构型的网络。
为了解决上述问题，我们建议使用“匹配的”Dropout对ViT进行对抗性训练，即对干净的和对抗性训练分支使用相同的Dropout配置(以及对抗性样本的生成)。

实验

在ImageNet-1K、ImageNet-21K进行训练，

在两个变体ImageNet-ReaL（重新标记原始ImageNet的验证集，以纠正标记错误）、ImageNet-V2（它收集ImageNet的另一个版本的评估集。）评估in-distribution performance 。

在以下6个数据集上面进行out-of-distribution 鲁棒性：

ImageNetA（将ImageNet对象放置在不寻常的上下文中或方向;）
ImageNet-C（它应用了一系列损坏）
ImageNet-Rendition（包含该对象的抽象或呈现版本的;）
ObjectNet（由大量不同背景、旋转和成像视点组成的大型真实世界集合;）
ImageNet-Sketch（包含了对象的艺术素描;）
Stylized ImageNet（处理ImageNet图像与样式传输从一个不相关的源图像。）

PixelAT模型倾向于紧紧地“捕捉”它的注意力到感知的对象上，忽略了大部分的背景。具体来说，PixelAT模型可能会低估物体的大小或形状，只关注物体的一部分而不是整体。

与baseline model 相比，金字塔模型的表示侧重于形状，对纹理的敏感性较低

Pyramid Adversarial Training Improves ViT Performance相关推荐

文献阅读课13-DSGAN: Generative Adversarial Training for （远程监督关系抽取，句子级去噪）
文章目录 Abstract 1.Introduction 2.相关工作 3 Adversarial Learning for Distant Supervision 3.1 Pre-Training ...
[论文翻译]数据集的domian问题:Intramodality Domain Adaptation Using Self Ensembling and Adversarial Training
论文pdf下载: 链接 Intramodality Domain Adaptation Using Self Ensembling and Adversarial Training 使用自集成和对抗性 ...
报名 | “阳奉阴违”的半监督学习算法 - Virtual Adversarial Training
「论文共读」是由 PaperWeekly 发起的协同阅读小组.我们每周精选一篇优质好文,由学术大咖带大家解读论文并展开讨论,在碎片化时代坚持深度阅读. 本期论文共读由 PaperWeekly 社区用户 ...
论文共读 | “阳奉阴违”的半监督学习算法 - Virtual Adversarial Training
「论文共读」是由 PaperWeekly 发起的协同阅读小组.我们每周精选一篇优质好文,由学术大咖带大家解读论文并展开讨论,在碎片化时代坚持深度阅读. 本期论文共读由 PaperWeekly 社区用户 ...
AAAI2018-Long Text Generation via Adversarial Training with Leaked Information论文笔记
这篇文章主要是名为 LeakGAN 的模型结构,同时处理 D 反馈信息量不足和反馈稀疏的两个问题.LeakGAN 就是一种让鉴别器 D 提供更多信息给生成器 G 的新方式,我自己的笔记: 转自:htt ...
【paper 2】Learning from Simulated and Unsupervised Images through Adversarial Training
GAN对抗学习单词 refiner 修正器 tractable 容易处理的 annotations 注释 plethora 过多 penalize 惩罚 holistically 整体论地 dive ...
Directional Adversarial Training for Recommender Systems
Directional Adversarial Training for Recommender Systems 论文理解与翻译: 1.摘要: (话题方向切人,他人最近的有关成果,再次基础上他人成果的 ...
Smooth Adversarial Training
Smooth Adversarial Training 写了AdvProp的这些人又提了一个SAT 写AdvProp主要是朝着提升accuracy的目标去的,说是比AT更好写SAT则以提升robus ...
[半监督学习] Virtual Adversarial Training: A Regularization Method for Supervised and SSL
提出一种基于虚拟对抗损失的新正则化方法, 虚拟对抗性损失被定义为每个输入数据点周围的条件标签分布对局部扰动的鲁棒性. 与对抗训练不同, VAT 方法在没有标签信息的情况下定义了对抗方向, 因此适用于半 ...

Pyramid Adversarial Training Improves ViT Performance

主要贡献：

方法

对抗训练

Pyramid AT

实验

Pyramid Adversarial Training Improves ViT Performance相关推荐

最新文章

热门文章