文章概述

idea

作为黑盒攻击的开篇，本文是基于迁移的黑盒攻击。

method

由于不知道目标模型的内部结构，所以采用一个合成的数据集来训练一个本地替代模型DNN，接着采用雅可比数据增强的方式利用数据在目标模型上的输出更新数据集，再进行模型训练，以建立一个近似于oracle模型O的决策边界的模型F。
Sρ+1={x⃗+λ⋅sgn(JF[O(x⃗)]):x⃗∈Sρ}∪SρS_{\rho+1}=\{ \vec{x}+\lambda \cdot sgn(J_F[O(\vec{x})]):\vec{x} \in S_{\rho} \} \cup S_{\rho}Sρ+1={x+λ⋅sgn(JF[O(x)]):x∈Sρ}∪Sρ
最后攻击者利用替代网络F来制作对抗性样本，然后由于对抗性样本的迁移性被oracle O错误分类

详细内容

摘要

所有现有的对抗样本攻击都需要模型内部或其训练数据的知识。我们介绍了攻击者在没有此类信息的情况下控制远程托管DNN的第一个practical demonstration。事实上，我们的黑盒对手的唯一能力是观察DNN给所选输入的标签。我们的攻击策略包括训练一个局部模型来替代目标DNN，使用由对手合成并由目标DNN标记的输入。我们使用局部替代来制作对抗样本，发现它们被目标DNN错误分类

1.介绍

main contribution：

我们在第4节中介绍了一种针对黑盒DNN分类器的攻击。它在不知道分类器训练数据或模型的情况下制作对抗性示例。为此，对手构建一个合成数据集来训练目标DNN分类器的替代品。
在第5节中，我们实例化了对一个由MetaMind托管的远程DNN分类器的攻击。DNN错误分类了84.24%的敌对输入。
在第6节中对攻击进行了校准，以(a)减少对目标模型的查询次数和(b)最大化对抗样本的错误分类。

2.关于DNN

(一些DNN的背景介绍)

3.攻击模型

Targeted Model:
Adversarial Capabilities:
Adversarial Goal:

4.黑盒攻击方法

4.1替代模型训练

训练一个近似于oracle O的替代模型F是具有挑战性的，因为我们必须:(1)在不了解目标oracle的体系结构的情况下为我们的替代选择一个体系结构，并且（2）限制对oracle的查询数量，以确保方法是可处理的

主要通过引入一种综合数据生成技术——基于雅可比矩阵的数据集增强来克服这些挑战。我们强调，这种技术不是为了最大化替代DNN的准确性而设计的，而是确保它以很少的标签查询接近oracle的决策边界。

Substitute Architecture：
（模型的选择不是最大的限制因素，文中指出，替代DNN中使用层的结构类型数量大小对攻击成功影响相对较小）

Generating a Synthetic Dataset：
为了更好地理解合成数据的需求，请注意，我们可能会对属于输入域的任何输入x⃗\vec{x}x 进行无限次查询，以获得oracle的输出O(x⃗)O(\vec{x})O(x)。这样我们就能得到orcal的副本。然而，这是not tractable：考虑一个包含M个输入分量的DNN，每个分量在一组K个可能值中取离散值，要查询的可能输入的数量为KMK^MKM。对于连续域的输入，这种困难更为明显。此外，进行大量查询使对抗行为易于检测。

一种自然的选择是求助于随机选择要查询的额外点。例如，我们尝试使用高斯噪声来选择训练替代者的点。然而，结果模型不能通过查询oracle来学习。这可能是由于噪声不能代表输入分布。为了解决这个问题，我们引入了一种启发式算法，可以有效地探索输入域，并且，如第5节和第6节所示，极大地限制了oracle查询的数量。此外，我们的技术还确保替代DNN是目标DNN的近似，即它学习相似的决策边界。

用于生成合成训练输入的启发式方法是基于识别模型输出在初始训练点集周围变化的方向。这种方向直观上需要更多的输入-输出对来捕捉目标DNN O的输出变化。因此，为了获得一个精确逼近oracle决策边界的替代DNN，启发式在查询oracle标签时对这些样本进行优先排序。这些方向由替代DNN的雅可比矩阵 JFJ_FJF 确定，该雅可比矩阵在几个输入点x⃗\vec{x}x处计算(这些点的选择方式如下所述) .
准确地说，对手计算与oracle分配给输入x⃗\vec{x}x的标签对应的雅可比矩阵维数的符号:sgn(JF(x⃗)[O(x⃗)])sgn(J_F(\vec{x})[O(\vec{x})])sgn(JF(x)[O(x)])．
为了得到一个新的综合训练点，利用λ⋅sgn(JF(x⃗)[O(x⃗)])\lambda \cdot sgn(J_F(\vec{x})[O(\vec{x})])λ⋅sgn(JF(x)[O(x)])
我们将这种技术命名为基于雅可比矩阵的数据集增强。我们的替代训练算法是基于基于雅可比矩阵确定的方向迭代改进模型的思想

Substitute DNN Training Algorithm：

Initial Collection (1)：对手收集代表输入域的一个非常小的输入集S0。例如，如果目标oracle O对手写数字进行分类，那么对手将收集从0到9的每个数字的10张图像。我们在第5节中说明，这个集合不一定来自训练目标oracle的分布。

Architecture Selection (2)：对手选择一个要训练的体系结构作为替代F。同样，这可以使用oracle执行的分类任务的高级知识来完成(例如，卷积网络适合于视觉)。

Substitute Training：对手通过对ρ∈0…ρmax重复下列操作，迭代训练更准确的替代DNNs Fρ:

Labeling（3）：通过查询标签~ O(~ x)输出由oracle O，对手在其初始替代训练集Sρ中标记每个样本~ x∈Sρ。
Training（4）：对手使用替代训练集Sρ结合经典训练技术训练步骤(2)中选择的架构。
Augmentation(5)：对手将我们的增强技术应用在初始替代训练集Sρ上，以产生一个更大的替代训练集Sρ+1，具有更多的综合训练点。这种新的训练集能更好地表示模型的决策边界。对手对扩充集s3 +1重复步骤(3)和(4)

步骤(3)重复多次，以提高替代DNN的准确性和其决策边界与oracle的相似性。我们引入了用ρ索引的替代训练历元来表示每一次迭代。这导致了基于雅可比矩阵的数据集增强的形式化，在我们的替代训练算法的步骤(5)进行，以找到更多的综合训练点:
Sρ+1={x⃗+λ⋅sgn(JF[O(x⃗)]):x⃗∈Sρ}∪SρS_{\rho+1}=\{ \vec{x}+\lambda \cdot sgn(J_F[O(\vec{x})]):\vec{x} \in S_{\rho} \} \cup S_{\rho}Sρ+1={x+λ⋅sgn(JF[O(x)]):x∈Sρ}∪Sρ
其中λ是增广的一个参数：它定义了在雅可比矩阵确定的敏感方向上所采取的步长大小，以将集合Sρ增广为Sρ+1

4.2 制作黑盒样本

一旦对手训练了一个替代DNN，它就用它来制作对抗样本。这是通过实现[4,9]中介绍的两种方法来实现的。我们提供了两种方法的概述，即Goodfellow等算法和Papernot等算法。

这两种技术在评估模型对输入修改的敏感性方面有着相似的直觉，以便选择一个小的扰动来实现错误分类的目标

【对抗攻击论文】黑盒开篇：Practical Black-Box Attacks against Machine Learning相关推荐

繁凡的对抗攻击论文精读（二）CVPR 2021 元学习训练模拟器进行超高效黑盒攻击（清华）
点我轻松弄懂深度学习所有基础和各大主流研究方向入门综述! <繁凡的深度学习笔记>,包含深度学习基础和 TensorFlow2.0,PyTorch 详解,以及 CNN,RNN,GNN,AE, ...
繁凡的对抗攻击论文精读（三）ICLR2019 利用先验知识进行高效黑盒对抗攻击的 bandits 算法（MIT）
点我轻松弄懂深度学习所有基础和各大主流研究方向入门综述! <繁凡的深度学习笔记>,包含深度学习基础和 TensorFlow2.0,PyTorch 详解,以及 CNN,RNN,GNN,AE, ...
联邦学习入门（二）-Practical Secure Aggregation for Privacy-Preserving Machine Learning论文算法详解
本文介绍了一种实用的安全聚合算法(Secure Aggregation Protocol),主要参考了Google的论文Practical Secure Aggregation for Privacy ...
Practical Black-Box Attacks against Machine Learning
文章目录概主要内容 Jacobian-based Dataset Augmentation Note Papernot N, Mcdaniel P, Goodfellow I, et al. Pr ...
【对抗攻击论文笔记】对抗迁移性：Delving Into Transferable Adversarial Examples And Black-Box Attacks
文章目录论文概述 idea method 详细内容摘要 1.介绍 2 对抗深度学习和可迁移性 2.1 对抗深度学习问题 2.2 对抗样本生成的方法 2.3 评估方法 3. 非定向对抗样本 3.1 ...
Adversary Attack(对抗攻击)论文阅读笔记
引言: 最近开始学习Adversary Attack(对抗攻击)有关的内容,于是便从Ian GoodFollow的论文开始读起,后面每篇博客都会列举三篇的阅读笔记,来记录学习的经历.如果有讲得不到位或 ...
【对抗攻击论文笔记】Enhancing the Transferability of Adversarial Attacks through Variance Tuning
文章目录 Main Contributions Background Motivation Method Experiments Main Contributions 本文提出了一种基于方差调整迭代梯 ...
【对抗攻击论文笔记】Decision-Based Adversarial Attack With Frequency Mixup
文章目录 Motivation Contributions Method 1.boundary detection 2. f-mixup 3.f-attack 4. frequency binary ...
论文阅读系列--关键词：fMRI+brain connectivity+machine learning，大概近两年顶会顶刊，仅作参考用，如有侵权请联系删除！！！
参考文献目录: [1]Stoecklein, Veit M., et al. "Resting-state fMRI detects alterations in whole brain c ...

【对抗攻击论文】黑盒开篇：Practical Black-Box Attacks against Machine Learning

文章目录