混淆梯度（Obfuscated Gradients Give a False Sense of Security Circumventing Defense）

下载地址：https://u20150046.ctfile.com/fs/20150046-376633529

论文摘要

我们发现“混淆梯度”（obfuscated gradients）作为一种梯度掩码（gradient masking），会在防御对抗样本中导致一种错误的安全感。虽然造成混淆梯度的防御似乎可以击败基于迭代优化的攻击，但我们发现依赖这种效果的防御可以被规避。我们描述了表现出这种效应的防御特征行为，对于我们发现的三种混淆梯度，我们都开发了攻击技术来克服它。在一个案例中，我们检查了发表在ICLR 2018的论文的未经认证的白盒安全防御，发现混淆梯度是常见的情况，9个防御中有7个依赖于混淆梯度。在每篇论文所考虑的原始威胁模型中，我们的新攻击成功地完全规避了6个，部分规避了1个。

概要总结

研究人员发现，针对对抗性样本的防御通常使用混淆梯度，这造成了一种虚假的安全感，实际上这种防御很容易被绕过。该研究描述了三种防御混淆梯度的方法，并展示了哪些技术可以绕过防御。这些发现可以帮助那些依赖混淆梯度来防御的组织强化他们当前的方法。

核心思想

防御混淆梯度有三种常见的方法：

1.破坏梯度是由防御方有意(通过不可微操作)或无意(通过数值失稳)造成的不存在或不正确的梯度；

2.随机梯度是由随机防御引起的；

3.消失/爆炸梯度是由极深的神经网络评估引起的。

有很多线索表明梯度有问题，包括:

1.一步攻击比迭代攻击更有效；

2.黑盒攻击比白盒攻击更有效；

3.无界攻击没有100%成功；

4.随机抽样发现对抗性样本；

5.增加扭曲约束无法增加成功。

最重要的成果

说明目前使用的大部分防御技术容易受到攻击，即：

1.ICLR 2018接受的论文中，9种防御技术中有7种造成了混淆梯度；

2.研究人员开发的新攻击技术能够成功地完全绕开6个防御，部分绕开1个防御。

AI社区的评价

1.这篇论文获得了ICML 2018最佳论文奖，这是最重要的机器学习会议之一。

2.论文强调了当前技术的优势和劣势。

未来研究方向

在仔细且全面的评估下构建防御，这样它们不仅可以防御现有的攻击，而且还可以防御未来可能发生的攻击。

可能的应用

通过使用研究论文中提供的指导，组织可以识别他们的防御是否依赖于混淆梯度，并在必要时改用更强大的方法。