NIC不变量检测对抗样本
目录
- 背景
- 检测原理
- 防御效果
论文 2019NDSS-NIC Detecting Adversarial Samples with Neural Network Invariant Checking.
背景
作者通过观察分析各种攻击下的DNN模型的内部结构，发现了攻击会使起源通道（provenance channel）和激活值分布通道（activation value distribution channel）发生变化，。
来源通道：意味着模型不稳定，一层中神经元激活值的细微变化可能导致下一层中激活神经元集合发生的实质性变化，最后导致分类错误。例如，按照图2和图4，真实样本的来源通道为12367，但受到攻击后如图5所示，来源通道发生变化，变为12378。
激活值分布通道：意味着尽管来源略有变化，但层的激活值可能与良性输入时不同。如图所示，激活值发生了变化。
因此，作者提出通过PI（起源不变量）和VI（激活值不变量）是否发生变化，来检测是否收到对抗样本的攻击。
检测原理
NIC神经网络不变量的检查，实质为检测模型表示的概率分布是否发生了变化。
VI是为各层训练一个模型，描述了激活值的分布，见图中的A步骤。
PI是为每一层训练一个模型，每个模型描述了从输入层到该层的关系，最后加上一个输出层。将所有派生模型的输出作为PI。
输入样本，通过观察PI与VI的变化与不定式之间关系，得到变化概率，若超出某一概率，则为对抗样本。
在我看来，这种防御方法是通过对DNN模型进行压缩，将模型更精准化，从而提高对样本的检测能力。
防御效果
L0L_0L0主要利用了来源通道；L∞L_\inftyL∞主要利用了激活值分布通道；L2L_2L2则是利用了两种通道。
- 针对L0L_0L0攻击：扰动发生在有限数量像素上，每个变化很大，仅用PI即可。若使用VI，每一层激活的神经元的数量很大，但受扰动的神经元数量少，从概率上看变化不大。
- 针对L∞L_\inftyL∞攻击：单独使用VI比单独适用PI好，最好同时使用。像素变化小，前几层明显违背VI，检测容易。前几层提取的特征值仍非常原始，生成PI并不是高质量的。
- 针对L2L_2L2攻击：两者都限制，PI与VI都需要
另外，检测器由许多小模型组成，训练容易。另一方面，检测器本身即为分类器，也易收到攻击。
NIC不变量检测对抗样本相关推荐
- 检测对抗样本_对抗T恤以逃避ML人检测器
检测对抗样本 Neural Networks are exceptionally good at recognizing objects shown in an image and in many c ...
- 检测对抗样本_避免使用对抗性T恤进行检测
检测对抗样本 How can just wearing a specific type of t-shirt make you invisible to the person detection an ...
- LNG：首个基于图的对抗样本检测方法
关注公众号,发现CV技术之美 Adversarial Example Detection Using Latent Neighborhood Graph 论文链接: https://openacce ...
- 清华朱军团队包揽三项冠军 | NIPS 2017对抗样本攻防竞赛总结（附学习资料）
来源:AI科技评论 作者:高云河 本文共8989字,建议阅读10分钟. 本次比赛总结由谷歌大脑.清华大学以及其它参与研究人员们联合撰写,为你介绍NIPS 2017 对抗样本攻防比赛的情况. 自 Ian ...
- 论文笔记： 对抗样本 CVPR2021 Enhance Transferability of Adversarial Attacks through Variance Tuning
目录 Abstract 摘要 1. Introduction 引言 1.1 背景 1.2 引入 2. 相关工作 Related Work 2.1 对抗样本攻击 2.2 对抗样本防御 Adversari ...
- 苏涛：对抗样本技术在互联网安全领域的应用
导读: 验证码作为网络安全的第一道屏障,其重要程度不言而喻.当前,卷积神经网络的高速发展使得许多验证码的安全性大大降低,一些新型验证码甚至选择牺牲可用性从而保证安全性.针对对抗样本技术的研究,给验证码 ...
- pytorch 对抗样本_【天池大赛】通用目标检测的对抗攻击方法一览
目标检测对抗攻击 赛题:1000张图,在图上贴补丁,最多不超过10个,导致检测框失效就算得分. 比赛链接:https://tianchi.aliyun.com/competition/entrance ...
- 对抗样本检测adversarial detection techniques
1.<CHARACTERIZING ADVERSARIAL SUBSPACES USING LOCAL INTRINSIC DIMENSIONALITY> 该方法背后的原理:对于对抗性子空 ...
- 深度学习对抗样本的八个误解与事实
2019独角兽企业重金招聘Python工程师标准>>> 对抗样本是通过稍微修改实际样本而构造出的合成样本,以便于一个分类器以高置信度认为它们属于错误的分类.垃圾类的样本(如fooli ...
- 你真的懂对抗样本吗？一文重新思考对抗样本背后的含义
作者:Alex Adam 机器之心编译 参与:Luo Sainan.一鸣 很多人都大概了解对抗样本是什么:在数据中加入人眼不可察觉的扰动,使得模型对数据的标签预测发生混淆和错误.但是,这句话背后的技术 ...
最新文章
- SAP CRM IBASE保存的逻辑分析
- BERT源码分析PART I
- 《android深入探索》第四章心得
- [容易]合并排序数组
- 论文笔记_S2D.23_2011-ICCV_DTAM: 稠密的实时跟踪和建图
- python数据分析课后习题
- 计算机用户名中文改为英文,win10系统怎么更改user用户名中文为英文
- Python从入门到入土-基础知识准备
- spring cloud 项目打包时，有一个数据库配置的是现场的库，所以一直不成功，怎么办？
- 全手工杂拌面——韩国才有的中华料理 冬至餐桌上的25道家常手工主食
- 进行拨测的主要目的都有哪些？
- 用自己电脑搭建外网可访问的服务器
- 最新虚拟机SAP ECC6.0 EHP7带示例数据IDES版+BW740
- 获取滚动条滚动距离兼容写法
- iMovie教程：如何将照片添加至iMovie剪辑中？
- php_uname()函数
- Windows定时开启或关闭声音音量
- java类的封装_Java类中的封装
- 科研利器之EndNote x8基础使用教程
- 用“黄金圈法则”，谈谈互联网实习