Detecting Backdoor Attacks on Deep Neural Networks by Activation Clustering

网址：https://arxiv.org/abs/1811.03728

一些老生常谈，Abstract、Introduction之类的都已经被我省略，当然我都看了。

本文指出，后门检测是具有挑战性的。因为后门触发器是未知的，只有Adversaries知道。因此本文提出了Activation Clustering(AC)，也就是激活聚类，对插入DNN的后门样本进行检测。这种方法能够分析训练数据的神经网络激活状况，以判断其是否中毒，如果中毒，分析哪些数据点是有毒的。

后门攻击

简单介绍后门攻击。
假设一个adversary，他的目的是操纵一个神经网络模型，使得模型唯一错误分类预设的输入，到预设的输出，同时对其他输入能够正确分类。
攻击者能够操纵部分输入数据和标签，但是不能操纵训练过程和最终的模型和预测过程。

Activation Clustering

背后的直觉是：当后门样本和正常样本，被中毒分类器分类到同一个类别，其背后的原因是不同的。
对于对应目标类的正常样本，网络会识别到他从目标类中学习到的特征。
在后门样本中，网络会识别的是原来的类（也就是正确的类）的特征，和后门触发器的特征。
这种不同在网络输出的激活会非常不同。

算法如图。
输入的是不可信的数据集，也就是这个方法需要获得完整的用于训练的数据集。实际上在某些时候并不能得到。
然后训练DNN模型。
然后将数据集输入模型，将模型的最后一层输出的值展开为一维，送入A_s。
然后对A进行降维。然后聚类。然后分析。然后没了。

第一种分析方法是：不使用有问题的聚类的数据，重新训练一个模型，来进行分析。新模型被训练好后，会用于对有问题的聚类的数据进行分类。
但是这种方法太费资源了，还要重新聚类。因此提出第二种方法，直接比较聚类中数据的size。简单来说，如果是中毒样本，其占比往往比较少。但是如果是正常的样本，那么两个簇往往数据数量相近。

后门修复

两种方法
1、直接剔除有毒数据，从头重新训练一个新模型
2、将有毒样本与正确的类别关联，然后对中毒模型进行微调

实验

我省略

评价

很简单的方法。
没什么好说的。

基于激活聚类的后门检测：Detecting Backdoor Attacks on Deep Neural Networks by Activation Clustering相关推荐

A novel framework for detecting social bots with deep neural networks and active learning（SCI一区）
目录摘要 1 绪论 1.1. Social bots in OSNs 1.2. Challenges 1.3. Contribution and organization 2 相关工作 2.1. G ...
[paper]Feature Squeezing: Detecting Adversarial Examples in Deep Neural Networks
本文提出了两种特征压缩方法: 减少每个像素的颜色位深度使用空间平滑来减少各个像素之间的差异特征压缩通过将与原始空间中许多不同特征向量相对应的样本合并为单个样本,从而减少了对手可用的搜索空间.通过将 ...
利用激活图谱探索神经网络-Exploring Neural Networks with Activation Atlases (上)
利用激活图谱探索神经网络-Exploring Neural Networks with Activation Atlases(上) 瞎白话正文概览简介查看单张图像聚合多张图像原文链接原文 ...
Detecting Visual Relationships with Deep Relational Networks（阅读笔记）
Detecting Visual Relationships with Deep Relational Networks(阅读笔记) 原文链接:https://blog.csdn.net/xue_we ...
异常点检测算法（三）Replicator Neural Networks
异常点检测算法(三)Replicator Neural Networks 异常值检测算法在数据挖掘的诸多领域有着应用场景,例如金融领域,信息传输领域,图像领域等.在研究过程中,有学者给出了异常点的一个 ...
车牌检测识别--Towards End-to-End Car License Plates Detection and Recognition with Deep Neural Networks
Towards End-to-End Car License Plates Detection and Recognition with Deep Neural Networks https://ar ...
【时序异常检测翻译】3.A Deep Neural Network for Unsupervised Anomaly Detection and Diagnosis in Multivariate T
多元时间序列数据无监督异常检测与诊断的深层神经网络摘要如今,多变量时间序列数据越来越多地被收集到各种现实世界的系统中,例如发电厂.可穿戴设备等.多变量时间序列中的异常检测和诊断指的是识别特定时间步 ...
多尺度人脸检测--Face Detection through Scale-Friendly Deep Convolutional Networks
Face Detection through Scale-Friendly Deep Convolutional Networks http://shuoyang1213.me/projects/Sc ...
目标检测--Spatial pyramid pooling in deep convolutional networks for visual recognition(PAMI, 2015)
Spatial pyramid pooling in deep convolutional networks for visual recognition 作者: Kaiming He, Xiangy ...

基于激活聚类的后门检测：Detecting Backdoor Attacks on Deep Neural Networks by Activation Clustering

Detecting Backdoor Attacks on Deep Neural Networks by Activation Clustering

后门攻击

Activation Clustering

后门修复

实验

评价

基于激活聚类的后门检测：Detecting Backdoor Attacks on Deep Neural Networks by Activation Clustering相关推荐

最新文章

热门文章