READ-2204 FL-WBC Enhancing Robustness against Model Poisoning Attacks in Federated Learning
READ-2204 FL-WBC Enhancing Robustness against Model Poisoning Attacks in Federated Learning from a Client Perspective
| 论文名称 | FL-WBC Enhancing Robustness against Model Poisoning Attacks in Federated Learning from a Client Perspective |
|---|---|
| 作者 | Jingwei Sun, Ang Li, Louis DiValentin, Amin Hassanzadeh, Yiran Chen, Hai Li |
| 来源 | NeurIPS 2021 |
| 领域 | Machine Learning – Federal learning – Against Poisoning Attacks |
| 问题 | 1.传统的基于服务器的健壮聚合的方法只能避免模型在聚合过程中受到投毒攻击，但当攻击性极强时却无法保证全局模型的鲁棒性 2.一旦全局模型受污染，即使接下来的通信中不存在攻击，之前攻击产生的影响也会继续保留 |
| 方法 | 使用定量估计器AEP估算投毒攻击对全局模型的影响以及推断FL在不同时刻对模型中毒攻击所暴露的敏感性信息；使用FL-WBC减轻模型所受的污染：使用基于客户端的防御方法，与基于服务器的防御方法互补 |
| 创新 | 提出基于客户端的防御方法 |
阅读记录
一、攻击模型
- 攻击方式：有目标的模型中毒攻击
- 恶意数据集：与良性数据集分布一致但是拥有恶意数据标签，且所有客户端的恶意数据集一样
- 知识：恶意客户端拥有与良心客户端一样的知识
二、检测投毒攻击的影响
1.正常训练过程
（1）服务器更新目标
（2）良性客户端的本地更新目标
（3）恶意客户端的本地更新目标：存在恶意更新目标
（4）服务器聚合方法
2.评估攻击对模型参数的影响
（1）无污染的聚合
没有任何攻击情况下的参数聚合，即该模型在第t轮通信及其之前的通信均没有被污染过
（2）受攻击后模型的偏差
①公式：无污染模型权重-存在恶意客户端的模型更新
②含义：恶意设备的攻击累积到第t轮时，对全局模型参数的改变。
③根据该公式的测量可以看出：一个全局模型受到一轮攻击后，攻击产生的影响会维持多个通信轮
（3）攻击对模型的影响
①含义：在一轮攻击后，下一轮攻击前，正常通信时的AEP受之前攻击影响的关系
②影响因素：若H的值与受攻击时的AEP强相关，那么攻击的影响将一直停留在全局模型中，之后正常通信时的AEP与受最近一次攻击时的APE相似
③攻击的影响停留在全局模型的原因：H的核心为受攻击的AEP，当攻击性强时H=0
④传统基于服务器的健壮性聚合无效的原因：在全局模型中，AEP的传递性由H决定，而服务器无法访问H，因此需要从客户端的角度消除受污染的全局模型的影响，以增强FL的健壮性
三、FL-WBC
- 良性客户端的目标
①保持良性客户端任务的性能，使得良性客户端的本地loss最小
②为了防止AEP被隐藏在良性客户端的Hessian矩阵中，需要扰动H的核心 - 扰动H的原理
由于H维度较高，从计算的角度上看直接扰动是无法实现的。而H的本质是损失函数的二阶偏导，其对角线是每轮通信的梯度变化，且H中60%的元素是0。因此在H高度稀疏的情况下，向H对角线的少数维度加入噪声，将实现有效扰动。
3.客户端模型更新
（1）良性客户端首先利用正常数据集和受污染的全局模型进行正常的更新
（2）添加扰动
①γ：与模型同等大小的矩阵，矩阵元素可以随意设置。元素越随机，攻击者越难以攻击。本文设置为均值为0的拉普拉斯噪声。
②M：在第t轮通信中，对于客户端k训练到第i个epoch时的二进制掩码，寻找H对角线上的少量元素进行扰动
（3）计算经过扰动的梯度
τ：经过扰动后的更新
（4）计算经过扰动的模型更新
4.实现过程
实验结果
在恶意数据集仅有一张图片的情况下检验FL-WBC的有效性
- 在IID/非IID设置下，对FL-WBC与健壮性聚合防御的错误分类置信度的比较
- FL-WBC的防御可以更有效地减轻模型投毒攻击的影响
- 在本文的攻击设置下，健壮的聚合（CMA、CTMA）无法减轻模型投毒攻击的影响
- 在IID/非IID设置下，对FL-WBC和DP的良性精度和攻击缓解回合的比较
- 在牺牲小于5%的良性准确性的情况下，FL-WBC可以分别在IID设置的1个通信轮和非IID设置在5个通信轮内减轻模型中毒攻击对全局模型的影响。然而，CDP和LDP无法在IID的5轮内和非IID设置的10轮内减轻攻击效果
- 对于防御变得更具挑战性的非IID设置，FL-WBC仍然可以在2轮内以小于15%的良性精度下降来缓解攻击效果，但DP无法在3轮内以低于30%的良性精度降低来进行有效缓解，导致良性任务的效用不可接受
- FL-WBC优于CDP和LDP的原因是：FL-WBC只向持久AEP所在的参数空间注入扰动，而不是像DP方法那样扰动所有参数。因此，FL-WBC可以以较少的精度下降实现更好的鲁棒性
- 对non-IID设置下的防御比IID设置更难的原因是：在non-IID的设置下，仅持有少数类别的数据的客户端仅训练全局模型的部分参数，导致Hessian矩阵更加稀疏，更可能具有更高维度的内核
恶意数据集有多张图片的情况下检验FL-WBC的有效性
- 评估防御的有效性：攻击的影响轮次
- 有多个恶意图像的防御比只有一个图像时的防御更容易：与单个恶意图像的AEP相比，多个恶意图像的AFP需要更大的参数空间
- 尽管存在多个恶意图像时，FL-WBC最终可以缓解攻击的影响，但无论对于IID和非IID设置，鲁棒聚合均不能保证在5个通信回合内缓解攻击的影响
- 在IID/非IID设置下，对FL-WBC和DP的良性精度和攻击缓解回合的比较
- FL-WBC可以保证在一个回合内减轻攻击影响，IID设置和非IID设置的良性精度分别低于3%和10%。
- DP方法导致超过9%的良性精度下降，以分别实现IID设置和非IID设置的相同鲁棒性。
- FL-WBC在防御模型中毒攻击方面显著优于DP方法。
鲁棒性聚合与FL-WBC的集成
- 只有CMA不能减轻攻击效果
- 通过同时应用CMA和FL-WBC，在IID设置下的1个通信回合和非IID设置的5个通信回合内，攻击效果得到缓解
- FL-WBC的防御是对基于服务器的鲁棒性聚合的补充，并进一步增强了FL在极强攻击下对模型中毒攻击的鲁棒性
总结
已有研究都是从服务器聚合的角度对模型投毒攻击进行防御。而本文经公式推导后发现，投毒攻击对全局模型影响持续停留的原因主要在于，客户端更新时的Hessian矩阵易受攻击影响。因此，本文从客户端的角度出发，对Hessian矩阵中的对角线少部分维度进行扰动，从而有效的缓解了攻击对后续通信轮次的影响
READ-2204 FL-WBC Enhancing Robustness against Model Poisoning Attacks in Federated Learning相关推荐
- READ-2203 FLDetector: Defending Federated Learning Against Model Poisoning Attacks via Detecting Mal
READ-2203 FLDetector: Defending Federated Learning Against Model Poisoning Attacks via Detecting Mal ...
- 顶会论文笔记：联邦学习——ATPFL: Automatic Trajectory Prediction Model Design under Federated Learning Framework
ATPFL: Automatic Trajectory Prediction Model Design under Federated Learning Framework 文章目录 ATPFL: A ...
- AI之FL：联邦学习(Federated Learning)的简介、入门、应用之详细攻略
AI之FL:联邦学习(Federated Learning)的简介.入门.应用之详细攻略 导读 2019 年2 月,微众银行 AI 团队自主研发的全球首个工业级联邦学习框架 FATE(Fe ...
- Get a Model! Model Hijacking Attack Against Machine Learning Models
文章目录 一.概要 二.介绍Introduction 模型劫持攻击 数据集 贡献 三.前置内容 机器学习分类设置 数据中毒攻击 问题陈述 四.几种模型攻击方式 普通攻击管道 模型劫持vs后门vs数据中 ...
- 【论文阅读】一种包含同态加密、差分隐私、多方安全计算的FL隐私保护框架 Efficient and Privacy-Enhanced Federated Learning for Industrial
本文来自:Efficient and Privacy-Enhanced Federated Learning for Industrial Artificial Intelligence 本文提出了一 ...
- 联邦学习（（Federated Learning，FL）
每日一诗: 题竹(十三岁应试作于楚王孙园亭) --明*张居正 绿遍潇湘外,疏林玉露寒. 凤毛丛劲节,只上尽头竿. 近期在阅读联邦学习领域相关文献,简单介绍如下文.本文仅供学习,无其它用途.如有错误,敬 ...
- 论文代码复现Enhancing the Transferability of Adversarial Attacks through Variance Tuning
<Enhancing the Transferability of Adversarial Attacks through Variance Tuning>CVPR2021 论文下载地址 ...
- Model Inversion Attacks that Exploit Confidence Informati on and Basic Countermeasures 阅读心得
一.总结 这是一篇发表在2015年CCS上的一篇论文,相见恨晚,虽然时间比较久了,但是这篇论文还是很值得去读. 文章介绍的是模型逆向攻击,模型逆向攻击(model inversion attack)可 ...
- Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning论文阅读
一. 介绍 随着数据的爆炸式增长和严格的隐私保护政策,由于高昂的带宽成本和隐私泄露的风险,不计后果的数据传输和聚合逐渐变得不可接受.最近,联邦学习(FL)被提出来取代传统的高度集中的学习范式,并保护数 ...
最新文章
- 华人小哥控诉机器学习「四大Boring」，CS博士：深有同感，正打算退学
- ubuntu下部署mongodb以及设置允许远程连接
- selenium自动化测试_49自动化测试中最常见的Selenium异常
- 英语基础语法（八）-时态
- AngularJs学习笔记（四）
- 解读Mybatis数据库开发框架
- 我的学习网址（未完）
- 详解如何实现一个简单的 vuex
- 2017 软工作业结队第二次作业
- c51流水灯实验报告汇编语言,51单片机流水灯实验报告.doc
- 【解决】瑞星杀毒软件无法卸载，rising进程无法关闭
- 安卓模拟ibeacon_Android BLE-iBeacon系列(二)扫描识别iBeacon设备
- 多项式计算的Horner 方法
- 离散时间信号和系统的时域分析
- Dynamics 365(on-premises)公告栏报错
- 使用 ipmitool 实现 Linux 系统下对服务器的BMC管理
- OSM地图本地发布(三)-----自定义图层提取
- 智慧图书馆中一般有哪些设备
- 网孔型中级维修电工实训考核装置
- Unity3D 渲染操作