READ-2317 Secure Partial Aggregation: Making Federated Learning More Robust for Industry 4.0 Applica
READ-2317 Secure Partial Aggregation: Making Federated Learning More Robust for Industry 4.0 Applications
论文名称 | Secure Partial Aggregation: Making Federated Learning More Robust for Industry 4.0 Applications |
---|---|
作者 | Jiqiang Gao; Baolei Zhang; Xiaojie Guo; Thar Baker; Min Li; Zheli Liu |
来源 | IEEE T IND INFORM 2022 |
领域 | Machine Learning - Federal learning - Security - Defence - Backdoor attack;Machine Learning - Federal learning - Privacy - Defence - Inference attack |
问题 | 没有一个防御方法可以同时抵挡客户端和服务器发起的攻击,而已有的安全聚合和健壮性聚合策略互斥 |
方法 | 1.客户端只上传模型的部分参数给服务器;2.通过加密模型更新保证服务器无法推断客户端数据,但服务器又可以检测客户端的恶意行为 |
创新 | 兼顾安全性和隐私性 |
阅读记录
一、总框架
- 优点:每个客户端只上传部分参数,不仅可以限制恶意客户端的行为,还可以通过加密保护客户端更新
- 目标
- 保证全局模型的识别准确率
- 同时防御来自客户端的后门攻击和来自都武器的推理攻击
- 轻量级并且可以提供更好的隐私保护
- 创新点
①设置客户端上传参数的比例阈值,使得恶意客户端难以进行后门攻击
②设计分布式同态加密策略使得客户端更新对服务器不可见 - 总框架
- Random Update Selection:客户端计算模型差值后,随机选取部分模型
①将模型展开为一维向量
②随机选择一维向量中的部分元素替换为0,其他元素不变 - Update Construction
①服务器计算非零值的个数
②根据每一维度非零值的个数进行平均聚合
- 模型的有效性
- 模型收敛性:二次采样更新的平均值是原始更新平均值的无偏估计值,因此模型在iid和non-iid设置下都可以收敛
- 抵御后门攻击
①在PartFedAvg设置中,若恶意攻击者想完全替换全局模型,至少要被选中1/d轮,并且在训练过程中良性客户端会逐渐削弱后门的影响
②在PartFedAvg设置中,由于无法知道每一维度非零更新的个数,恶意攻击者无法准确的实施scaling attack - 防御推理攻击:由于客户端只上传部分参数并且进行了加密,服务器的推理受限
二、具体细节
- 模型假设
(1)其他人(包括半诚实的服务器)看不到每个客户端的单独模型更新
(2)服务器将以合理的概率检测到模型更新的不诚实上传,该检测概率用于权衡效率和正确性 - 分布式同态加密
HE = (HE.DKeyGen,HE.Enc, HE.DDec,HE.Add, HE.Mult)
HE.DKeyGen:输入安全参数,输出一对公私钥,私钥被分割为n份
HE.Enc:输入公钥与原始文本,输出密文
HE.DDec:n个客户端分别使用私钥和密文作为输入,获得原始向量
HE.Add:使用k个密文和k个聚合系数作为输入,获取利用聚合系数进行加权的密文
HE.Mult:输入k个密文,输出密文的乘积
- 批验证
(1)目的:验证指示向量的线性组合比单独验证每一个指示向量的损耗更小
(2)方法
- 服务器判断哪个客户端是恶意的
①每个客户端对k个指示向量进行同态加密
②对于每个客户端,服务器随机选取k0个α,并使用k0个α对k0个加密的指示向量计算HE.Add,即c
③服务器使用n个私钥解密c和用原文计算的结果一样,则表示客户端为良性的 - 服务器判断是否存在恶意客户端
- 检测不诚实客户端
- 方法:使用批验证
①客户端上传全部更新(Full update)的同态密文和k个指示向量(Part update:只含0/1)的同态密文
②服务器要求所有选定的客户端解密其提交的一部分(k0/k)加密的指示向量
③若解密向量包含更少或更多的元素,则服务器可以立即发现不诚实客户端。 - 优点:保证了不诚实的客户端以一定的概率被捕获,同时,由于指示向量与模型更新相互独立不会向其他人显示清晰的模型更新
- 部分聚合
- 客户端从剩余的k−k0个加密向量中选择一个,用HE.Mult方法将其与加密的完整更新相乘
- 服务器执行HE
①将所有提取的更新相加
②将所有相应的加密指示向量相加
③服务器指示所有选定的客户端解密这两个密文,并计算部分聚合结果
- 安全性
从同态加密的IND-CPA安全性可以看出,安全部分聚合协议对半诚实服务器是安全的,作弊客户端将以合理的概率被服务器捕获。不诚实的客户可以在以下两种情况下成功欺诈:
- 服务器没有选择所有恶意加密指示向量
- 恶意加密指示向量满足验证等式
- 伪代码
总结
本文通过使用分布式同态加密的方法,同时保证了FL的安全性与隐私性,但是由于密码学协议的执行,加解密的计算成本可能较高,需要思考更轻量级的协议
READ-2317 Secure Partial Aggregation: Making Federated Learning More Robust for Industry 4.0 Applica相关推荐
- 【Paper Reading】Privacy-Preserving Aggregation in Federated Learning: A Survey
Privacy-Preserving Aggregation in Federated Learning: A Survey 原文来源:[Arxiv2022] Privacy-Preserving A ...
- (补充及更新)FLTrust: Byzantine-robust Federated Learning via Trust Bootstrapping
摘要:拜占庭鲁棒式联邦学习旨在存在一定数量恶意客户端时学习到一个准确的全局模型.当前存在的拜占庭鲁棒式联邦学习主要思想为在聚合更新全局模型前对所有的客户端模型更新进行统计分析,然后剔除掉可疑的. 服务 ...
- 【论文阅读笔记】Efficient and Secure Federated Learning With Verifiable Weighted Average Aggregation
个人阅读笔记,若有错误欢迎指正 期刊:2023 TNSE 论文链接: Efficient and Secure Federated Learning With Verifiable Weighted ...
- Blockchain Empowered Asynchronous Federated Learning for Secure Data Sharing in Internet of Vehicles
<Blockchain Empowered Asynchronous Federated Learning for Secure Data Sharing in Internet of Vehi ...
- 9.Paper小结——《VerifyNet: Secure and Verifiable Federated Learning》
题目:<VerifyNet: Secure and Verififiable Federated Learning> --<安全的和可验证的联邦学习> 0.Abstract ...
- 最新论文笔记(+20):Biscotti_ A Blockchain System for Private and Secure Federated Learning / TPDS21
Biscotti: A Blockchain System for Private and Secure Federated Learning"译为"Biscotti:一个用于隐私 ...
- 【联邦学习】横向联邦学习(Horizontal Federated Learning,HFL)
文章目录 一.横向联邦学习的定义 二.横向联邦学习的安全性 三.横向联邦学习架构 1. 客户-服务器架构 2. 对等网络架构 四.联邦优化 五.联邦平均算法 参考链接 一.横向联邦学习的定义 横向联邦 ...
- ICLR2021 - Federated Learning Paper
Federated Semi-Supervised Learning With Inter-Client Consistency & Disjoint Learning 提出的问题很有意思 P ...
- 【论文阅读】一种包含同态加密、差分隐私、多方安全计算的FL隐私保护框架 Efficient and Privacy-Enhanced Federated Learning for Industrial
本文来自:Efficient and Privacy-Enhanced Federated Learning for Industrial Artificial Intelligence 本文提出了一 ...
最新文章
- TailwindCSS v3.0 正式发布!一大波新特性来袭!
- 开课吧:深入了解C++和C语言的血缘关系
- C++primer 12.2.1节练习
- Android ListView + ArrayAdapter、SimpleAdapter、BaseAdapter实现列表
- CF984A Game
- access h3c交换机光口_H3C交换机配置基本命令
- 谷歌浏览器设置信任_Win10系统下谷歌浏览器怎么添加信任网址/站点
- 115网盘视频播放速度调节
- Vue的一些API理解整理,如何一次引入多次调用
- New open source BPM engine——Apache Agila
- VCRedist.exe静默安装方法(转)
- Java-对象转型(casting)
- 诊断和解决row chained and migrated
- 人工智能数学基础---定积分5:使用分部积分法计算定积分
- 河南专升本公共英语语法考点分析---非谓语动词
- 【文献阅读】Faces of emotion in Parkinsons disease
- 智见深度|京东ToB越过山丘
- 圣诞树html实现代码
- Windows沙拉:为什么下载的文件打开时会有警告,而且会被“锁定”?
- 图像处理之opencv保存视频图片
热门文章
- break和continue和牛吃草问题
- python按行读取文件取消空白行_Python 将以空格分隔的文件行读取为单独的行
- 主流专注于跑分的android游戏
- CC2540 CC2541 蓝牙4.0BLE开发板实现 空中飞鼠、体感游戏手柄【多图】
- 微信公众号的8种引粉方法
- html 取消粗体,html – 包括粗体不起作用的字体
- JMeter-响应断言
- 阿里大佬终于把Python整理成了漫画书,让人茅塞顿开~
- ipad iphone开发_如何在iPhone或iPad上重命名文件夹
- 成功解决:Activiti HikariPool-1 - jdbcUrl is required with driverClassName.