Label Inference Attacks Against Vertical Federated Learning

USENIX Security 2022

摘要：

随着欧盟《通用数据保护条例》、中国《中华人民共和国数据安全法》等法案的颁布实施，联邦学习（Federated Learning，FL）作为一种具有隐私保护属性的分布式机器学习模型训练范式，日益被各大互联网公司所重视。

FL中的分支之一，水平联邦学习（Horizontal Federated Learning，HFL）适用于如下场景：各个训练参与者（或称数据提供者，以下统一称为“参与者”）的数据集在特征空间对齐，而在样本空间互不重叠；例如两个不同地域的地方银行之间的协作——两者的用户群体互不重叠，但是特征都是年龄、收入、职业等。

而另一分支，垂直联邦学习（Vertical Federated Learning，VFL）则适用于另一场景：各个参与者的数据集在样本空间一致，但在特征空间不同；例如某银行与某电商平台之间的合作——两者的用户群体存在重叠，但是各自拥有不同的用户特征。

FL因其隐私保护属性被重视，但是一些研究工作发现FL中仍然存在各种间接隐私泄露问题。目前学术界关于FL中隐私泄露的工作主要专注于HFL，对VFL的潜在隐私风险缺乏探索，本文拟填补此研究空白。考虑到VFL适用场景下，各个参与者各拥有一部分特征数据，而标签数据则被保护在服务器端，所以标签数据的隐私性是VFL必须保证的。事实上，标签数据往往具有敏感的隐私属性，例如，某人是否患有某种疾病。然而，本文研究发现，现有的VFL架构对于标签的存储使用具有间接的隐私泄露风险：架构中由参与者维护的底层模型参数、训练算法中的梯度交换机制都有可能被潜在的恶意参与者利用，以窃取服务器端的标签数据。

在图1所示的VFL体系结构中，只有一个参与者拥有标签，这与HFL不同，HFL中每个参与者都有自己的标签样本。确保私人标签的隐私是VFL提供的基本保证，因为标签可能是参与者的关键资产或高度敏感。此外，敌对参与者可能会试图利用被盗的标签建立类似的业务，或将敏感标签出售给地下行业。

针对VFL架构的特点，本文提出三种标签推断攻击：

基于模型补全和半监督学习的被动攻击

研究发现，VFL架构中，某恶意的参与者可以先补全本地模型（即给本地模型添加分类层），然后使用半监督学习算法（如MixMatch），借助少量辅助打标样本fine-tune补全后的模型的分类层。最后，输入本地feature到训练后的补全模型，即可推断标签。实验结果表明，此被动攻击方法可以在文本、图像等各种模态的多个数据集上有效地推断训练和测试样本的标签。
基于本地恶意优化器的主动攻击

研究发现，VFL架构中，某恶意的参与者可以通过恶意提高本地优化器的学习率获得模型参数优化时的优先权，并使得本地模型间接获得更好的特征提取能力，以增强基于模型补全的攻击方法的效果。实验结果表明，此主动攻击方法可以在文本、图像等各种模态的多个数据集上提升标签推断成功率。
基于梯度推算的直接攻击

受到相关工作《iDLG: Improved Deep Leakage from Gradients》的启发，本文进一步研究发现，对于不设置top model的VFL架构，可以直接依据服务器端反传的梯度的符号，推算出当前训练数据的标签。因为基于直接推算，此直接攻击方法在实验涉及的所有数据集上取得了100%的标签推断成功率。

另外，本文评估了4种主流联邦学习隐私增强方法：梯度加噪，梯度压缩，PPDL（Privacy-preserving deep learning）和梯度离散化。实验结果显示现有的这4种防御无法有效抵御标签推断攻击：无法做到既基本维持模型在原任务上的性能，又有效降低标签推断攻击的推断成功率。例如对于梯度加噪，噪声过低时无法使得标签推断成功率显著降低，噪声过大时又导致模型在原任务上性能降低过多，无法找到合理的平衡点。

Label Inference Attacks Against Vertical Federated Learning相关推荐

【论文阅读】CAFE: Catastrophic Data Leakage in Vertical Federated Learning
本文主要讲述了恶意server 如何在VFL环境下根据数据索引来还原完整的训练数据. 这里写目录标题现有工作的不足主要贡献实现 assumption & target 为什么大批量数据 ...
【COPOD】Suppressing Poisoning Attacks on Federated Learning for Medical Imaging
Suppressing Poisoning Attacks on Federated Learning for Medical Imaging 抑制针对医学影像联邦学习的毒化攻击论文 Abstrac ...
联邦学习（Federated Learning）介绍
参考资料: Tensorflow官网教程:https://www.tensorflow.org/federated/ 联邦学(federated learning)习生态:https://cn.fed ...
【文章思路、算法分析】Membership Inference Attacks Against Machine Learning Models
白菜苗 1.成员推理攻击目的 2.阴影模型构建 3.攻击模型的构造 4.算法分析 5.总结如果你不小心又亦或是专门寻找这篇文献相关知识,那么很高兴能和你们分享这篇文章. 何谓成员推理攻击,陌生而又抽 ...
《DBA: DISTRIBUTED BACKDOOR ATTACKS AGAINST FEDERATED LEARNING》阅读笔记
DBA: DISTRIBUTED BACKDOOR ATTACKS AGAINST FEDERATED LEARNING ** 本文发在ICLR 2020,针对联邦学习进行的后门攻击.其提出的方案针对 ...
【全文翻译】Membership Inference Attacks Against Machine Learning Models
针对机器学习模型的成员推理攻击 I. INTRODUCTION II. MACHINE LEARNING BACKGROUND (机器学习背景) III. PRIVACY IN MACHINE LEA ...
（翻译）DBA: DISTRIBUTED BACKDOOR ATTACKS AGAINST FEDERATED LEARNING
摘要后门攻击旨在通过注入对抗性触发器来操纵训练数据的子集,从而使在受篡改数据集上训练的机器学习模型将在嵌入了相同触发器的测试集上进行任意(目标)错误预测.尽管联邦学习(FL)能够汇总由不同方面提供的 ...
READ-2204 FL-WBC Enhancing Robustness against Model Poisoning Attacks in Federated Learning
READ-2204 FL-WBC Enhancing Robustness against Model Poisoning Attacks in Federated Learning from a C ...
READ-2203 FLDetector: Defending Federated Learning Against Model Poisoning Attacks via Detecting Mal
READ-2203 FLDetector: Defending Federated Learning Against Model Poisoning Attacks via Detecting Mal ...

Label Inference Attacks Against Vertical Federated Learning

Label Inference Attacks Against Vertical Federated Learning相关推荐

最新文章

热门文章