论文阅读：Deep Leakage From Gradients

论文名字	Deep Leakage From Gradients
来源	顶会 NeurIPS
年份	2019.12
作者	Ligeng Zhu Zhijian Liu Song Han
核心点	主要研究梯度泄露问题，使用比以往方法更强的攻击方法，恢复图像是像素级的，恢复文本是符号级的匹配。提出有效的解决方法是梯度裁剪。
阅读日期	2020.12.13
影响因子
页数	11
引用数
内容总结
文章主要解决的问题及解决方案：文章的主要工作： ①提出一种优化算法，可以在几个迭代中获取训练输入和标签。算法的主要思路是：假设虚拟输入和标签，计算虚拟梯度，优化虚拟梯度与真实梯度之间的距离，通过匹配梯度使得虚拟数据靠近原始数据。 ②提出三种保护数据策略：梯度扰动、低精度、梯度压缩。 ③文章的主要贡献：i）DLG算法是第一个实现证明有可能从公开共享的梯度中获得私人训练数据；ii）DLG只需要梯度，就可以显示像素精确的图像和符号匹配的文本。而传统的方法通常需要额外的信息来攻击，并且只产生部分属性或合成替代；iii）为了防止重要数据的潜在泄漏，分析了各种设置下的攻击难点，并讨论了几种针对攻击的防御策略。 ④标准的分布式训练的计算梯度：更新权重： ⑤DLG算法实现如图： DLG算法流程：i）输入为可微的机器学习模型Fx,W（因为该算法需要算梯度的梯度），W：权重参数，∇W：通过训练数据计算得到的梯度；ii）初始化虚拟输入和标签；iii）计算虚拟梯度；iv）计算虚拟梯度与真实梯度的差值平方（作为损失函数）；v）根据差值平方，反向传播，更新虚拟输入，使其计算后的梯度能与真实梯度匹配。 ⑥实验结果如图3，DLG在MNIST，CIFAR-100，SVHN和LFW数据集中的图像恢复情况。可以看出DLG算法可以还原整个图像。 ⑦为了解决当batchsize大于1时，算法失效的情况，文中对算法1的第六行进行修改：并使用修改后的算法进行实验，结果如表1和图4所示。 ⑧文中对原有模型进行了两处修改：i）将ReLU换成Sigmoid；ii）删除步长（因为文中算法要求模型是二次可微的） ⑨DLG算法的缺点：i）当batchsize过大的时候，无法进行攻击；ii）当输入图像过大的时候，无法进行攻击；iii）当网络越深的时候，无法进行攻击。 ⑩防御策略：i）给梯度增加噪声，如图7所示，噪声在10的-4次方时，不能防御梯度泄露；噪声在10的-3次方时，虽然有一定人工干扰，但是还是会泄露；噪声在10的-2次方时，会影响模型精度。（显著）。从图7a和7b的比较中可以看出防御效果取决于方差大小，与噪声类型关系不大。ii）图7c显示，两种半精度方法不能保护训练数据。iii）图7d显示，剪枝率大于20%，可以起到保护隐私的作用（作者没有实验证明影响精度问题，引用了前人的工作）。（11）文中给出用密码学方法的局限性：1、安全聚合要求梯度为整数，不适用于大多数的CNN，2、同态加密仅针对服务器的攻击。文章内容：实验结果：附录：

论文阅读：Deep Leakage From Gradients相关推荐

Deep leakage from Gradients论文解析
Deep leakage from Gradients论文解析今天来给大家介绍下2019年NIPS上发表的一篇通过梯度进行原始数据恢复的论文. 论文传送门 **问题背景:**现在分布式机器学习和联邦 ...
Deep Leakage From Gradients文献阅读及代码重现
目录 1.DLG文献解析 1.1 背景介绍 1.2 算法描述 1.3 实验结果 2.iDLG文献解析 2.1 算法描述 2.2 实验结果 3.代码(DLG和iDLG) 1.DLG文献解析文献地址: ...
复现《Deep Leakage from Gradients》的攻击实验
复现<Deep Leakage from Gradients>的攻击实验 Deep Leakage from Gradients 在GitHub上找到一个在pytorch实现<Dee ...
年龄论文阅读——Deep Label Distribution Learning With Label Ambiguity
论文阅读--Deep Label Distribution Learning With Label Ambiguity 版权声明:本文为博主原创文章,未经博主允许不得转载.https://blog.c ...
论文阅读--Deep Stereo using Adaptive Thin Volume Representation with Uncertainty Awareness
UCSNet(CVPR2020) 论文阅读 UCSNet(CVPR2020) 1. MVSNet 2. UCSNet细节 a. Cascade module b. Plane sweep volume ...
Deep Leakage from Gradients
Summary 对于分布式学习,特别是相关之前共享梯度的学习,提出了一种攻击方式(DLG).通过窃取client之间传递的梯度反推出(也是使用机器学习迭代的方式)原始的输入.并在图像分类.Masked ...
[HSI论文阅读] | Deep Feature Extraction and Classification of Hyperspectral Images Based on CNNs
写在前面论文: Y. Chen, H. Jiang, C. Li, X. Jia and P. Ghamisi, "Deep Feature Extraction and Classifi ...
[论文阅读] Deep Transformers For Fast Small Intestine Grounding In Capsule Endoscope Video
论文地址:https://doi.org/10.1109/ISBI48211.2021.9433921 发表于:ISBI 21 Abstract 胶囊内窥镜是一种用于检查和诊断难治性胃肠道疾病的进化技 ...
[论文阅读] Deep Automatic Natural Image Matting
论文地址:https://arxiv.org/abs/2107.07235 发表于:ICJAI'21 Abstract 自动图像抠图(AIM)是指从任意自然图像中估计软前景,而不需要像trimap那样 ...

论文阅读：Deep Leakage From Gradients

论文阅读：Deep Leakage From Gradients相关推荐

最新文章

热门文章