Deep Leakage from Gradients

Summary

对于分布式学习，特别是相关之前共享梯度的学习，提出了一种攻击方式（DLG）。通过窃取client之间传递的梯度反推出（也是使用机器学习迭代的方式）原始的输入。并在图像分类、Masked Language Model方面取得的不错的成绩。

Method

初始化一个（x,y）。
上述可能只对输入和标签只有一对的时候，当训练有N和小批次的数据时，修改一下algorithm 1.

Experiment

Deep Leakage on Image Classification
- 对于图像标签，我们没有直接优化离散类别值，而是随机初始化一个形状为N × C的向量，其中N为批大小，C为类数，然后将其softmax输出作为单热标签进行优化。（不太理解）
- 效果，而且比之前GAN的Melis要好些。不同类型的数据集效果也不同。
Deep Leakage on Masked Language Model
- 与视觉任务(RGB输入是连续的值)不同，语言模型需要将离散的单词预处理为嵌入（不太理解）
- 效果
  虽然不能完全复现原句，但是大意是完全可以得出的。

Defense

添加噪声，噪声的种类不太重要，重要的是加多少
梯度压缩，压缩超过百分之20有一点效果。、
增大训练数据的Batch

Related Knowledge

Masked Language Model
GAN Model
BERT模型

Deep Leakage from Gradients相关推荐

Deep leakage from Gradients论文解析
Deep leakage from Gradients论文解析今天来给大家介绍下2019年NIPS上发表的一篇通过梯度进行原始数据恢复的论文. 论文传送门 **问题背景:**现在分布式机器学习和联邦 ...
Deep Leakage From Gradients文献阅读及代码重现
目录 1.DLG文献解析 1.1 背景介绍 1.2 算法描述 1.3 实验结果 2.iDLG文献解析 2.1 算法描述 2.2 实验结果 3.代码(DLG和iDLG) 1.DLG文献解析文献地址: ...
论文阅读：Deep Leakage From Gradients
论文名字 Deep Leakage From Gradients 来源顶会 NeurIPS 年份 2019.12 作者 Ligeng Zhu Zhijian Liu Song Han 核心点主 ...
复现《Deep Leakage from Gradients》的攻击实验
复现<Deep Leakage from Gradients>的攻击实验 Deep Leakage from Gradients 在GitHub上找到一个在pytorch实现<Dee ...
Dreaming to distill(Deep Inversion, data free distill)
文章链接:https://arxiv.org/abs/1912.08795 CVPR2020上做data-free蒸馏的. 什么是Data-free=>就是没有数据,只能自己生成数据一提到生成 ...
联邦学习应用思考：需求还是方法？
作者 | 徐葳清华大学交叉信息研究院长聘副教授.华控清交首席科学家前言: 目前,"联邦学习"这个术语在市场上存在很多认识上的误解和混淆,主要原因是其既在广义上表达了保护数据前提 ...
联邦学习的隐忧：来自梯度的深度泄露
作者 | Ligeng Zhu and Song Han 编译 | 对外经济贸易大学金融科技实验室头图 | 下载于视觉中国 [编者按]数据交易流通是数据要素市场建立的关键环节.为了在推动数据流动的同 ...
如何在机器学习的框架里实现隐私保护？
编者按:数据时代,人们从技术中获取便利的同时,也面临着隐私泄露的风险.微软倡导负责任的人工智能,因此机器学习中的隐私保护问题至关重要.本文介绍了目前机器学习中隐私保护领域的最新研究进展,讨论了机密计算 ...
20行代码发一篇NeurIPS：梯度共享已经不安全了
整理 | 夕颜,Jane 出品 | AI科技大本营(ID:rgznai100) [导读]12 月 8 日-14 日,NeurIPS 2019 在加拿大温哥华举行,和往常一样,今年大会吸引了数万名专家参 ...

Deep Leakage from Gradients

Summary

Method

Experiment

Defense

Related Knowledge

Deep Leakage from Gradients相关推荐

最新文章

热门文章