Differentially Private Deep Learning with Iterative Gradient Descent Optimization

motivation：梯度下降中不均衡的敏感度；不够紧的隐私界限。

methods：新的扰动梯度下降优化算法PIGDO，并证明该算法满足差分隐私；提出一种改进的MMA方法来进行隐私分析，与原始moment account方法相比，获得了更紧密的隐私损失约束。

1.本文提出了一种新的扰动迭代梯度下降优化(PIGDO)算法，该算法将梯度下降算法作为一个迭代分量，然后对迭代GDO计算的梯度进行梯度扰动，满足差分隐私。与之前针对每个梯度设计的噪声加法机制相比，我们的算法改进从整体的角度验证了梯度的准确性，从而在保证隐私要求的同时实现了更好的模型效用。

2.我们给出了详细的隐私分析，证明我们的算法满足差分粉丝，提出了一种改进的矩会计(MMA)方法来获取更紧密的隐私信息。

图左是文章PIGDO算法将梯度下降优化方法作为一个迭代过程集成到每个步骤添加满足差分隐私噪声。右边的这些算法只是对梯度进行了单步迭代的一次优化。与右边的工作相比,文章提出的算法明显优势是可以通过梯度下降方法自适应地添加噪声，从而获得更好的算法性能。

上边这幅图是Adam算法，他提出的PIGDO算法就是除了红框的其余部分，模型输入中β1, β2,是指数衰减率，初始化一阶矩向量和二阶矩向量为0，然后进行采样，迭代中计算梯度，并对有偏差的一阶矩估计和二阶据估计进行更新。因为ft和st被初始化为0的向量，当它们在初始时间步长或衰减率很小时，它们就偏向于0。解决方案是通过偏差修正估计fˆ和sˆ抵消这个初始偏差。也就是红色框部分，之后就是裁剪加噪声并进行梯度下降。

之后文章对算法2进行隐私损失分析，这个定理3就是提出的modified moment account，给出了一个例子。

Differentially Private Deep Learning with Iterative Gradient Descent Optimization相关推荐

【课程作业】Adversary Instantiation: Lower Bounds for Differentially Private Machine Learning论文阅读报告
0.论文信息论文名字 Adversary Instantiation: Lower Bounds for Differentially Private Machine Learning 所属会议 I ...
An overview of gradient descent optimization algorithms
转载自:http://sebastianruder.com/optimizing-gradient-descent/ 梯度下降优化及其各种变体.1.随机梯度下降(SGD) 2.小批量梯度下降(mini ...
Cousera Machine Learning 笔记：Gradient Descent
公式: Repeat Until Convergence { for (j from 0 to n) temp j = theta j - alpha * d(J(theta 0, theta 1, ...
【深度学习系列】(二)--An overview of gradient descent optimization algorithms
0.Overview——Deep Learning
本文为Kaggle Learn的Deep Learning课程的中文翻译.原链接为:https://www.kaggle.com/learn/deep-learning 1. Intro to Dee ...
【Deep Learning学习笔记】Deep learning for nlp without magic_Bengio_ppt_acl2012
看完180多页的ppt,真心不容易.记得流水账如下: Five reason to explore Deep Learning: 1. learning representation; 2. the ...
【论文笔记09】Differentially Private Hypothesis Transfer Learning 差分隐私迁移学习模型, ECMLPKDD 2018
目录导引系列传送 Differentially Private Hypothesis Transfer Learning 1 Abstract 2 Bg & Rw 3 Setting &am ...
A 'Brief' History of Neural Nets and Deep Learning, Part 4
原文作者为andreykurenkov.本文系转载,仅供各位深度学习爱好者学习使用. "Ask anyone in machine learning what kept neural net ...
梯度下降算法总结（Gradient Descent Algorithms）
0. 摘要机器学习与深度学习中常用到梯度下降(Vanilla Gradient Descent)优化方法及其改进的变种(Improved Variants),不同专业书与教程中均有所涉及,但缺乏系统 ...

Differentially Private Deep Learning with Iterative Gradient Descent Optimization

Differentially Private Deep Learning with Iterative Gradient Descent Optimization相关推荐

最新文章

热门文章