Federated Learning With Local Differential Privacy: Trade-offs Between Privacy, Utility, And Communication

1.总结

（1）LDP（通过加入高斯噪声实现）+FedSGD，在给定目标隐私级别的情况下，与现有隐私核算方法相比，该方法保证了更好的联邦学习性能和更小的传输速率（通信开销更小）。

（2）与提出的方法进行对比的3个基线：MA,AC1,AC2。

（3）主要贡献：

使用一种增强型 MA 对 FedSGD 模型进行隐私分析。此外，提出了一个通用效用指标，它将查询敏感性视为一个变化的参数，并且作者提供了效用（性能）指标的下限。该效用界限通过允许用户具有不同的数据集大小、数据采样概率和目标隐私级别来考虑系统异质性。传输速率被认为是无损通信的噪声梯度的微分熵。

2.细节分析

（1）训练时，客户端的损失函数：

客户端的梯度：

进行梯度的clip：

然后上传至服务器，服务器端进行模型更新：

整个FL系统的损失函数：

（2）LDP：

（3）Privacy，Utility和Communication之间的权衡：

i.作者证明，对于相同的目标 LDP 级别，更严格的隐私组合界限可以产生显著更大的效用（性能）和更小的传输速率。

ii.utility的表达式（实验中utility值越高，代表性能越好）：

iii.trade-off:

iv.几种方法的噪声方差下限对比：

3.实验结果及分析

**该方法所需的噪声方差显著小于使用现有隐私组合方法 MA、AC1 和 AC2 获得的噪声方差。**同样，提出的各种界限导致显著更大的效用（性能）和更小的传输速率。

[paper reading] FL With LDP: Trade-offs Between Privacy, Utility, And Communication相关推荐

[paper reading] RetinaNet
[paper reading] RetinaNet GitHub:Notes of Classic Detection Papers 本来想放到GitHub的,结果GitHub不支持公式. 没办法只能 ...
cvpr2019/cvpr2018/cvpr2017（Papers/Codes/Project/Paper reading）
cvpr2019/cvpr2018/cvpr2017(Papers/Codes/Project/Paper reading) Source:https://mp.weixin.qq.com/s/SmS ...
[paper reading] FCOS
[paper reading] FCOS GitHub:Notes of Classic Detection Papers 2020.11.09更新:更新了Use Yourself,即对于本文的理解和 ...
[paper reading] CenterNet (Object as Points)
[paper reading] CenterNet (Object as Points) GitHub:Notes of Classic Detection Papers 2020.11.09更新:更 ...
[paper reading] CenterNet (Triplets)
[paper reading] CenterNet (Triplets) GitHub:Notes of Classic Detection Papers 2020.11.09更新:更新了Use Yo ...
[paper reading] CornerNet
[paper reading] CornerNet GitHub:Notes of Classic Detection Papers 本来想放到GitHub的,结果GitHub不支持公式. 没办法只能 ...
[paper reading] SSD
[paper reading] SSD GitHub:Notes of Classic Detection Papers 本来想放到GitHub的,结果GitHub不支持公式. 没办法只能放到CSDN ...
[paper reading] YOLO v1
[paper reading] YOLO v1 GitHub:Notes of Classic Detection Papers 本来想放到GitHub的,结果GitHub不支持公式. 没办法只能放到 ...
[paper reading] Faster RCNN
[paper reading] Faster RCNN GitHub:Notes of Classic Detection Papers 本来想放到GitHub的,结果GitHub不支持公式. 没办法 ...