学习笔记 | Inverting Gradients--How easy is it to break privacy in federated learning

摘要

Federated Learning:leaves the training data distributed on the mobile devices, and learns a shared model by aggregating locally-computed updates.

关键词：共享模型整合本地运算的更新

Method:based on iterative model averaging

Principal constraint:communication costs.

主要内容

由松散的客户端联合解决的，这些设备由一个中央服务器协调。每个客户端都有一个本地培训数据集，它从未上传到服务器。每个客户端计算对服务器维护的当前全局模型的更新，并且只传达此更新。数据应用后是不保存的。（移动设备分散的数据训练，模型训练不需要直接访问数据）
Federated Averaging algorithm
优化方向（论文涉及下面第1,2,4点）
- Non-IID：非独立同分布，即每个设备的数据不能代表整体的分布；
- Unbalance：各用户使用频率不相同，单个期望与总体期望不同；
- Massively distributed：预计参与优化的客户数量大于每个客户的平均示例数量；
- Limited communication：设备有时离线或缓慢或连接成本昂贵；
通信成本占主导。因此加速方法为在每个客户端上添加了更多的计算。
计算量由3个关键参数控制：
- C：每一轮进行计算的客户端的比例；
- E：每个客户端每一轮通过其本地数据集的训练次数；
- B：用于更新的本地数据集的大小。
实验结果：
- 通过改变E和B来增加u是有效的，只要B足够大，可以充分利用客户端硬件上可用的并行性；
- IID样本得到的优化更多，non-IID较小，但仍然很可观。
- 正则化效益
- 当前模型参数仅通过初始化影响在每个客户端更新中执行的优化。因此，作为E→∞，至少对于凸问题，初始条件应该是不相关的，并且无论初始化如何，都将达到全局最小值。非凸问题预计也能收敛到局部最小值。

名词解析

feed-forward deep networks：前馈神经网络（FFDN）?
LSTM：循环神经网络?
non-convex neural network：非凸神经网络？
SGD：随机梯度下降
wall-clock time：挂钟时间

问题

文章中convexity凸度指的是什么？凸度为什么非凸目标在参数空间中的平均模型可能产生坏的模型？凹函数极值。
前馈神经网络、循环神经网络、非凸神经网络需要进一步了解吗？需要时查看。

学习笔记 | Inverting Gradients--How easy is it to break privacy in federated learning相关推荐

联邦学习安全与隐私保护综述 A survey on security and privacy of federated learning
联邦学习安全与隐私保护综述写在前面的话联邦学习是什么联邦学习工作流程联邦学习的技术分类安全问题和解答隐私问题和解答未来方向写在前面的话本篇博客参考<A survey on se ...
最新论文笔记(+19)：TrustFed: A Framework for Fair and Trustworthy Cross-Device Federated Learning in IIoT
TrustFed: A Framework for Fair and Trustworthy Cross-Device Federated Learning in IIoT "译为" ...
最新论文笔记(+20)：Biscotti_ A Blockchain System for Private and Secure Federated Learning / TPDS21
Biscotti: A Blockchain System for Private and Secure Federated Learning"译为"Biscotti:一个用于隐私 ...
differential privacy 学习笔记（一）
differential privacy学习笔记(一) 什么是differential pravicy differential privacy通常被翻译成差分隐私,为了了解什么是差分隐私,我们需要定 ...
联邦学习入门（一）-Advances and Open Problems in Federated Learning详解
本文主要是联邦学习的入门级笔记,主要参考了论文Advances and Open Problems in Federated Learning和微众银行的联邦学习白皮书,笔者作为初次接触该领域的小白, ...
001 A Comprehensive Survey of Privacy-preserving Federated Learning（便于寻找：FedAvg、垂直联邦学习的基本步骤）
这是我看的第一篇关于联邦学习的论文,综述文章,让我对联邦学习有了初步的了解. A Comprehensive Survey of Privacy-preserving Federated Learni ...
联邦学习（（Federated Learning，FL）
每日一诗: 题竹(十三岁应试作于楚王孙园亭) --明*张居正绿遍潇湘外,疏林玉露寒. 凤毛丛劲节,只上尽头竿. 近期在阅读联邦学习领域相关文献,简单介绍如下文.本文仅供学习,无其它用途.如有错误,敬 ...
2015.05.15,外语,学习笔记-《Word Power Made Easy》 01 “如何讨论人格特点”
2015.03.17,外语,读书笔记-<Word Power Made Easy> 01 "如何讨论人格特点"学习笔记 SESSIONS 1 本来这些章节都是在一两年前 ...
Easy EDA #学习笔记02# |Arduino UNO 单片机最小系统PCB原理图 (ATMEGA328P单片机 AMS1117芯片5V转3.3V )
3D模型图顶层丝印层阻焊层(绿油) 锡膏层铜箔层基板 - 原理图符号自动编号:[设置]-[系统设置]-[原理图]选项铜柱M3: 原理图原点设置: Crl + A 拖动 [放置]-[画布原点 ...
我的学习笔记——CSS背景渐变(Gradients)详解
我的学习笔记--CSS背景渐变(Gradients)详解一.线性渐变(Linear Gradients) 1.语法 background-image: linear-gradient(directi ...

学习笔记 | Inverting Gradients--How easy is it to break privacy in federated learning

学习笔记 | Inverting Gradients--How easy is it to break privacy in federated learning相关推荐

最新文章

热门文章