论文阅读：SCAFFOLD: Stochastic Controlled Averaging for On-Device Federated Learning

论文名字

SCAFFOLD: Stochastic Controlled Averaging for On-Device Federated Learning

来源

年份

2020

作者

核心点

解决联邦学习在数据异构（non-iid）中的“客户漂移（client-drift）”现象

阅读日期

2021.3.24

影响因子

页数

引用数

引用

内容总结

文章主要解决的问题及解决方案：

主要解决联邦学习在数据异构（non-iid）中的“客户漂移（client-drift）”现象，也就是小部分客户端的收敛方向与其他大部分的客户端的收敛方向有所偏差。

文章的主要工作：

1、对FedAvg算法做出改进，获得了更快的收敛速度。

2、证明了当数据是异构的（non-iid）时，会遭受“客户漂移”，导致不稳定和缓慢的收敛。

3、提出名为“SCAFFOLD”的算法，其使用控制变量（方差减少）来纠正其本地更新中的“客户漂移”。

4、证明了（对于二次曲线）SCAFFOLD可以利用客户端数据的相似性产生更快的收敛。

5、文中指出当前联邦学习中的主要挑战是：1）客户端和服务器端之间不可靠和连接慢的网络连接；2）在给定时间内能实现用小量的客户端进行模型的训练；3）不同的客户端之间存在大量的异构数据（no-iid）。

6、FedAvg的核心是客户端的多次本地训练，同时，文中表明，即使使用了全部梯度，并且所有客户都参与了训练这种客户漂移仍然存在。

7、文中的算法主要是计算客户端和服务器端的差异来获取，其不受客户的抽样的影响。

8、FedAvg的两个公式：

9、算法1流程：

SCAFFOLD: Stochastic Controlled Averaging for federated learning
1	server input: initial x and c, and global step-size ηg
2	client i’s input: ci, and local step-size ηt
3	for each round r=1,…,R do
4	sample clients
5	communicate to all clients
6	on client in parallel do
7	initialize local model
8	for do
9	compute mini-batch gradient giyi
10
11	end for
12
13	communicate
14
15	end on client
16
17
18	end for

10、

11、文中指出当客户端之间的数据集为异构（non-iid）数据的话，那么他们在模型训练过程中，一些客户端会带偏整个系统的收敛结果，图中，黑色点是全局模型，也就是每个训练轮次各个局部模型的“训练起点”，假设在某一轮训练中，服务器选择了client1和client2两个客户端来训练，然后client1是偏离整个系统的客户端，那么在客户端上训练三个轮次中，我们可以看到client1上的局部模型已经偏离了训练的方向(所在的方向)，然后聚合得到的server model也会稍微偏离，使得系统向着偏离学习模型的方向上收敛。最终的结果不是造成整个系统的性能下降就是导致整个系统收敛缓慢

12、使用控制变量后的结果：

文章内容：

实验结果：

附录：

参考文献：

论文阅读：SCAFFOLD: Stochastic Controlled Averaging for On-Device Federated Learning相关推荐

SCAFFOLD: Stochastic Controlled Averaging for Federated Learning学习
SCAFFOLD: Stochastic Controlled Averaging for Federated Learning学习背景贡献论文思想算法局部更新方式全局更新方式实验总结 ...
SCAFFOLD: Stochastic Controlled Averaging for Federated Learning
背景传统的联邦学习在数据异构(non-iid)的场景中很容易产生"客户漂移"(client-drift)的现象,这会导致系统的收敛不稳定或者缓慢贡献提出了考虑到client ...
论文阅读：HybridAlpha: An Efficient Approach for Privacy-Preserving Federated Learning
论文名字 HybridAlpha: An Efficient Approach for Privacy-Preserving Federated Learning 来源会议 the 12th ACM ...
【论文阅读】CAFE: Catastrophic Data Leakage in Vertical Federated Learning
本文主要讲述了恶意server 如何在VFL环境下根据数据索引来还原完整的训练数据. 这里写目录标题现有工作的不足主要贡献实现 assumption & target 为什么大批量数据 ...
【论文阅读】DouZero: Mastering DouDizhu with Self-Play Deep Reinforcement Learning
[论文阅读]DouZero: Mastering DouDizhu with Self-Play Deep Reinforcement Learning 1 本文解决了什么问题? 斗地主是一个非常具有 ...
论文阅读笔记（一）【Journal of Machine Learning Research】Natural Language Processing (Almost) from Scratch（未完）
学习内容题目: 自然语言从零开始 Natural Language Processing (Almost) from Scratch 2021年7月28日 1-5页这将是一个长期的过程,因为本文长 ...
论文阅读笔记五十三：Libra R-CNN: Towards Balanced Learning for Object Detection(CVPR2019)
论文原址:https://arxiv.org/pdf/1904.02701.pdf github:https://github.com/OceanPang/Libra_R-CNN 摘要相比模型的结构 ...
RL论文阅读【一】Playing Atari with Deep Reinforcement Learning
1 废话开始要认真的读论文的,计划每天晚上回宿舍看一半,两天看完一篇,第三天写博客总结,虽然有点慢吧,但是积少成多嘛~ 今天先介绍第一篇,也是深度强化学习的开山之作. 2 动机一般把这篇论文称作深 ...
论文阅读笔记《Adaptive Image-Based Visual Servoing Using Reinforcement Learning With Fuzzy State Coding》
核心思想该文提出一种利用模糊状态编码的强化学习(Q-learning)算法来实现自适应基于图像的视觉伺服控制.基于图像的视觉伺服过程中,图像雅可比矩阵中的距离参数ZZZ是未知的,需要对其进行估计 ...
【论文阅读|cryoET】Isotropic reconstruction for electrontomography with deep learning (解决缺失楔问题降噪）
论文题目 Isotropic reconstruction(各向同性重建)for electron tomography with deep learning 期刊:Nature communicat ...

论文阅读：SCAFFOLD: Stochastic Controlled Averaging for On-Device Federated Learning

论文阅读：SCAFFOLD: Stochastic Controlled Averaging for On-Device Federated Learning相关推荐

最新文章

热门文章