面向时空异构数据的联邦学习

作者分享链接：【ICLR 2023】面向时空异构数据的联邦学习_哔哩哔哩_bilibili

论文原文链接：https://arxiv.org/abs/2205.10920

报告简介：联邦学习作为面向隐私保护的分布式学习范式，提出以数据不动模型动的方式在端侧协同训练神经网络模型。然而，端侧异构分布的数据给联邦学习带来了严峻挑战。虽然最近涌现出的一系列研究在一定程度上缓解了该问题，但大部分工作只关注空间上的数据分布差异，忽略了会伴随着联邦学习进程而出现的时空异构数据。本次报告将针对联邦学习与推理系统所面临的真实挑战，提出涵盖时空异构数据的联邦学习理论框架；探索联邦学习在部署场景的分布偏移问题，提出数据分布偏移鲁棒的自适应个性化联邦学习算法。

联邦学习所面临的挑战：

1、通信开销：限制与不可靠网络

2、数据异质：非独立同分布数据的高度异构性（文章中主要关注点）

3、系统异构性：硬件、功率等

4、隐私泄漏

联邦学习中的数据异质：易产生客户端漂移问题

由于异构的存在，每个客户端都会去优化到自己的最优点，会存在大量的梯度朝相反方向移动，资源被浪费

以前大部分工作只考虑静态异构数据上的联邦学习

现在：确定了现有工作在测试时间分布变化下的缺陷，并提出联合测试时间头部合奏加调优 (FedTHE+)，它使 FL 模型更加个性化，对各种测试时间分布变化具有鲁棒性。

对比实验部分展示：

传统的会增加一些正则化项

针对解决：端侧异构分布的数据

传统的方案只关注空间上的数据分布差异，忽略联邦学习进程出现的时空异构数据

创新点：

提出涵盖时空异构数据的联邦学习理论框架
面对部署时出现的分布偏移问题，提出数据分布偏移的自适应个性化算法

传统的方法：在进行梯度优化时，添加一个正则化项；这种方式面对本地上的深度学习需要更多的考虑

首先：非独立同分布数据易导致泛化能力差、分类器偏颇和特征不一致

其次：客户端分布问题

最后，通过调整异构客户端分布程度的不同（t-sne可视化），发现具有非独立同分布的客户端对分类器具有较小程度的余弦相似度

问题建模：

鲁棒性评估的架构：

面向时空异构数据的联邦学习相关推荐

bp神经网络预测模型_【2020顶会KDD】AutoST：面向时空预测的高效神经网络学习模型...
题目:AutoST: Efficient Neural Architecture Search for Spatio-Temporal Prediction 文章作者信息: 预览摘要: 时空(ST)预 ...
顶会论文合集 | 联邦学习 x 计算机视觉
2022 CVPR ATPFL: Automatic Trajectory Prediction Model Design Under Federated Learning Framework ATP ...
非独立同分布数据孤岛的联邦学习：一项实验研究
关注公众号,发现CV技术之美本篇分享论文『Federated Learning on Non-IID Data Silos: An Experimental Study』,非独立同分布数据孤岛的联邦 ...
联邦学习：保护隐私安全以及克服数据孤岛的机器学习
题图摄于北京北三环 (本文作者系 VMware 中国研发云原生实验室架构师,联邦学习 KubeFATE / FATE 开源项目维护者和贡献者.) 相关信息:招聘云原生工程师需要加入KubeFATE开 ...
联邦学习【分布式机器学习技术】【①各客户端从服务器下载全局模型；②各客户端训练本地数据得到本地模型；③各客户端上传本地模型到中心服务器；④中心服务器接收各方数据后进行加权聚合操作，得全局模型】
随着计算机算力的提升,机器学习作为海量数据的分析处理技术,已经广泛服务于人类社会. 然而,机器学习技术的发展过程中面临两大挑战: 一是数据安全难以得到保障,隐私数据泄露问题亟待解决: 二是网络安全隔离 ...
虚拟专题：联邦学习 | 联邦学习算法综述
来源:大数据期刊联邦学习算法综述王健宗1 ,孔令炜1 ,黄章成1 ,陈霖捷1 ,刘懿1 ,何安珣1 ,肖京2 1. 平安科技(深圳)有限公司,广东深圳 518063 2. 中国平安保险(集团)股 ...
虚拟专题：联邦学习 | 联邦学习隐私保护研究进展
来源:大数据期刊联邦学习隐私保护研究进展王健宗, 孔令炜, 黄章成, 陈霖捷, 刘懿, 卢春曦, 肖京平安科技(深圳)有限公司,广东深圳 518063 摘要:针对隐私保护的法律法规相继出台,数 ...
个性化联邦学习PFedMe详细解读（NeurIPS 2020）
关注公众号,发现CV技术之美本文介绍一篇 NeurIPS 2020 的论文『Personalized Federated Learning with Moreau Envelopes』,对个性化联邦 ...
综述：联邦学习隐私保护
1. What does literature study? 本文分析并展望了联邦学习中的隐私保护技术的研究进展和趋势.简要介绍联邦学习的架构和类型,分析联邦学习过程中面临的隐私风险,总结重建.推断两 ...

面向时空异构数据的联邦学习

面向时空异构数据的联邦学习相关推荐

最新文章

热门文章