Personalized Cross-Silo Federated Learning on Non-IID Data阅读记录

对联邦学习中的数据集non-iid问题，这篇文章提出采用联合关注消息传递的新方法，促进类似客户进行更多协作。它允许每个用户拥有不同的模型，所以属于个性化联邦学习。

首先明确优化目标
优化目标由两部分组成，第一部分是所有用户模型训练损失之和，第二部分是通过注意力函数提升用户间的合作效率，其衡量了两个模型参数的差异。
怎么满足这个优化目标？
在第k个iteration,利用梯度下降步骤（下图第一个式（3））计算中间矩阵UkU^kUk优化注意力函数，并且通过最优化下图中式（4）优化所有用户模型训练损失之和，这个过程重复直到达到最大循环数。

通过在云服务器上为每个客户端维护一个个性化的云模型，并在个性化模型和个性化云模型之间传递加权模型聚合消息，在客户端-服务器框架中实现通用方法的优化步骤。
首先求UkU^kUk，写成线性形式，表示通过接收到的所有消息的加权凸组合来更新每个客户端的个性化云模型。其中ϵ\epsilonϵ是各个模型参数的权重，权和为1，各个www就是其他模型聚合的信息。计算好UkU^kUk后就能正常优化F(W)F(W)F(W)了。

3. 有一个关键是各个模型参数的权重怎么算出来？
就是下图这个式子，其中的α\alphaα是学习率，A’(*)是衡量两个模型参数相似度的函数，当他们的 Euclidean距离小时，相似度就高。也即是说，相似度高的权重越大。

值得注意的是，此方法在用户很多时通信与计算开销大，所以作者强调了Cross-Silo。

Personalized Cross-Silo Federated Learning on Non-IID Data阅读记录相关推荐

8.Paper小结——《VFL: A Verifiable Federated Learning withPrivacy-Preserving for Big Data...》
题目:<VFL: A Verififiable Federated Learning with Privacy-Preserving for Big Data in Industrial IoT ...
Deep Reinforcement Learning for Sepsis Treatment文献阅读记录
Deep Reinforcement Learning for Sepsis Treatment 1 Introduction 本文所提出的是一种基于深度强化学习的脓毒症治疗方法. 使用强化学习而非有 ...
Personalized Federated Learning with Moreau Envelopes论文阅读+代码解析
(好久没更新文章啦,现在开学继续肝) 论文地址点这里一. 介绍尽管FL具有数据隐私和减少通信的优势,但它面临着影响其性能和收敛速度的主要挑战:统计多样性,这意味着客户之间的数据分布是不同的(即非i ...
FedMood: Federated Learning on Mobile Health Data for Mood Detection 笔记
摘要作者主要从如下几个方面展开论述: 一.提出了一个新的联邦学习框架. 二.采取后期融合的方法来解决时间序列不连续的问题. 三.实验部分主要与其它的框架进行了比较. 介绍这一部分首先讲了抑郁症目前 ...
PoisonGAN: Generative Poisoning Attacks Against Federated Learning in Edge Computing Systems 阅读报告
预备知识 1.GAN: 公式: minGmaxD=Ex∽pdata(x)[log⁡D(x)]+Ez∽pz(z)[log⁡(1−D(G(z)))]\underset{G}{min}\underset{D ...
Decentralized Federated Learning Preserves Model and Data Privacy
背景今天介绍的还是一篇关于去中心化联邦的论文,这篇论文与之前的区别在于并不是从网络的协议入手,而是利用了迁移学习中的知识蒸馏方法来实现去中心化.这种方法虽然创新性不是很足,但是也许可以与其他架构结合 ...
【阅读笔记】Towards Personalized Federated Learning个性化联邦综述
文章目录前言 1 背景 1.1 机器学习.联邦学习 1.2 促进个性化联邦学习的动机 2 个性化联邦学习的策略 2.1 全局模型个性化 2.1.1 基于数据的方法 2.1.1.1 数据增强 Data ...
【个性化联邦学习】Towards Personalized Federated Learning 论文笔记整理
Towards Personalized Federated Learning 一.背景二.解决策略 2.1 策略一.全局模型个性化 2.2 策略二.学习个性化模型三.具体方案 3.1 全局模型个 ...
2.Paper小结——《Privacy-preserving blockchain-based federated learning for traffic flow prediction》
题目: 基于区块链的基于隐私保护的交通流量预测的联邦学习 0.Abstract: 交通流量预测已成为智能交通系统的重要组成部分.然而,现有的基于集中式机器学习的交通流量预测方法需要收集原始数据以进行模 ...

Personalized Cross-Silo Federated Learning on Non-IID Data阅读记录

Personalized Cross-Silo Federated Learning on Non-IID Data阅读记录相关推荐

最新文章

热门文章