联邦学习激励机制设计相关论文研究问题对比
联邦学习激励机制设计相关论文研究问题对比
- An Incentive Mechanism for Cross-silo Federated Learning: A Public Goods Perspective
- 研究意义
- 研究思路
- Optimal Contract Design for Efficient Federated Learning with Multi-Dimensional Private Information
- 研究意义
- 研究思路
- Incentive Mechanism Design for Distributed Coded Machine Learning
- 研究意义
- 研究思路
- Cost-Effective Federated Learning Design
- 研究意义
- 研究思路
- 总结
An Incentive Mechanism for Cross-silo Federated Learning: A Public Goods Perspective
研究意义
- 联邦学习中各个客户端的训练成本不等，且局部模型优劣评估指标欠缺，导致中心服务器无法有效量化各个客户端的具体贡献；
- 由于客户端训练局部模型所需的计算资源和通信资源属于公共资源，不具有排他性，可能出现部分客户端坐享其成的现象。
研究思路
- 激励机制设计：客户端上传期望训练次数以及期望资金转移量，中心服务器告诉客户端每一轮训练需要分配的计算性能以及资金转移量，所有客户端训练次数相同。
- 各个客户端之间的互动可以视为博弈，证明了在博弈的纳什均衡下，各个客户端都能获得最优收益，同时中心服务器最小化自身成本；
- 资金转移的意义是让模型收益更高的客户端补贴模型收益相对较低的客户端，防止部分客户端坐享其成的同时，也让客户端在模型收益较低的情况下也愿意参与联邦学习。
Optimal Contract Design for Efficient Federated Learning with Multi-Dimensional Private Information
研究意义
- 服务器选择参与联邦学习的用户需要同时考虑其计算成本、通信时间，需要将用户的多维信息归纳为一个一维的选择标准；
- 研究服务器对用户信息的不同了解程度对最优契约设计和服务器成本的影响；
- 现实中不同用户使用数据服从的分布迥异，需要研究针对non-IID数据的最优契约设计。
研究思路
- 契约设计：契约规定了每一个类型用户参与联邦学习能够获得的奖励。基于前面提出的选择标准，契约会给到服务器更偏好的用户类型更高的奖励，从而达到激励相对高效、低成本用户参与联邦学习的目的。
Incentive Mechanism Design for Distributed Coded Machine Learning
研究意义
- 在分布式机器学习中存在straggling worker会拖累整体效率，所以需要引入编码机器学习，通过部分worker的计算结果恢复整体的计算结果；
- 目前相关研究关注编码方案设计，缺少编码机器学习激励机制设计方面的研究。
研究思路
- 将worker的多维信息(计算性能、计算成本)归纳为一维衡量标准，从而确定platform倾向于激励的worker类型；
- 两阶段的Stackelberg博弈：在Stackelberg模型中，platform是领导者，worker是追随者；platform的决策变量是worker能够获得的奖励，worker的决策变量是参与编码机器学习与否以及汇报给platform的成本和性能；platform已知worker对其决策变量的反应函数，即只要能获得非负收益就会参与编码机器学习。
Cost-Effective Federated Learning Design
研究意义
- 联邦学习的成本取决于客户端数目E和局部迭代次数K，本文专注于寻找E和K的最优解以达到最小化服务器成本的目的，同时保证机器学习模型收敛；基于不同的应用需求(减小时间成本or减小能源消耗)分别给出E和K取值的参考；与前面的文章有所不同，本文的重点不在激励机制设计。
研究思路
- 定义服务器成本最小化问题以及模型收敛的约束条件，求解该问题一个近似问题的最优解，根据该近似解的特性给出E和K取值的参考。
总结
以上四篇文章的研究侧重点各不相同：第一篇文章旨在设计一个激励机制，中心服务器规定好客户端的最优模型训练方案，以及客户端之间相互补贴的规则，告诉客户端只要严格遵照规定就能获得最优收益；第二篇文章和第三篇文章有相同点，都希望将用户的多维信息归纳为一个一维指标，从而确定服务器倾向于激励的低成本、高效用户类型；不同之处在于，第二篇文章着重讨论不同信息场景以及non-IID数据对激励机制的影响，第三篇文章则是针对编码机器学习设计激励机制；第四篇文章的重点则放在求解最小化服务器成本的最优客户端数目E以及局部迭代次数K和保证模型收敛上，并根据近似解的特性，给出不同应用需求下K和E取值的参考。
联邦学习激励机制设计相关论文研究问题对比相关推荐
- 面向隐私计算的联邦学习激励机制与效率优化研究
大致是了解了申请项目的全过程,写一份好的申请书,选择合适的课题真的十分重要 科研项目进展 希望能拿到国家级项目 – 好消息是拿国家级了--坏消息是EI即以上一篇论文+专利,未来有学弟看到这篇文章,申请 ...
- 联邦学习 — 激励机制综述
背景介绍 联邦学习通常采用参数服务器体系结构,其中客户端训练由参数服务器下发的本地模型.一个典型的联邦学习过程包含很多训练轮次.在每一轮中,客户端从参数服务器下载新的全局模型,并分别用自己的数据训练一 ...
- (论文分析)基于深度强化学习方法的有效边缘学习激励机制设计
论文题目:An Incentive Mechanism Design for Efficient Edge Learning by Deep Reinforcement Learning Approa ...
- 【论文学习】关于联邦学习激励机制的2篇T2论文
目录 文章一 摘要截图 主要内容 文章二 摘要截图 主要内容 文章一 摘要截图 主要内容 将激励机制分为面向贡献测量.面向客户选择.面向支付分配以及面向多子问题优化四种类型 FL的难点在于异质性(no ...
- 基于深度学习实现行人跟踪相关论文总结
基于深度学习实现行人跟踪相关论文总结 [1] Recurrent YOLO and LSTM-based IR single pedestrian tracking 本文提出了一种基于空间监督的递归卷 ...
- 刘洋——联邦学习技术在金融领域的研究与应用
⬆⬆⬆ 点击蓝字 关注我们 AI TIME欢迎每一位AI爱好者的加入! 2020 年 9 月 26 日,在由中国科协主办,清华大学计算机科学与技术系.AI TIME 论道承办的<2020 中国科 ...
- 隐私计算--25--联邦学习激励机制
一.贡献的收益 对于联邦而言,参与方持续地参与到联邦的学习进程是其长期成功的关键所在.参与方加入联邦,构建一个机器学习模型,从而对联邦作出贡献,训练出的模型可以产生收益,联邦可以与参与方们共享部分收益 ...
- 首都师范 博弈论 9 4 1“智猪博弈”与激励机制设计
9 4 1"智猪博弈"与激励机制设计
- 企业内部激励机制设计·下
企业内部激励机制设计·下 15.1 企业内部激励机制设计·下(一):团队激励1 个人的努力程度很难判断 15.2 企业内部激励机制设计·下(二):团队激励2 15.3 企业内部激励机制设计·下(三): ...
最新文章
- 2008台北英特尔信息技术峰会主题演讲精选-王文汉
- 汇编: 描述内存长度
- Android多媒体之SoundPool
- 程序员面试100题之七：最长公共子字符串
- OpenStack（三）——Glance组件
- little tricks（持续更新）【python】
- 牌组资源英语_「桌游推荐」如果当年有这种能背单词的桌游，我早就成英语学霸了...
- 在缺乏贷后数据的情况下做好策略的调整把控
- ASR识别（自动语音识别）
- Vue Element校验validate
- appinfo信息管理系统_基于SSM框架的APP应用管理平台源码
- 计算机自动保存会存到哪里,电脑自动关机前会自动保存吗
- 三色旗java_经典算法-（四）三色旗
- 十款在线图表制作服务
- Range fro mac(随机数字生成软件)
- python星座属相查询_python的生肖和星座计算函数
- 谁能治好抖音们的“版权病”？
- 求方程ax^2+bx+c=0的根
- 数据结构基础篇-链表反转（非递归与递归）C++实现
- 电路复习—电路的基本概念与基本定律