【联邦学习】联邦学习的应用领域、开源平台
文章目录
- 一、联邦学习的应用
- 二、联邦学习的开源平台
- 参考链接
一、联邦学习的应用
- 联邦学习已经被应用于 计算机视觉 领域,例如医学图像分析。
- 联邦学习也被应用于 自然语言处理 和 推荐系统 领域。
- 谷歌的研究人员将联邦学习应用于 手机键盘的输入预测,即谷歌的Gboard系统。这种方法大大提升了智能手机输入法预测的准确度,且不会泄露用户的隐私数据。
- Firefox的研究人员在 预测搜索词 上使用了联邦学习。
- 汽车自动驾驶(e.g. Zeng et al. 2021, OpenMined 的文章)
- “ 智能家居 ”系统(e.g. Matchi et al. 2019, Wu et al. 2020)
二、联邦学习的开源平台
人工智能的研究者对于联邦学习的兴趣并不局限于理论工作,关于联邦学习算法和系统的开发和部署也正在蓬勃发展。下面是几个具有代表性的例子。
Federated AI Technology Enabler(FATE)是由微众银行人工智能项目组发起的一个开源项目,该项目提供了一个安全的计算框架和联邦学习平台,以支持联邦人工智能生态的发展和运作。FATE平台实现了 一种基于同态加密和多方计算的安全计算协议,支持一系列的联邦学习架构和安全计算算法,包括逻辑回归、决策树、梯度提升树、深度学习和迁移学习。关于FATE的更多信息,读者可以访问 GitHub FATE网址 和 FedAI网址。
TensorFlow Federated(TFF)、https://github.com/tensorflow/federated 是一个为联邦学习和其他计算方法在去中心化数据集上进行实验的开源框架。TFF让开发者能在自己的模型和数据上模拟实验现有的联邦学习算法,以及其他新颖的算法。TFF提供的联邦学习模型训练模块也能够应用于去中心化数据集上,以实现非学习化的计算,例如聚合分析。TFF的接口由两层构成:联邦学习应用程序接口(Application Programming Interface,API)和联邦学习核心API。TFF使得开发者能够声明和表达联邦计算,从而能够将其部署于各类运行环境中。TFF包含的是一个单机的实验运行过程模拟器。
TensorFlow-Encrypted 是一个搭建于 TensorFlow 顶层的 Python 包, 可以让研究人员和实践者使用面向隐私保护的机器学习方式进行实验。它提供了类似于 TensorFlow 的接口,旨在让用户不必成为机器学习、密码学、分布式系统和高性能计算的专家,便能轻松地使用这些现成的技术。
coMind、coMindOrg/federated-averaging-tutorials是一个训练面向隐私保护联邦深度学习模型的开源平台。coMind 的关键组件是联邦平均算法的实现,即在保护用户隐私和数据安全的前提下,协作地训练机器学习模型。coMind搭建在 TensorFlow 的顶层并且提供实现联邦学习的高层API。
Horovod 由Uber创立,是一个深度学习的开源分布式训练框架。它基于开放的消息传输接口(Message Passing Interface,MPI),并工作在著名的深度学习框架如 TensorFlow 和 PyTorch 的顶层。Horovod旨在使得分布式深度学习变得快速且易用。Horovod通过MPI支持联邦学习,目前还不支持加密方式。
OpenMined/PySyft 提供了隐私保护的两种方法:联邦学习和差分隐私(Differential Privacy,DP)。OpenMined还进一步支持多方安全计算和同态加密方法,能够支持两种以上的安全计算方法。可用于搭建安全和扩展性的机器学习模型的联邦学习框架,OpenMined已经将PySyft框架开源。PySyft是PyTorch的一个简单外挂扩展,对于熟悉PyTorch的用户,使用PySyft实现联邦学习系统是十分简单的。基于TensorFlow的联邦学习扩展正在OpenMined中进行研发。
参考链接
- 论文:联邦学习_杨强 等 (作者) _电子工业出版社; 第1版 (2020年5月1日)_k
- 联邦学习(Federated Learning)详解以及示例代码
【联邦学习】联邦学习的应用领域、开源平台相关推荐
- FATE:工业级联邦学习开源平台
下载论文请点击:FATE:工业级联邦学习开源平台https://mp.weixin.qq.com/s/mTtbiASU5ZT6XOpwza_GHA 近年来,联邦学习飞速发展,成为解决数据孤岛和用户隐私 ...
- CIKM 2022 AnalytiCup Competition: 联邦异质任务学习
简介:为了探索联邦学习中的异质性,推动联邦学习领域的发展,阿里巴巴达摩院智能计算实验室联合天池举办"CIKM 2022 AnalytiCup Competition: 联邦异质任务学习&qu ...
- 虚拟专题:联邦学习 | 联邦可视化:一种隐私保护的可视化新模型
来源:智能科学与技术学报 联邦可视化:一种隐私保护的可视化新模型 魏雅婷, 王智勇, 周舒悦, 陈为 浙江大学计算机辅助设计与图形学国家重点实验室,浙江 杭州 310058 [摘 要]概述了联邦可视 ...
- 虚拟专题:联邦学习 | 联邦学习隐私保护研究进展
来源:大数据期刊 联邦学习隐私保护研究进展 王健宗, 孔令炜, 黄章成, 陈霖捷, 刘懿, 卢春曦, 肖京 平安科技(深圳)有限公司,广东 深圳 518063 摘要:针对隐私保护的法律法规相继出台,数 ...
- 虚拟专题:联邦学习 | 联邦学习研究综述
来源:网络与信息安全学报 联邦学习研究综述 周传鑫,孙奕,汪德刚,葛桦玮 信息工程大学,河南 郑州 450001 摘要:联邦学习由于能够在多方数据源聚合的场景下协同训练全局最优模型,近年来迅速成为安全 ...
- 详细的AI学习路线 能为学者节省n年搜索时间(n=1)(本文由知名开源平台,AI 技术平台以及领域专家:Datawhale,ApacheCN,AI 有道和黄海广博士联合整理贡献)
https://blog.csdn.net/qq_19582165/article/details/102439498 本文由知名开源平台,AI 技术平台以及领域专家:Datawhale,Apache ...
- Per-FedAvg:联邦个性化元学习
关注公众号,发现CV技术之美 Personalized Federated Learning with Theoretical Guarantees: A Model-Agnostic Meta-Le ...
- 北航BIGSCity课题组提出LibCity工具库:城市时空预测深度学习开源平台
目前越来越多深度学习算法被应用于城市计算领域,然而在欠缺一个统一的评估体系对模型性能进行测试的情况下,研究者很难去公平比较不同模型的性能优劣.为此北航计算机学院 BIGSCity 课题组提出 LibC ...
- 通过联邦哈希学习实现隐私掌纹识别
文章目录 摘要 一.介绍 二.提出的方法 1 2 总结 摘要 目前,基于深度学习的掌纹识别方法已经取得了很大的成功.然而,在实际应用中更重要的是隐私问题,他们主要关注的是准确性而忽略了隐私问题.在这封 ...
最新文章
- 第一次,人类在人工神经网络中发现了“真”神经元
- 大数据处理框架之Strom:Storm集群环境搭建
- Python 技术篇-pyhook暂停键盘鼠标监听事件,停止键盘鼠标监听事件且不关闭程序
- 微信小程序http转https
- 《现代操作系统》(第4版)文件系统 课后习题解答
- java socket 推送机制_Java中websocket消息推送的实现代码
- 关于内存的划分和传引用传参数的区别
- zookeeper 和 kafka 集群搭建
- rust这么拆除钢墙_rust腐蚀如何拆墙
- TOP100summit:【分享实录-QQ空间】10亿级直播背后的技术优化
- Intel XDK问题
- ggplot2作图详解:主题(theme)设置
- linux修复硬盘文件命令,fsck命令_Linux fsck 命令用法详解:检查并且试图修复文件系统中的错误...
- 诚龙网刻PXE网刻出错解决
- 谷歌浏览器安装JSON格式化插件
- UEFI——PCI/PCIe
- mastercam西门子840d后处理_西门子802D数控铣后处理程序
- win10计算机怎么拨号上网,win10如何设置宽带拨号连接
- Python|美国婴儿姓名分析
- 【每日英文】2021.8.5