微众银行AI团队开源联邦学习框架，并发布《联邦学习白皮书1.0》

（图片由AI科技大本营付费下载自视觉中国）

编辑 | Jane

来源 | 《联邦学习白皮书1.0》

出品 | AI科技大本营(ID：rgznai100）

【导语】2019年，联邦学习成为业界技术研究与应用的焦点。近日，微众银行 AI 项目组编制并发布了《联邦学习白皮书1.0》，并开源了自研的联邦学习框架。白皮书中对联邦学习的背景、概述、分类、研究、应用案例与发展路径进行了全面的介绍，总结了联邦学习技术发展至今取得的成果以及对未来的展望。

数据不够、数据之间存在壁垒、数据隐私与安全等问题是大数据和人工智能时代一直没有解决的困境，传统机器学习方法的瓶颈已经开始显现，设计一个新的机器学习框架，一种新的解决方法，让AI可以更高效和准确的使用海量数据，是亟需突破的课题。而联邦学习正是解决这些问题的可行方案。

什么是联邦学习？

联邦学习是一个机器学习框架。各个企业的自有数据不出本地，而后联邦系统可以通过加密机制下的参数交换方式，即在不违反数据隐私法规情况下，建立一个虚拟的共有模型。这个虚拟模型就好像大家把数据聚合在一起建立的最优模型一样。但在建立虚拟模型的时候，数据本身不移动，也不泄露隐私和影响数据合规。

这样，建好的模型在各自的区域仅为本地的目标服务。在这样一个联邦机制下，各个参与者的身份和地位相同，而联邦系统帮助大家建立了“共同富裕”的策略。这就是为什么这个体系叫做“联邦学习”。

根据不同的数据分布，联邦学习可以分为三种类型：横向联邦学习、纵向联邦学习和迁移联邦学习。

如下图所示，以纵向联邦学习为例，联邦学习的架构是一个“闭环”学习机制。

联邦学习有什么优势？

联邦学习使得两方或多方的数据使用实体在合作当中数据不出本地也能共同使用，解决数据孤岛问题。

1、数据隔离：各方数据都保留在本地，不泄露隐私也不违反法规。

2、对等：在联邦学习的体系下，各个参与者的身份和地位相同。

3、模型无损：联邦学习的建模效果和将整个数据集放在一处建模的效果相同，或相差不大（在各个数据的用户对齐(user alignment)或特征(feature alignment)对齐的条件下）；迁移学习是在用户或特征不对齐的情况下，也可以在数据间通过交换加密参数达到知识迁移的效果。

4、共同获益：多个参与者联合数据建立虚拟的共有模型，并且共同获益的体系。

联邦学习有什么用？

能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下，进行数据使用和建模。

联邦学习可以应用于不同行业及其垂直领域，包括金融服务、物流、供应链、运营商、医疗健康等。在使用联邦学习的过程中，可采用联合共建、平台服务等方式进行解决方案落地。

比如在小微企业贷款项目中保证数据安全，不对外输出，同时提高预测能力，共享模型效果；在反洗钱场景中，满足金融数据安全的合规，解决样本数据集少的问题；在故障检测中，保证不同设备运营商的数据安全，通过联邦学习建模技术，解决单个局点标签少、预测准确率低问题，提升运营效率又降低成本；医疗领域的图像识别中也有着重要的应用，各医学机构间数据不共享，用户不愿意泄露个人的隐私数据，联邦学习解决了医学领域的数据孤岛问题，提高在医学数据中应用能力，联合多方数据，提升模型效果。

开源项目

联盟学习开源项目FATE（Federated AI Technology Enabler），提供了一种基于数据隐私保护的安全计算框架，为机器学习、深度学习、迁移学习算法提供强有力的安全计算支持。安全底层支持同态加密、秘密共享、哈希散列等多种多方安全计算机制，算法层支持多方安全计算模式下的逻辑回归、Boosting、联邦迁移学习等。

可以帮助学术研究人员快速开发算法原型；为工业界人员快速开发应用提供一种简洁有效的解决方案，支持在多场景下的开拓和应用；借助其灵活的架构，用户可以轻松地将计算工作部署到多种平台（CPU、GPU）和设备（桌面设备、服务器集群、移动设备等）

1、安装环境与软件环境：

（1）可支持Linux 或 Mac 系统

（2）需要 jdk1.8+、Python3.6、python virtualenv、mysql5.6+、redis-5.0.2

2、支持独立和集群部署

（1）独立安装部署参考：

https://github.com/FederatedAI/FATE/tree/master/standalone-deploy

（2）集群安装部署参考：

https://github.com/FederatedAI/FATE/tree/master/cluster-deploy

白皮书概览

FedAI网址：

https://www.fedai.org.cn/cn/

Github地址：

https://github.com/FederatedAI/FATE

获取白皮书

https://img.fedai.org.cn/fedweb/1552917119598.pdf

（*本文为 AI科技大本营整理文章，转载请微信联系 1092722531）

◆

精彩推荐

◆

2019 中国大数据技术大会（BDTC）历经十一载，再度火热来袭！豪华主席阵容及百位技术专家齐聚，15 场精选专题技术和行业论坛，超强干货+技术剖析+行业实践立体解读，深入解析热门技术在行业中的实践落地。【早鸟票】与【特惠学生票】限时抢购，扫码了解详情！

微众银行AI团队开源联邦学习框架，并发布《联邦学习白皮书1.0》相关推荐

微众银行AI团队领衔推动人工智能国际标准的制定
2月21日,由微众银行主办的IEEE P3652.1(联邦学习基础架构与应用)标准工作组第一次会议在深圳成功召开.微众银行首席人工智能官(CAIO).国际人工智能联合会(IJCAI)理事长杨强教授担任 ...
TDW 2019 | 微众银行AI能力融入系统设计打破医疗信息化困境
2019年10月30日,第四届TDW腾讯设计周在深圳举办.作为一年一度的设计师盛会,TDW2019以"Design for Good设计向善"为主题,汇聚众多国际大咖与行业专家,分 ...
微众银行殷磊：AI+卫星，从上帝视角洞察资产管理｜BDTC 2019
出品 | AI科技大本营(ID:rgznai100) 12月5日-7日,2019中国大数据技术大会(BDTC)于北京隆重举办,大会已成功举办十二届,是大数据领域极具影响力的行业盛会.本届大会汇聚了学术 ...
TDSQL 在微众银行的大规模实践之路
作者 | 胡盼盼.黄德志本文系 CSDN(ID:CSDNnews)投稿众所周知,传统银行IT架构体系非常依赖于传统的商业数据库,商业存储以及大中型服务器设备,每年也需要巨大的IT费用去维护和升级, ...
微众银行马智涛：从0到10,000构建中国最大区块链联盟
OpenNodes是由Tribe Accelerator领导,并得到新加坡信息通信媒体发展管理局(IMDA)及新加坡金融管理局(MAS)等政府机构支持的数字媒体和互动平台,旨在推动区块链生态体系中各个 ...
对话微众银行马智涛：数据可携带权对金融意味着什么
关注ITValue,看企业级最新鲜.最价值报道! 图片来源@视觉中国 2021年8月20日,全国人大第十三届常务委员会第三十次会议表决通过<中华人民共和国个人信息保护法>(以下简称&qu ...
TDSQL在微众银行的大规模实践之路
点击上方"方志朋",选择"设为星标" 做积极的人,而不是积极废人作者投稿转载一.2014 年:基于分布式的基础架构微众银行在 2014 年成立之时,就非常 ...
蚂蚁金服、微众银行、度小满都来了，智能金融将何去何从？（文末福利）
(大会官网 https://t.csdnimg.cn/U1wA) 金融业是一个数据堆砌起来的行业,有客户信息.风险控制数据.交易数据等等,如果这些数据没有被有效的管理和分析,会增加企业的经营风险和降低 ...
微众银行助力粤港澳大湾区首个跨境数据验证平台上线
近日,粤澳跨境数据验证平台在粤澳两地上线试运行.这是在<粤港澳大湾区发展规划纲要>及<横琴粤澳深度合作区建设总体方案>正式发布后,粤澳加快跨境数据便捷有序流动,探索建立开放型. ...

微众银行AI团队开源联邦学习框架，并发布《联邦学习白皮书1.0》

推荐阅读

阿里飞天大数据&飞天AI平台“双生”系统正式发布，9大全新数据产品集中亮相

阿里披露AI完整布局，飞天AI平台首次亮相

解决掉这些痛点和难点，让知识图谱不再是“噱头”

程序员因接外包坐牢 456 天！两万字揭露心酸经历

11月4日，上海开源基础设施峰会，不见不散！

限时早鸟票 | 2019 中国大数据技术大会（BDTC）超豪华盛宴抢先看！

Pandas中第二好用的函数 | 优雅的Apply

阿里开源物联网操作系统 AliOS Things 3.0 发布，集成平头哥 AI 芯片架构！

雷声大雨点小：Bakkt「见光死」了吗？

微众银行AI团队开源联邦学习框架，并发布《联邦学习白皮书1.0》相关推荐

最新文章

热门文章