伴随着智能化时代的迈进,AI无处不在,万事皆可智能化,很多企业走到了时代的风口,也不断有着更多的企业想跻身队伍,跨上AI大时代的战车。大家都深知人工智能的三大基石是:算法、算力与数据。传统企业有着丰富的数据基础,却缺乏技术能力;新型企业的技术能力紧跟时代步伐却苦于数据贫瘠。算力可以花钱买到,算法可以通过培养招聘技术人才来补齐,但是数据匮乏却使人在人工智能赛道上举步维艰。

在国内外监管环境日渐完善的今天,大家都在加强数据保护意识,很多有巨大价值的数据即使在公司内部都无法流通,从而形成数据孤岛。我国在今年9月推行的《中华人民共和国数据安全法》、将在11月1日起施行《中华人民共和国个人信息保护法》,都进一步要求数据在安全合规的前提下进行流动,这也让联邦学习再次掀起一波浪潮。

百度点石提供数据安全融合与应用服务、大数据核心技术能力,基于联邦学习、多方安全计算、可信执行环境等主流隐私计算技术,安全高效实现数据赋能,助力客户提升数据价值。
其中,基于百度飞桨开发的开源联邦学习框架PaddleFL,让企业之间的合作能够在数据层面安全开展。开发人员很容易在大规模分布式集群中部署PaddleFL联邦学习系统。PaddleFL提供多种联邦学习策略(横向联邦学习、纵向联邦学习)及其在计算机视觉、自然语言处理、推荐算法等领域的应用。

最近,PaddleFL新版本PaddleFL v1.1.2版本正式发布,在前期三方安全计算协议之上,新增了面向两方场景的安全计算协议以及安全联邦学习实现。新增特性描述如下:

1. 两方安全计算协议PrivC实现

PrivC协议实现总体参考了ABY协议,支持两方peer-to-peer计算模型以及外包计算模型,提供了半诚实模型下的计算安全性。在ABY协议混合电路计算的思想上,PrivC进行了一系列实现优化,如以tensor为单位聚合通信提升吞吐量,使用FreeXOR、HalfGate等方法降低加密电路运算开销,使用全同态加密计算乘法三元组等,并对非线性机器学习算子进行了近似实现,有效地提升了两方安全学习的性能。

2. 基于PrivC的两方安全联邦学习

PaddleFL在PrivC协议的基础上,为只有两个参与方情况下的联邦学习场景提供了针对性的解决方案。PaddleFL目前提供了纯两方的矩阵乘法、fc、relu、sigmoid、softmax等机器学习常用算子及其梯度计算实现,支持两方场景下的线性回归、对率回归、多层感知机等模型的训练与预测,具有优良的性能。


图 1 PaddleFL with PrivC运行示意图

PaddleFL在两方条件下的训练性能如下:

2.1 场景一 线性回归:

数据集与训练参数:
UCI波士顿房价,epoch = 20,batch_size = 10,lr = 0.1;
数据量:506行,80%用于训练,20%用于测试

2.2 场景二 逻辑回归:

数据集与训练参数:
MNIST数据集(label修改为二分类,“1”为1,其余为0),epoch = 1,batch_size = 128,lr = 0.01;
数据量:50 000条训练样本,10 000条测试样本

3. 在线数据切片与分发

在1.1.2版本中,新增了对数据在线切片(secret-share)与分发的支持。在以前版本中,各实体间只能通过离线方式对数据进行切片,然后单独传输到计算方上。而在PaddleFLv1.1.2中,各实体间可以通过在线方式对明文数据进行切片与分发,免去了中间数据存储的步骤。

4. 增加对gRPC通信模式的支持

在1.1.2版本中,新增了对gRPC协议的支持,用户可以根据需要指定采用Gloo通信模式或是gRPC通信模式。利用gRPC通信协议,可以有效应对网络不稳定造成的闪断等情况,并对未来实现网络隔离条件下的端口收敛与单向通信提供了条件。

百度点石联邦学习平台兼容PaddleFL,为跨机构数据流通提供“可用不可见,相逢不相识”的极致安全体验。以此解决金融、政府、医疗、互联网等客户在联合风控、联合营销、联合分析等场景的数据安全和隐私保护需求,实现数据价值极大释放。

点击进入获得更多技术信息~~

数据可用不可见,百度新版本联邦学习PaddleFL来了相关推荐

  1. 百度开源联邦学习框架 PaddleFL:简化大规模分布式集群部署

    百度开源联邦学习框架 PaddleFL:简化大规模分布式集群部署 作者 | 钰莹近两年,联邦学习技术发展迅速.作为分布式的机器学习范式,联邦学习能够有效解决数据孤岛问题,让参与方在不共享数据的基础上联 ...

  2. 双项通过|百度点石通过信通院「可信数据流通平台」、「联邦学习」双项测评

    随着时代的发展,信息技术逐渐与生产生活交汇融合,数据安全已成为事关国家安全与经济社会发展的重大问题.2021年12月20日, 由中国信息通信研究院(以下简称"信通院").中国通信标 ...

  3. 一文详解百度、谷歌、京东、腾讯在分布式网络训练下的联邦学习解决方案

    fedprox | fedavg | 联邦学习 机器学习 | 差分隐私 | 分布式网络训练 随着机器学习.隐私计算.高性能计算.深度学习训练.差分隐私的快速发展,如今的人工智能仍然面临两大挑战.一是在 ...

  4. 联邦学习:保护隐私安全以及克服数据孤岛的机器学习

    题图摄于北京北三环 (本文作者系 VMware 中国研发云原生实验室架构师,联邦学习 KubeFATE / FATE 开源项目维护者和贡献者.) 相关信息:招聘云原生工程师 需要加入KubeFATE开 ...

  5. 联邦学习【分布式机器学习技术】【①各客户端从服务器下载全局模型;②各客户端训练本地数据得到本地模型;③各客户端上传本地模型到中心服务器;④中心服务器接收各方数据后进行加权聚合操作,得全局模型】

    随着计算机算力的提升,机器学习作为海量数据的分析处理技术,已经广泛服务于人类社会. 然而,机器学习技术的发展过程中面临两大挑战: 一是数据安全难以得到保障,隐私数据泄露问题亟待解决: 二是网络安全隔离 ...

  6. AI 大数据在数据隐私保护下如何普惠共享?CCF TF「联邦学习」研讨会给出了答案

    雷锋网 AI 科技评论按:3 月 24 日,由 CCF 主办.微众银行和深圳大学微众金融科技研究院协办的第 14 期中国计算机学会技术前线研讨会于深圳大学科技楼二号报告厅圆满召开,研讨会的主题为「联邦 ...

  7. 面向时空异构数据的联邦学习

    作者分享链接:[ICLR 2023]面向时空异构数据的联邦学习_哔哩哔哩_bilibili 论文原文链接:https://arxiv.org/abs/2205.10920 报告简介:联邦学习作为面向隐 ...

  8. ​《2021联邦学习全球研究与应用趋势报告》发布,中美为最大领跑者 | 附下载链接...

    撰文:XT 编审:寇建超 排版:李雪薇 7 月 31 日,美国亚马逊公司(Amazon)被卢森堡数据保护委员会处以 7.46 亿欧元(约合 57.2 亿元人民币)的罚款,原因是 Amazon 违反了欧 ...

  9. 区块链与联邦学习综述

    区块链与联邦学习综述 本期分享的论文是由Dinh C. Nguyen等人在2021年发表在IEEE Internet of Things Journal的文章<Federated Learnin ...

最新文章

  1. linux打开 root .m2,小辣椒M2 (LA-M2)获取ROOT权限教程,新手root必看
  2. 索赔 100 万!只是因为一个开源插件?
  3. 测试时用存储过程来修改测试数据
  4. sicily 1034. Forest
  5. 云计算是怎样入侵统一通信领域的
  6. Java这些多线程基础知识你会吗?
  7. leetcode94 二叉树的中序遍历
  8. 网站主机 技术+类型
  9. Thinkpad 笔记本VMware Workstation 安装虚拟机出现“此主机支持 Intel VT-x,但 Intel VT-x 处于禁用状态”解决方法
  10. mysql报错:You must at least set –server-id to enable either a master or a slave
  11. 收集的一些:MAC苹果电脑安装vmware的序列号
  12. 【实践】地理探测器GeoDetector软件使用
  13. 计算机win10+上锁,手把手教你在windows 10右键菜单中添加Bitlocker上锁/解锁教程-网络教程与技术 -亦是美网络...
  14. Hive 连接 secured ES 踩坑日记
  15. 蓝桥杯试题 算法训练 Have You Ever Heard About the Word?
  16. AI时代-人工智能入学指南
  17. 华为汽车BU业务布局及分析框架
  18. Android 展讯-关闭IP拨号功能
  19. Android Custom
  20. 国内chatGPT镜像

热门文章

  1. Altiris 7.1 远程
  2. Go的内置函数/内建函数:len new make
  3. pip install mysqlclient报错: error: command ‘gcc‘ failed with exit status 1 OSError: mysql_config no
  4. 【收藏】Win10自带的邮件客户端配置腾讯企业邮箱账号详解
  5. hadoop yarn配置任务优先级
  6. golang包math/rand使用示例
  7. 【PDF收藏】docker k8s文档整理
  8. arthas使用示例:stack输出当前方法被调用的路径
  9. Scala函数简化写法
  10. RabbitMQ消费消息幂等性问题