联邦学习 群雄逐鹿:微众fate与富数fmpc的最新版本实战性能对比
摘要: 最近一直在研究跟联邦学习相关的东西,现在的参考资料也越来越多,热度也十分火热。百度、阿里、腾讯、富数、清华、微众银行、平安科技等多家机构都在不同场景中进行战略布局。这其中主要解决的场景问题,笔者总结如下
· 个人隐私保护 以互联网营销、互联网信贷为例,依赖大量的用户第三方数据补充用户画像、拉新、提升用户活跃度、提高大数据风控能力,然而随着互联网金融数据监管时代的来临,对个人隐私保护,敏感数据获取,存储,使用有了更多的限制。
· 打破数据孤岛 巨头数据厂商都拥有海量的用户行为数据,消费能力,消费偏好等,也就是说巨头们拥有很多X, 对于其他拥有各自业务的企业而言,拥有其业务相关的Y,双方各自都有需。数据合规性方面,企业间的数据不能直接进行传输;但是行业要发展,躺在服务器中的数据不能发挥价值是不允许滴;
笔者有幸体验到了最新版本的微众fate与富数fmpc的联邦学习平台。做了点笔记记录两个平台的性能对比,主要是联邦学习相关性能对比,不涉及多方安全计算及统计
这次评测运行机器的配置信息以及对比了哪些指标?
机器信息
两台独立物理机,40核128G
对比指标
· 性能——两个平台各自运行任务需要多长时间才能得出模型结果?
· 准确性——两个平台处理任务得到结果之间的对比
两个平台任务处理流程如下
数据添加 - 数据预处理 - 特征工程 - 模型训练 - 模型评估 - 模型发布
样本准备
本次测试采用了一些真实的业务样本,以相同参数对两个产品的不同算法进行了对比测试,训练结果如下:
注:所有测试任务使用密钥长度均为1024 ,训练/测试比为7:3
LR算法测
两平台在训练时若数据未做归一化处理都会发生梯度爆炸导致训练结果失真。
其中FATE在训练10W*800样本时(做过归一化后)发现loss值虽在小范围内波动,但最终结果亦没有达到收敛
Ps:可能是由于参数设置原因导致,不知道其他使用FATE产品的同学是否有遇到过类似问题,欢迎留言讨论。
树类算法测试
接下来笔者以同样规格数据样本,对树类算法进行测试得到结果如下:
测试过程中
FATE-secureboost任务时发现模型实际训练时的参数与文件配置中的不一致。文件设置深度为3(图一),实际训练深度为5(图二)。可能算法内部参数被写为固定值。
FMPC输出日志信息较少,无法在训练过程中跟踪观察loss、梯度等指标
总结,通过上面的两家平台性能评测,我们可以对比看出
总体效率:
FMPC较FATE提升3-5倍,其中在大样本集训练上增速明显。
总体准确度:
FMPC与FATE精确度基本一致
算法丰富度:
FATE新增多款联邦推荐算法
产品易用性:
FATE可扩展性强,但学习成本高;FMPC界面操作简单,上手快
其他信息:
FATE目前不支持多个任务同时运行,可以同时建立多个任务,但同一时间只能运行一个算法任务
更多平台对比评测若有信息更新,请关注公众号,等待后续
联邦学习 群雄逐鹿:微众fate与富数fmpc的最新版本实战性能对比相关推荐
- python安装、anaconda安装、pycharm安装(学习笔记,自己重新整理后的内容,最新版本工具安装)
1 搭建编程环境 1.1 安装Python 1.1.1 下载地址 https://www.python.org/downloads/ 根据自己的Windows版本下载对应的安装程序 1.1.2 运行P ...
- 年度回顾 ︳2019年FedAI联邦学习达成了哪些成就?
AI发展到现在,能否获得量大质优的数据已成为其进一步发展的重要制约因素.在大众越来越重视隐私数据的全球趋势下,联邦学习这一能保护数据安全及隐私的技术自然越发受到关注. FedAI联邦学习作为由微众银行 ...
- 刘洋——联邦学习技术在金融领域的研究与应用
⬆⬆⬆ 点击蓝字 关注我们 AI TIME欢迎每一位AI爱好者的加入! 2020 年 9 月 26 日,在由中国科协主办,清华大学计算机科学与技术系.AI TIME 论道承办的<2020 中国科 ...
- 小白也能通俗易懂的联邦学习!
Datawhale干货 作者:知乎King James,伦敦国王大学 知乎 | https://www.zhihu.com/people/xu-xiu-jian-33 前言:联邦学习是近些年研究非常热 ...
- KubeFATE 部署多集群联邦学习平台 FATE
题图摄于北京G6高速 (本文作者系VMware中国研发中心云原生实验室工程师) 相关文章: VMware招聘多名云原生开发工程师(北京) 用KubeFATE在Kubernetes上部署联邦学习集群 用 ...
- 《2021联邦学习全球研究与应用趋势报告》发布,中美为最大领跑者 | 附下载链接...
撰文:XT 编审:寇建超 排版:李雪薇 7 月 31 日,美国亚马逊公司(Amazon)被卢森堡数据保护委员会处以 7.46 亿欧元(约合 57.2 亿元人民币)的罚款,原因是 Amazon 违反了欧 ...
- 一文详解百度、谷歌、京东、腾讯在分布式网络训练下的联邦学习解决方案
fedprox | fedavg | 联邦学习 机器学习 | 差分隐私 | 分布式网络训练 随着机器学习.隐私计算.高性能计算.深度学习训练.差分隐私的快速发展,如今的人工智能仍然面临两大挑战.一是在 ...
- 一篇可能被联邦学习同行封杀的文章
我很喜欢巴菲特的一句话"当别人疯狂时我恐惧,当别人恐惧时我疯狂",用于今天的隐私计算这个行业,非常合适.因为,"百花齐放".五花八门.鱼龙混杂的隐私计算行业初期 ...
- 中国联邦学习「五大流派」
2020-05-09 12:56 导语:花开五朵,各表一枝. 联邦学习作为新一代人工智能基础技术,正在渗透到AI商用瓶颈的根源,通过解决数据隐私与数据孤岛问题,重塑金融.医疗.城市安防等领域. 近两年 ...
最新文章
- ThinkPHP关联模型详解
- PHP 获取当前类名、方法名、URL地址
- Matlab中配置LibSVM 总结
- 课程上线 -“新手入门 : Windows Phone 8.1 开发”
- struct sockaddr_nl 结构体 由来、含义以及使用——获取Linux路由表
- Exchanger及其用法
- 现代软件工程讲义 5 项目经理 Program Manager
- 桔子浏览器电脑版收藏夹位置在哪里 收藏夹位置路径
- c++ 封装的zookeeper库
- 剑指offer(Python版本)
- 5美元的互联网硬件主板
- 进击的 Flink:网易云音乐实时数仓建设实践
- basler相机详细使用说明
- [论文阅读]PIXER: an automated particle-selection method based on segmentation using deep neural network
- 百思不得其姐关注模块的推荐关注中 右侧TableView刷新细节
- WeUI源码学习笔记一
- NAT在NDIS中间层驱动中的实现
- 【HTML】HTML 列表 ( 无序列表 | 有序列表 | 自定义列表 )
- Task 06--For、If以及While
- 爬虫实战入门级教学(数据爬取->数据分析->数据存储)
热门文章
- 王小波文集 工作与人生
- 微博之战,新浪微博已显颓势
- 深入DIY,打造超苗条绿色REAL播放器
- Java提取游戏_GALGAME 剧本提取工具
- 抖音Dou+到底该怎么投放?dou+投放的最佳时间:国仁网络资讯
- 如何查找文献及规范参考文献引用格式(以石家庄铁道大学图书馆为例)
- 计算机工程与科学撤稿,科学网-关于撤稿,科研作者应该更多了解的事(上)-Editage意得辑的博文...
- python3 编程入门 100例 1~3
- 电子组装流水线MES系统实行条码质量追溯
- POI Excel 08 读取重写Excel,单元格中使用\n换行符