终于等到你,FATE v1.6已更新,五大模块迎来巨幅优化!
前言:FATE(Federated AI Technology Enabler)作为全球首个联邦学习工业级开源框架,旨在提供安全的计算框架来支持联邦 AI 生态。FATE 实现了基于同态加密和多方计算(MPC)的安全计算协议,它支持联邦学习架构和多种机器学习算法的联邦学习实现,包括逻辑回归、基于树的算法、深度学习和迁移学习等等。
2021年3月31日,我们推出FATE v1.6版本更新。在1.6版本中,我们巨幅优化了性能效率及稳定性,在使用体验方面,根据社区朋友的建议也有相应的优化,希望这个版本能给各位带来更流畅的使用体验。
此外,新版本对其他FederatedML、System Architecture、FATE-Test、FATE-Board、KubeFate等多个模块都进行了更新及改进,各模块改进点如下:
FederatedML
1、纵向SecureBoost 计算机制优化,支持GOSS、直方图相减、密文压缩等机制,性能提升2-4倍;
2、纵向SecureBoost支持L1、min_child_weight,缓解过拟合问题;
3、纵向SBT增加deterministic选项,解决因为浮点误差带来的直方图计算不稳定性问题;
4、新增特征工程组件SecureBoost Transformer,使用SecureBoost的叶子结点进行样本编码;
5、隐私交集模块支持随机数复用和分组计算均衡机制,性能提升30%;
6、隐私保护交集支持国密SM3杂凑算法;
7、纵向GLM优化计算通信流程,支持低精度加密运算,性能提升可达2倍;
8、纵向神经网络支持低精度加密运算,支持SelectiveBackPropagation、交互层的dropOut,性能提升2倍;
9、纵向特征分箱优化计算逻辑,减少数据拷贝和内存消耗,支持密文压缩,性能提升2倍;
10、纵向Pearson模块支持本地VIF的计算;
11、联邦特征选择新增Pearson相关性和VIF共线性过滤器;
12、横向神经网络支持直接输入图像数据进行训练和预测;
13、横向神经网络torch后端重构和语法优化;
14、新增横向联邦分箱,支持virtual和迭代式2种横向联邦分箱机制;
15、新增样本加权模块,支持列加权和标签加权机制,纵向GLM、纵向SecureBoost支持加权训练;
16、新增组件data_transformer,支持输入数据schema大小写不敏感;
17、LocalBaseline组件支持离线预测;
18、CrossValidation支持输出数据切分明细;
19、Evaluation模块支持多分类评估指标的one-vs-rest展开成二分类指标功能。
System Architecture
1、新增本地文件系统目录路径虚拟存储引擎,以支持图像输入数据;
2、新增消息队列Pulsar跨站点传输引擎,可搭配Spark计算引擎使用,并可加入Exchange角色支持星型站点组网模式。
FATE-Test
1、FATE-Test新增算法效率比较,支持自动化数据的生成;
2、FATE-Test支持flow接口的自动化回归和正确性测试,覆盖rest\cli\sdk三类接口;
3、FATE-Test支持flow流程自动化回归训练、预测、在线推模型的全流程;
4、FATE-Test算法效果对比功能增强,支持验证集指标一致性对比。
FATE-Board
1、SBT Transformer:新增sbt transformer组件,支持利用hetero_sbt模型对样本特征进行重新编码;
2、Sample Weight:新增sample weight组件,可为样本进行加权,当前支持根据标签指定权重或根据特征列自动提取权重;
3、Homo Feature Binning:新增homo feature binning组件,用于横向联邦场景下的分箱,当前支持查看各特征的分箱数及分箱区间;
4、Data Transformer:新增data transformer组件,该组件继承data IO组件的功能,同时支持大小写不敏感等新特性;
5、Reader:支持读入图像文件;
6、Hetero Feature Binning:支持根据woe筛选查看分箱;
7、Pearson:支持计算特征VIF值;
8、Feature Selection:支持使用pearson进行特征选择;
9、SecureBoost:支持同时查看模型的gain和split两类特征重要性,二分类情形下Performance Score支持查看汇总图表;
10、CV组件:支持查看和下载每一折的训练集样本及其训练结果;
11、Evaluation:支持查看one_vs_rest各子模型的二分类指标及汇总可视化图表;
12、可在Board上导出当前任务的dsl和conf文件;
13、可根据合作成员的party_id条件搜索job;
14、优化组件数据/模型下载功能;
15、优化迭代次数过多/cv折数过多情况下Performance Score的图表展示。
KubeFate
1、支持FATE v1.6.0部署,方便配置切换不同的计算引擎、存储引擎、传输引擎;
2、支持最新的Pulsar传输引擎配置,以及Pulsar exchange模式配置;
3、改进Spark作为计算引擎的配置;
4、新增Kubernetes日志聚合,提高错误追踪能力;
5、新增集群部署任务的停止功能。
全球首个联邦学习工业级开源框架
超900家企业机构开发者共建互联
扫码关注FATE开源社区
抢先获取更多联邦学习产品资讯
终于等到你,FATE v1.6已更新,五大模块迎来巨幅优化!相关推荐
- 形容等待时间长的句子_形容等待已久的事终于等到句子
1.每一天看风起云涌,便想徜徉于时空之中,每一刻听万物俱静,便想沉睡于思绪之外,每一次想起人生如梦,便总在想人生到底是怎样的风景,是风,是雾,是雨还是梦,于是在欲望的驱使下,没有了方向,陷入了迷茫,沉 ...
- (已更新)Thinkphp课程表小程序源码v1.0.0全开源版(前后端分离)
源码功能介绍 1.情侣功能 2.情侣间留言 3.情侣间互相设置课程表背景 4.自己日.周课程表背景设置 5.教务系统课程表导入 6.导入别人分享的课表 7.导入别人分享的单课 8.多校支持 9.首页顶 ...
- (已更新)运势运程小程序v1.2.0 功能模块+微信小程序+前端+后端+新增每日星座卡片
运势运程算命小程序 v1.2.0 完整版+微信小程序+前端+后端 运势运程算命小程序开源源码最新更新日志: 新增测算栏目支付成功模版消息提醒,增加留存率.新增每日星座卡片.单向历,请求缓存解决请求慢问 ...
- vivox9android7.1版本,终于等到:vivo X9获安卓7.1更新
终于等到你!日前,vivo X9手机收到了安卓7.1系统升级,本次更新包大小1.08GB.本次除了安卓版本更新之外,也带来了系列新功能和进行了相关修复和优化.那么,本次更新有哪些新功能?做了哪些修复和 ...
- vivox9android7.1版本,终于等到你:vivo X9获安卓7.1更新
原标题:终于等到你:vivo X9获安卓7.1更新 感谢IT之家网友 的线索投递 日前,vivo X9手机收到了安卓7.1系统升级,本次更新包大小1.08GB.本次除了更新安卓版本之外,也带来了系列新 ...
- 华为哪些手机可以更新为鸿蒙系统,华为鸿蒙系统来了!这几款华为手机都可以升级,网友:终于等到你...
原标题:华为鸿蒙系统来了!这几款华为手机都可以升级,网友:终于等到你 什么是鸿蒙系统:鸿蒙系统是华为推出的新一代的智能终端操作系统,为不同设备的智能化.互联与协同提供了统一的语言,带来便捷.流畅.连续 ...
- 终于等到你:CYQ.Data V5系列 (ORM数据层)最新版本开源了
前言: 不要问我框架为什么从收费授权转到免费开源,人生没有那么多为什么,这些年我开源的东西并不少,虽然这个是最核心的,看淡了就也没什么了. 群里的网友:太平说: 记得一年前你开源另一个项目的时候我就说 ...
- cyq.data mysql_终于等到你:CYQ.Data V5系列 (ORM数据层)最新版本开源了
前言: 不要问我框架为什么从收费授权转到免费开源,人生没有那么多为什么,这些年我开源的东西并不少,虽然这个是最核心的,看淡了就也没什么了. 群里的网友:太平说: 记得一年前你开源另一个项目的时候我就说 ...
- cyq.data mysql_终于等到你:CYQ.Data V5系列 (ORM数据层,支持.NET Core)最新版本开源了...
前言: 不要问我框架为什么从收费授权转到免费开源,人生没有那么多为什么,这些年我开源的东西并不少,虽然这个是最核心的,看淡了就也没什么了. 群里的网友:太平说: 记得一年前你开源另一个项目的时候我就说 ...
最新文章
- 免费学习编程的10个好工具
- 新职业风口已至!人社部宣布这10个职业缺口近千万!
- golang中utf8和汉字互转
- Spinal Cage Fusion
- PHP学习之Smarty+CSS+DIV页面居中问题
- uml图中的各种箭头_一次搞懂建模语言UML
- Dapper基础用法
- SSH 框架 没加commons-beanutils-1.7.0.jar包的错误提示
- linux glibc安装mysql_Linux安装MySQL-5.6.24-1.linux_glibc2.5.x86_64.rpm
- LeNet卷积神经网络
- 如何在回调中访问正确的“ this”?
- Android Fragment 切换多个界面 重叠问题 隐藏问题
- Android计算器简单实现
- CAD地形图等图案填充在视口中无法正常显示
- 【VS Code 神奇小插件】Code Runner
- jQuery stop()用法
- android 在线预览pdf文件
- Codeforces Global Round 21) C. Fishingprince Plays With Array
- 中国移动首次明确的LTE终端频率要求
- Mac Os Monterey brew apache启动后一致断续error