前言:FATE(Federated AI Technology Enabler)作为全球首个联邦学习工业级开源框架,旨在提供安全的计算框架来支持联邦 AI 生态。FATE 实现了基于同态加密和多方计算(MPC)的安全计算协议,它支持联邦学习架构和多种机器学习算法的联邦学习实现,包括逻辑回归、基于树的算法、深度学习和迁移学习等等。

2021年3月31日,我们推出FATE v1.6版本更新。在1.6版本中,我们巨幅优化了性能效率及稳定性,在使用体验方面,根据社区朋友的建议也有相应的优化,希望这个版本能给各位带来更流畅的使用体验。

此外,新版本对其他FederatedML、System Architecture、FATE-Test、FATE-Board、KubeFate等多个模块都进行了更新及改进,各模块改进点如下:

FederatedML

1、纵向SecureBoost 计算机制优化,支持GOSS、直方图相减、密文压缩等机制,性能提升2-4倍;

2、纵向SecureBoost支持L1、min_child_weight,缓解过拟合问题;

3、纵向SBT增加deterministic选项,解决因为浮点误差带来的直方图计算不稳定性问题;

4、新增特征工程组件SecureBoost Transformer,使用SecureBoost的叶子结点进行样本编码;

5、隐私交集模块支持随机数复用和分组计算均衡机制,性能提升30%;

6、隐私保护交集支持国密SM3杂凑算法;

7、纵向GLM优化计算通信流程,支持低精度加密运算,性能提升可达2倍;

8、纵向神经网络支持低精度加密运算,支持SelectiveBackPropagation、交互层的dropOut,性能提升2倍;

9、纵向特征分箱优化计算逻辑,减少数据拷贝和内存消耗,支持密文压缩,性能提升2倍;

10、纵向Pearson模块支持本地VIF的计算;

11、联邦特征选择新增Pearson相关性和VIF共线性过滤器;

12、横向神经网络支持直接输入图像数据进行训练和预测;

13、横向神经网络torch后端重构和语法优化;

14、新增横向联邦分箱,支持virtual和迭代式2种横向联邦分箱机制;

15、新增样本加权模块,支持列加权和标签加权机制,纵向GLM、纵向SecureBoost支持加权训练;

16、新增组件data_transformer,支持输入数据schema大小写不敏感;

17、LocalBaseline组件支持离线预测;

18、CrossValidation支持输出数据切分明细;

19、Evaluation模块支持多分类评估指标的one-vs-rest展开成二分类指标功能。

System Architecture

1、新增本地文件系统目录路径虚拟存储引擎,以支持图像输入数据;

2、新增消息队列Pulsar跨站点传输引擎,可搭配Spark计算引擎使用,并可加入Exchange角色支持星型站点组网模式。

FATE-Test

1、FATE-Test新增算法效率比较,支持自动化数据的生成;

2、FATE-Test支持flow接口的自动化回归和正确性测试,覆盖rest\cli\sdk三类接口;

3、FATE-Test支持flow流程自动化回归训练、预测、在线推模型的全流程;

4、FATE-Test算法效果对比功能增强,支持验证集指标一致性对比。

FATE-Board

1、SBT Transformer:新增sbt transformer组件,支持利用hetero_sbt模型对样本特征进行重新编码;

2、Sample Weight:新增sample weight组件,可为样本进行加权,当前支持根据标签指定权重或根据特征列自动提取权重;

3、Homo Feature Binning:新增homo feature binning组件,用于横向联邦场景下的分箱,当前支持查看各特征的分箱数及分箱区间;

4、Data Transformer:新增data transformer组件,该组件继承data IO组件的功能,同时支持大小写不敏感等新特性;

5、Reader:支持读入图像文件;

6、Hetero Feature Binning:支持根据woe筛选查看分箱;

7、Pearson:支持计算特征VIF值;

8、Feature Selection:支持使用pearson进行特征选择;

9、SecureBoost:支持同时查看模型的gain和split两类特征重要性,二分类情形下Performance Score支持查看汇总图表;

10、CV组件:支持查看和下载每一折的训练集样本及其训练结果;

11、Evaluation:支持查看one_vs_rest各子模型的二分类指标及汇总可视化图表;

12、可在Board上导出当前任务的dsl和conf文件;

13、可根据合作成员的party_id条件搜索job;

14、优化组件数据/模型下载功能;

15、优化迭代次数过多/cv折数过多情况下Performance Score的图表展示。

KubeFate

1、支持FATE v1.6.0部署,方便配置切换不同的计算引擎、存储引擎、传输引擎;

2、支持最新的Pulsar传输引擎配置,以及Pulsar exchange模式配置;

3、改进Spark作为计算引擎的配置;

4、新增Kubernetes日志聚合,提高错误追踪能力;

5、新增集群部署任务的停止功能。


全球首个联邦学习工业级开源框架

超900家企业机构开发者共建互联

扫码关注FATE开源社区

抢先获取更多联邦学习产品资讯

终于等到你,FATE v1.6已更新,五大模块迎来巨幅优化!相关推荐

  1. 形容等待时间长的句子_形容等待已久的事终于等到句子

    1.每一天看风起云涌,便想徜徉于时空之中,每一刻听万物俱静,便想沉睡于思绪之外,每一次想起人生如梦,便总在想人生到底是怎样的风景,是风,是雾,是雨还是梦,于是在欲望的驱使下,没有了方向,陷入了迷茫,沉 ...

  2. (已更新)Thinkphp课程表小程序源码v1.0.0全开源版(前后端分离)

    源码功能介绍 1.情侣功能 2.情侣间留言 3.情侣间互相设置课程表背景 4.自己日.周课程表背景设置 5.教务系统课程表导入 6.导入别人分享的课表 7.导入别人分享的单课 8.多校支持 9.首页顶 ...

  3. (已更新)运势运程小程序v1.2.0 功能模块+微信小程序+前端+后端+新增每日星座卡片

    运势运程算命小程序 v1.2.0 完整版+微信小程序+前端+后端 运势运程算命小程序开源源码最新更新日志: 新增测算栏目支付成功模版消息提醒,增加留存率.新增每日星座卡片.单向历,请求缓存解决请求慢问 ...

  4. vivox9android7.1版本,终于等到:vivo X9获安卓7.1更新

    终于等到你!日前,vivo X9手机收到了安卓7.1系统升级,本次更新包大小1.08GB.本次除了安卓版本更新之外,也带来了系列新功能和进行了相关修复和优化.那么,本次更新有哪些新功能?做了哪些修复和 ...

  5. vivox9android7.1版本,终于等到你:vivo X9获安卓7.1更新

    原标题:终于等到你:vivo X9获安卓7.1更新 感谢IT之家网友 的线索投递 日前,vivo X9手机收到了安卓7.1系统升级,本次更新包大小1.08GB.本次除了更新安卓版本之外,也带来了系列新 ...

  6. 华为哪些手机可以更新为鸿蒙系统,华为鸿蒙系统来了!这几款华为手机都可以升级,网友:终于等到你...

    原标题:华为鸿蒙系统来了!这几款华为手机都可以升级,网友:终于等到你 什么是鸿蒙系统:鸿蒙系统是华为推出的新一代的智能终端操作系统,为不同设备的智能化.互联与协同提供了统一的语言,带来便捷.流畅.连续 ...

  7. 终于等到你:CYQ.Data V5系列 (ORM数据层)最新版本开源了

    前言: 不要问我框架为什么从收费授权转到免费开源,人生没有那么多为什么,这些年我开源的东西并不少,虽然这个是最核心的,看淡了就也没什么了. 群里的网友:太平说: 记得一年前你开源另一个项目的时候我就说 ...

  8. cyq.data mysql_终于等到你:CYQ.Data V5系列 (ORM数据层)最新版本开源了

    前言: 不要问我框架为什么从收费授权转到免费开源,人生没有那么多为什么,这些年我开源的东西并不少,虽然这个是最核心的,看淡了就也没什么了. 群里的网友:太平说: 记得一年前你开源另一个项目的时候我就说 ...

  9. cyq.data mysql_终于等到你:CYQ.Data V5系列 (ORM数据层,支持.NET Core)最新版本开源了...

    前言: 不要问我框架为什么从收费授权转到免费开源,人生没有那么多为什么,这些年我开源的东西并不少,虽然这个是最核心的,看淡了就也没什么了. 群里的网友:太平说: 记得一年前你开源另一个项目的时候我就说 ...

最新文章

  1. 免费学习编程的10个好工具
  2. 新职业风口已至!人社部宣布这10个职业缺口近千万!
  3. golang中utf8和汉字互转
  4. Spinal Cage Fusion
  5. PHP学习之Smarty+CSS+DIV页面居中问题
  6. uml图中的各种箭头_一次搞懂建模语言UML
  7. Dapper基础用法
  8. SSH 框架 没加commons-beanutils-1.7.0.jar包的错误提示
  9. linux glibc安装mysql_Linux安装MySQL-5.6.24-1.linux_glibc2.5.x86_64.rpm
  10. LeNet卷积神经网络
  11. 如何在回调中访问正确的“ this”?
  12. Android Fragment 切换多个界面 重叠问题 隐藏问题
  13. Android计算器简单实现
  14. CAD地形图等图案填充在视口中无法正常显示
  15. 【VS Code 神奇小插件】Code Runner
  16. jQuery stop()用法
  17. android 在线预览pdf文件
  18. Codeforces Global Round 21) C. Fishingprince Plays With Array
  19. 中国移动首次明确的LTE终端频率要求
  20. Mac Os Monterey brew apache启动后一致断续error

热门文章

  1. canvas文字居中;canvas画布文字右对齐;canvas画布文字左对齐;canvas文字自动换行;canvas设置行间距;
  2. 在Centos快速搭建dhcp服务器,详细讲解
  3. CBCT重建系列1:RTK从安装配置到Demo实现
  4. 三大运营商最新的手机号段分配情况
  5. 袁斌:极空间家庭私有云,您的数字资产大管家
  6. 第一个计算出地球周长的人——埃拉托色尼
  7. MATLAB高光谱图像处理基础
  8. 98 服务器系统,Windows 98
  9. 吴恩达机器学习课程笔记一
  10. windows update服务不能正常开启