FATE联邦学习初探（二）

此为我的联邦学习记录贴，如果有问题还希望大家能够及时指正，所有内容都是按照FATE给的案例进行学习的。

安装完环境之后，首先学习的是使用Pipeline进行上传数据。参考FATE/pipeline_tutorial_upload.ipynb at master · FederatedAI/FATE (github.com)

第一步为了使用Pipeline 我们需要安装fate_client,安装过程如下：

pip install fate_client

接下来验证是否安装成功

pipeline --help

出现以上界面则说明安装成功。

单机部署版本中，FATE Flow Service 默认在127.0.0.1:9380中，我们需要执行他

pipeline init --ip 127.0.0.1 --port 9380

在执行过程中我遇到了一个问题，执行时给我报了权限错误

这是因为我使用的不是root用户，没有访问权限，如果切换到root用户则可以成功执行，另一个比较笨的办法是使用 sudo chmod 777 文件名将指定的文件的权限。还有就是在一开始进行安装的时候，官方也进行了说明，可以使用root用户给要使用的用户赋予sudo权限。

执行成功回显示以下信息

接下来执行数据上传

我是新建了一个python程序，内容如下所示，这里和文档不同是我的如果不使用 import os 会报错，还有就是要注意，

data_base = "./"    这个要根据你自己文件的所在位置进行更改

from pipeline.backend.pipeline import PipeLine
import ospipeline_upload = PipeLine().set_initiator(role='guest', party_id=9999).set_roles(guest=9999)partition = 4dense_data_guest = {"name": "breast_hetero_guest", "namespace": f"experiment"}
dense_data_host = {"name": "breast_hetero_host", "namespace": f"experiment"}
tag_data = {"name": "breast_hetero_host", "namespace": f"experiment"}data_base = "./"
pipeline_upload.add_upload_data(file=os.path.join(data_base, "examples/data/breast_hetero_guest.csv"),table_name=dense_data_guest["name"],             # table namenamespace=dense_data_guest["namespace"],         # namespacehead=1, partition=partition)               # data infopipeline_upload.add_upload_data(file=os.path.join(data_base, "examples/data/breast_hetero_host.csv"),table_name=dense_data_host["name"],namespace=dense_data_host["namespace"],head=1, partition=partition)pipeline_upload.add_upload_data(file=os.path.join(data_base, "examples/data/breast_hetero_host.csv"),table_name=tag_data["name"],namespace=tag_data["namespace"],head=1, partition=partition)pipeline_upload.upload(drop=1)

关于代码内容也很好理解，首先是引用了Pipeline库和os库，并调用了上传函数。

执行成功后，结果显示如下：

大家如果有什么不同的意见可以随时留言一起讨论。有问题也欢迎指正！

FATE联邦学习初探（二）相关推荐

FATE联邦学习初探（一）
联邦学习自学记录首先需要配置所需的环境,地址参考FATE/README.zh.md at master · FederatedAI/FATE · GitHub第一步需要下载所需的FATE版本 1.8. ...
使用Kubernetes部署一个带有exchenge结点的FATE联邦学习网络
系列文章目录 FATE联邦学习框架之KubeFATE部署(基于K8S)最详细过程_顿顿有鱼有虾的博客-CSDN博客_kubefate K8s初探入门详细教程(一)_顿顿有鱼有虾的博客-CSDN博客_k ...
Ubuntu Kylin使用docker单机部署Fate联邦学习框架
Ubuntu Kylin使用docker单机部署Fate联邦学习框架 Fate联邦学习框架分为单机部署和集群部署,本文是在Ubuntu Kylin上使用docker单机部署Fate联邦学习框架,具体环 ...
极客星球 | FATE联邦学习框架理论与应用初探
一.背景随着大数据.云计算等技术的发展,数据隐私安全问题受到越来越多的重视,各国都在加强数据安全和隐私保护.中国在2017年实施的<中华人民共和国网络安全法>要求网络运营者不得泄露.篡改 ...
【FATE联邦学习】使用flow命令查看FATE服务情况
目的我想找一个命令,能够看到FATE服务整个的overview,包括已经部署的模型列表等.于是开始寻找. flow命令的所有选项 flow: checkpoint Checkpoint Operat ...
FATE联邦学习框架之KubeFATE部署（基于K8S）最详细过程
概述:FATE(Federated AI Technology Enabler)是一个联邦学习框架,能有效帮助多个机构在满足用户隐私保护.数据安全和政府法规的要求下,进行数据使用和建模.但由于其系统的 ...
FATE联邦学习框架部署实践
一.开始首先,在github找到官方的项目文档,然后同时对照官方文档和本文进行部署.在实际操作过程中会遇到很多由于运行环境不同导致的问题.本文档包含了部分在各个环节遇到过的问题作为参考.(官方git ...
【FATE联邦学习】FATE联邦学习使用GPU、指定cuda下标
问题 FATE框架1.x支持GPU训练吗? 寻找先看了官网,搜官网,发现还是有的. 打开第一个后,里面可以用training param指定各个client的训练GPU,但是好像都是在large l ...
【FATE联邦学习】standalone版Fateboard修改配置
背景&做法很多其他程序(比如vscode的code server)也会使用这个 127 0 0 1:8080 socket进行通信,这样就没办法远程用vscode去开发了,所以需要修改下Fa ...

FATE联邦学习初探（二）

FATE联邦学习初探（二）相关推荐

最新文章

热门文章