《Decentralized Federated Graph Neural Networks》论文阅读笔记

发表在2021年的IJCAI

背景
GNN广泛用来分析图结构数据，然而，在用户端有隐私，规则限制，商业竞争等。因此，我们能看到的图结构数据是分布式的，这也就限制了GNN的应用。
已有方法
已有一些关于中心化联邦图神经网络的研究，中心服务器协调各个参与者从图结构数据中训练的GNN模型。
存在问题
中心服务器需要进行模型聚合操作，在很多跨领域场景下，这种中心服务器是不被接受的。因此，去中心化的学习模型在真实场景下还是很关键的。
本文
提出一种去中心化的联邦图神经网络D-FedGNN，允许多个参与者训练一个图神经网络模型，且不需要中心服务器。具体的，使用去中心化的并行梯度下降是算法DP-SGD，在点对点的网络结构中训练图神经网络模型。为了保护模型聚合过程中的隐私，D-FedGNN引入Diffie-Hellman key exchange方法在客户端进行安全模型聚合。
具体
5.1 初始化
每个客户端有自己的子图，G = (V,E)，在初始阶段，客户端初始化训练模型参数，然后将训练好的模型参数发送给其他客户端，最终，调用Diffie-Hellman密钥交换协议，与j客户建立共享密钥。
5.2 本地模型更新：
每个客户端利用自己的隐私数据训练图神经网络模型，在训练过程中，每个客户端首先生成节点的嵌入向量X，执行前向图卷积层的计算：
其中，D是邻接矩阵，编码图中的边信息，可以进行图变换，如拉普拉斯矩阵。δ是非线性激活函数ReLU。
假设有l个图卷积层，则GCN的输出：

损失函数：

反向传播更新模型：

5.3 安全模型聚合：
客户端首先将本地的模型参数安全掩码：

其中，PRG()是伪随机数生成器，sk是客户端i，j共享的密钥。

去中心化的联邦图神经网络相关推荐

【论文导读】 - 关于联邦图神经网络的3篇文章
文章目录 Federated Graph Neural Networks: Overview, Techniques and Challenges 论文信息摘要主要内容 A federated g ...
去中心化应用：区块链技术概述
内容简介在这本实用指南中,作者解释了为什么去中心化应用(dapp)将比现在最流行的 Web 应用得到更广泛的使用以及实现更多盈利,展示了如何使用现有工具来创建可用的 dapp 及其市场,并研究了目前 ...
面向6G的去中心化的人工智能理论与技术
[摘要]去中心化网络架构和原生AI能力是未来6G网络的两个重要发展趋势,现有的依赖于云端服务器或者终端的中心化的AI模式将难以支持6G网络下多终端.多节点的分布式智能协作需求,这种新型的去中心网络 ...
币图_教你什么是IM 去中心化概念模型与架构设计
今天打算写写关于 IM 去中心化涉及的架构模型变化和设计思路,去中心化的概念就是说用户的访问不是集中在一个数据中心,这里的去中心是针对数据中心而言的. 站在这个角度而言,实际上并非所有的业务都能做去中 ...
币图网以太坊开发实例_去中心化概念模型与架构设计
IM 去中心化概念模型与架构设计今天打算写写关于 IM 去中心化涉及的架构模型变化和设计思路,去中心化的概念就是说用户的访问不是集中在一个数据中心,这里的去中心是针对数据中心而言的. 站在这个角度而 ...
Drynx: 基于区块链的去中心化隐私保护机器学习系统
该文章转载自本人的知乎专栏,有兴趣的小伙伴可以来我的专栏学习更多相关知识,包含了同态加密.安全多方计算.机器学习和联邦学习.近世代数等.下面是我的知乎文章首页,可以点专栏去查看确定方向的文章.所有相关 ...
刘锋吕乃基：互联网中心化与去中心化之争
前言:本文发表在2019年5月<中国社会科学报>上,主要从神经学角度分析互联网的发育过程,并对云计算和区块链为代表的中心化与去中心化技术趋势进行了探讨. 当前,学术界和产业界对互联网的未来 ...
南加州大学钱学海：去中心化分布式训练系统的最新突破
2020 北京智源大会本文属于2020北京智源大会嘉宾演讲的整理报道系列.北京智源大会是北京智源人工智能研究院主办的年度国际性人工智能高端学术交流活动,以国际性.权威性.专业性和前瞻性的" ...
如何革命社交媒体、实现去中心化？丝绸之路创始人在狱中提出了构想
去中心化社交协议要取得成功,必须提供目前社交平台所做到的无缝体验,但又要具有去中心化带来的额外好处. 撰文:Ross Ulbricht,暗网丝绸之路创始人,目前在亚利桑那州图森监狱服刑编译:Perr ...

去中心化的联邦图神经网络

《Decentralized Federated Graph Neural Networks》论文阅读笔记

去中心化的联邦图神经网络相关推荐

最新文章

热门文章