基于联邦学习的多源异构数据融合算法 Multi-Source Heterogeneous Data Fusion Based on Federated Learning

5.基于联邦学习的多源异构数据融合算法
Multi-Source Heterogeneous Data Fusion Based on Federated Learning

摘要：随着科技的迅猛发展，具有计算和存储能力的边缘设备数量不断增加，产生的数据流量更是呈指数式增长，这使得以云计算为核心的集中式处理模式难以高效处理边缘设备产生的数据.另外，由于边缘网络设备的多样性以及数据表示手段的不断丰富，多模态数据广泛存在.为充分利用边缘设备上的异构数据，解决边缘计算中由于数据隐私引起的“数据通信壁垒”问题，提出了一种联邦学习中基于Tucker分解的多源异构数据融合算法.该算法针对异构数据在无交互条件下的融合问题，引入张量Tucker分解理论，通过构建一个具有异构空间维度特性的高阶张量以捕捉异构数据的高维特征，从而实现联邦学习中多源异构数据的融合.最后，在MOSI数据集上验证了算法的有效性.

关键词: 边缘计算, 联邦学习, 深度学习, 张量理论, 异构数据融合

Abstract：With the rapid development of technology, the number of network edge devices with the capability of computation and memory is increasing, and the volume of the generated data is growing exponentially, which makes it difficult for a centralized processing model with cloud computing as the core to efficiently process data generated by edge devices. Not only will the network delay increase, but the data is likely to be leaked on the upload link, and data security cannot be guaranteed. In addition, due to the diversity of edge devices and the continuous enrichment of data representation methods, multi-modal data exists widely. The processing of multi-source heterogeneous data collected by different edge devices has become an urgent problem in big data research. In order to make full use of heterogeneous data on edge devices and solve the problem of “data communication barriers” caused by data privacy in edge computing, in this paper we propose a novel fusion algorithm for multi-source heterogeneous data based on Tucker decomposition in federated learning. For the fusion problem of heterogeneous data without interaction in federated learning, the proposed algorithm introduces Tucker decomposition theory to capture the multi-dimensional characteristics of heterogeneous data by constructing a high-order tensor. Finally, the effectiveness of this algorithm is verified on the MOSI dataset.

Key words: edge computing, federated learning, deep learning, tensor theory, heterogeneous data fusion

Heterogeneous：adj.异构的
Fusion：n.融合
exponentially：adv.成倍地
centralize：v.集中
enrichment：n.丰富
urgent：adj.紧迫的
barrier：n.壁垒
decomposition：n.分解
multi-dimensional：n.多维
high-order：n.高阶
tensor：n.张量

基于联邦学习的多源异构数据融合算法 Multi-Source Heterogeneous Data Fusion Based on Federated Learning相关推荐

基于联邦学习的多源异构数据融合算法
摘要随着科技的迅猛发展,具有计算和存储能力的边缘设备数量不断增加,产生的数据流量更是呈指数式增长,这使得以云计算为核心的集中式处理模式难以高效处理边缘设备产生的数据.另外,由于边缘网络设备的多样性 ...
什么是陀螺仪的dr算法_一种基于DR/GPS/MM的组合定位系统数据融合算法
摘要: 针对盲区中使用INS惯性导航系统进行定位存在误差积累的问题,提出一种基于DR航位推算.GPS全球定位系统和MM地图匹配的组合定位系统数据融合算法.该算法利用GPS和MM中得到的位置信息,一方 ...
多源异构数据融合平台
一. 随着我国各行各业的发展,信息技术创新日新月异,数字化.网络化.智能化深入发展,大量的应用系统间需要数据交互.部门间.系统间形成复杂的网状结构,对于数据的生产.运用.维护和管理提出新挑战. ...
基于深度学习和多源大数据的浮动共享单车流量预测(附共享单车轨迹数据集下载方式)...
这篇文章相对比较简单,比较容易复现模型,有相关数据集的可以尝试做一下~ 1.文章信息 <Short-term FFBS demand prediction with multi-source d ...
SSM多源异构数据关联技术构建智能校园计算机毕设源码64366
摘要随着科学技术的飞速发展,社会的方方面面.各行各业都在努力与现代的先进技术接轨,通过科技手段来提高自身的优势,高校当然也不能排除在外.多源异构数据关联技术构建的智能校园是以实际运用为开发背景, ...
多源异构数据_构建数字孪生城市的CIM数据平台哪家强？
文/王颖初数字城市系统建设中数据领域存在的问题随着经济的发展和信息化水平的飞速提升,数字城市的系统建设也日益普及.数字城市涉及规划.建设.城市管理.国土.交通.水利.安防.人防.环境保护.文物保护 ...
卷积神经网络训练准确率突然下降_基于联邦学习和卷积神经网络的入侵检测方法...
王蓉1,马春光2,武朋2 1. 哈尔滨工程大学计算机科学与技术学院,哈尔滨 150001:2. 山东科技大学计算机科学与工程学院,青岛 266590 doi :10.3969/j.issn.1671- ...
大数据场景下多源异构数据的实时处理分析
随着大数据应用的发展,人们对实时数据的要求越来越高,大数据也逐渐从最初的离线数据仓库架构发展到Labmda架构,实现了离线实时更新的目标.到后来的Kappa体系结构中,Labmda体系结构的实时部分被 ...
多源异构数据整合在多规合一中的应用
一.什么是多源异构数据解释一: bonlog在博文<什么是多源异构数据>(https://blog.csdn.net/bonlog/article/details/84308418)中提 ...

基于联邦学习的多源异构数据融合算法 Multi-Source Heterogeneous Data Fusion Based on Federated Learning

基于联邦学习的多源异构数据融合算法 Multi-Source Heterogeneous Data Fusion Based on Federated Learning相关推荐

最新文章

热门文章