论文笔记(一):Temporal Network Embedding with High-Order Nonlinear Information
论文笔记(一):Temporal Network Embedding with High-Order Nonlinear Information
论文标题:Temporal Network Embedding with High-Order Nonlinear Information
会议:AAAI
时间:2020
paper链接:https://ojs.aaai.org//index.php/AAAI/article/view/5993
一、总述:
文章主要研究时间网络嵌入,这是研究时间网络中节点的低维表示形式,从而捕获和保存网络结构和演化模式的一种方法。现有方法存在两个问题,不能保持节点的时间邻近性,从而捕捉网络结构的重要属性,不能表示时间网络的非线性结构。本文提出了一种High order nonlinear information preserving(HNIP)嵌入方法来解决这些问题。
传统静态网络嵌入方法忽略时间交互作用,不能保留时间网络结构。而现有的时间网络嵌入方法难以保持高度非线性的结构。
文章首先提出三个相似度,然后提出一个新的深度引导自动编码器来捕捉高度非线性结构。这个编码器由temporal RandomWalk生成训练集,通过使用特定的小批量随机梯度下降算法训练所提出的深度引导自编码器,可以有效地保持时间网络的时间近似性和高度非线性结构。
二、 基础概念与研究问题:
主要挑战:一,Temporal proximity definition,通过时间交互信息来定义节点的时间相似度。二,Temporal proximity preserving,计算成本高。三,Nonlinear structure preserving
三、模型
一、 节点时间临近性
本节中定义了一阶、二阶和高阶时间邻近性,以量化节点之间的时间邻近性。基于两个观测,1)相互作用的影响随着时间的推移而减小,如果两个节点之间的相互作用发生在更当前的时间,那么它们之间的联系就会变得更强2)随着交互频率的增加,两个节点之间的联系增加。一阶邻近度:
指数衰减模拟互动随着时间减弱。
由于现实网络通常是稀疏的,许多节点彼此相似,但没有链接。因此定义二阶:
一对节点之间的二阶时间接近描述了这对邻居结构的接近。第二阶时间邻近性的定义基于一个假设,即两个节点有许多共同的邻居,即它们是相似的。定义的一阶和二阶时间邻近性可以很好地保持局部时间网络的特性。为了捕获网络的全局结构属性,我们定义了高阶时间邻近性。
二、 High-Order Nonlinear Information Preserving Embedding
TRW:
由于时间网络中的两个节点之间可能存在多条链路,传统的随机游走算法并不适用。为了解决多链路问题和保持高阶时间邻近性,我们提出TRW。
引理证明见paper
Deep Guided Auto-Encoder:
TRW生成的路径有两个特点:一是对于大多数情况,两个相邻节点间一定有link,vx接着vy的几率为Pxy,二是路径中的第一个节点一定有到别的节点的路径。输入pi并降低error可以保持二阶,监督component保持一阶和高阶。
损失函数:(notation见paper)
分别建立了三个损失函数,然后将它们组合得到目标函数。二阶:
为了解决现实网络的稀疏性问题,我们对非零元素的重构误差施加比零元素的重构误差更大的惩罚。
需要最小化之间的两两距离每个网络行走路径的所有邻接节点嵌入空间保留一阶时间接近:
需要将路径中第一个节点与嵌入空间中的其他节点之间的成对距离最小化,以保持高阶时间邻近性:
组合:
最优化:
利用小批量随机梯度下降法对这些参数进行优化,使用反向传播算法估计目标函数中参数的偏导数。找到一个好的参数空间区域,加快训练过程,我们采用deep belief network进行预处理。算法复杂度为O(nwtLdI)。
四、实验
使用各种网络嵌入方法和HNIP处理四种temporal network。
链接预测和节点分类中,HNIP展现了良好的性能,这是因为结合了时间邻近度和高度非线性结构的能力。网络重构上,静态方法比动态方法好,但HNIP仍展现了不错的性能,它可以保持时间网络结构。
五、总结
文章提出了时间网络的嵌入方法HNIP。作者首先定义了三种不同的order的时间邻近性,通过网络历史信息与时间指数衰减模型来量化节点之间的时间邻近性。然后,提出了一种能够捕捉高度非线性结构的深度引导自编码器。同时,利用TRW算法生成深度引导自编码器的训练集。通过使用特定的小批量随机梯度下降算法训练所提出的自动编码器,可以有效地保持时间网络的时间近似性和高度非线性结构。并在四个真实网络上的实验结果表明了该方法的有效性。
论文笔记(一):Temporal Network Embedding with High-Order Nonlinear Information相关推荐
- 行为识别论文笔记|TSN|Temporal Segment Networks: Towards Good Practices for Deep Action Recognition
行为识别论文笔记|TSN|Temporal Segment Networks: Towards Good Practices for Deep Action Recognition Temporal ...
- 【论文笔记】Unsupervised Deep Embedding for Clustering Analysis(DEC)
[论文笔记]Unsupervised Deep Embedding for Clustering Analysis(DEC) 文章题目:Unsupervised Deep Embedding for ...
- 【论文解读】Attributed Network Embedding for Learning in a Dynamic Environment
Attributed Network Embedding for Learning in a Dynamic Environment 在2017年发表于CIKM 提出了DANE,一种将网络拓扑与节点特 ...
- 论文学习6-(M2DNE)Temporal Network Embedding with Micro- and Macro-dynamics
文章目录 1 intorduction 2. 相关工作 3. 准备工作 4.model 4.2 Micro-dynamics Preserved Embedding 4.2.1 分层时间关注 4.3 ...
- 论文笔记:Triplet Network
原论文:DEEP METRIC LEARNING USING TRIPLET NETWORK Triplet Network 1.四个问题 要解决什么问题? 实质上,Triplet Network是S ...
- 论文笔记_Network in Network
文章目录 摘要 1.介绍 2.卷积神经网络 3.Network in Network 3.1 MLP 卷积层 3.2 全局平均池化 3.3 NIN网络架构 4.实验 4.1 实验概述 4.2 CIFA ...
- 论文笔记:《Network Dissection: Quantifying Interpretability of Deep Visual Representations》
CVPR 2017 的 MIT 论文<Network Dissection: Quantifying Interpretability of Deep Visual Representation ...
- 论文笔记Multi-Scale Temporal Cues Learning for Video Person Re-Identification
Multi-Scale Temporal Cues Learning for Video Person Re-Identification 用于视频行人重识别的多尺度时间线索学习 1.摘要 摘要中提到 ...
- 论文笔记 Bipartite Flat-Graph Network for Nested Named Entity Recognition | ACL2020
论文作者: 论文链接:https://arxiv.org/pdf/2005.00436.pdf 代码实现:https://github.com/cslydia/BiFlaG Abstract 作者为嵌 ...
最新文章
- Python3.8.5最新版安装教程(含老版本卸载教程)
- python语言标识符首字符不能是汉字_Python基本语法元素
- php fprintf,PHP fprintf()函数用法讲解
- RedHat 6.5中建立Raid5卷(软件磁盘阵列) ;并且对Raid5卷做磁盘配额
- 小尼机器人_小尼被机器人嫌弃“唱歌难听,长相一般”?
- 【渝粤题库】广东开放大学 劳动关系理论与实务 形成性考核
- 【FICO 汇率】汇率
- 枚举类型enum例题_10.1 C++枚举类型
- Halcon产品描述
- 【接口测试】FitNesse中文指南
- 图像特征提取 — LBP算法
- Bolt界面引擎中XLUE布局XML文件节点属性配置详解
- 搜狗词库scel格式转txt文本
- 计算机网络代表第几次革命,互联网:人类生产力的第三次革命
- 东南大学计算机esl排名,不是江苏考生,你不会知道,这所被戏称福建的“三本”,有多难考...
- 了解python正则表达式
- 远光天擎 | 研发运维一体化智能云平台
- 五款最佳VMware vSphere免费管理工具
- PROGRESSIVE GROWING OF GANS FOR IMPROVED QUALITY, STABILITY, AND VARIATION
- 亚马逊刷单测评的正确方法是什么样的?
热门文章
- Delphi10.4使用FireDAC数据访问组件开发数据库软件学习开发教程(1)
- 对于此版本,windows installer和即点即用的Office不能并行运行,因此只能安装一种类型(安装Visio破解版时的报错)
- 回顾日本和台湾的股市泡沫
- 自媒体博主都用什么剪辑视频_博主和设计师的最佳免费社交媒体图标兆集
- NUISTOJ/P1285 达朗贝尔的台阶
- 10G 网络变压器 10GBASE-T与1000Base-T区别
- C语言字母大小写互换的简单方法
- Occlusion Culling(遮挡剔除)
- 帆软(FineReport)报表学习——一个简单的报表
- PTA L2-048 寻宝图