Notation

Random-Walk Embeddings

为什么Random Walks

Random Walk Optimization无监督feature learning

Random Walk Optimization

思路

Negative Sampling—降低计算复杂度

SGD

Random Walks:Summary

node2vec:Biased Walks

Notation

$z_{u}$ 是要找到的节点u的嵌入。 $P(v|z_{u})$ 从节点u出发的random walks访问节点v的概率。

基于两个非线性函数生成所需概率：Softmax函数处理后，使大的 $z_{i}$ 对应的值更大，使K个概率和为1；Sigmoid函数，将值压缩到(0,1)。

random walk：给定一个图和一个起始节点，随机选择一个邻居节点，移动到邻居节点，随机选择这个邻居节点的邻居节点(也可以移动到上一步经过的点)，移动到它，持续下去直到给定步长。以这种方式随机访问的节点序列——称为图上的random walk。

$z_{u}^{T}z^{v}$ 两个节点嵌入的内积约等于节点u和v在图上通过一个随机游走共现的概率。

Random-Walk Embeddings

估计使用某种随机游走策略，从一个初始节点的random walk访问节点v的概率，优化嵌入。

为什么Random Walks

更好的表达

灵活的相似性的定义：考虑了局部邻居和高阶(出现次数多)的邻居信息，如果从u开始的随机游走访问v的概率大(high-order multi-hop information)，那么两者具有相似性。

更有效率

在训练时不需要考虑所有节点，只需要考虑在random walks上共同出现的节点对。

Random Walk Optimization
无监督feature learning

Random Walk Optimization

思路

使用某种随机游走策略R，从图中的一个初始节点u出发的，运行固定长度的random walks。
对于每个节点收集 $N_{R}(u)$ ,是从u出发的random walks访问的节点集multiset(指一个节点可以多次访问)
优化embedding，最大化两个节点共限的概率或者指找到嵌入 $z_{u}$ 最大化目标函数

由于softmax的归一化计算涉及网络中所有节点，计算复杂度高。

Negative Sampling—降低计算复杂度

将利用所有节点归一化，改为使用k个随机的"负采样点" $n_{i}$ 归一化

$n_{i}$ 从一个随机分布Pv中选取，这些节点的概率与其度数成正比

SGD

在获得目标函数后使用SGD优化而不是GD，即不是使用所有节点计算梯度，而是使用单独的一个训练样本.'

Random Walks:Summary

使用某种随机游走策略R，从图中的一个初始节点u出发的，运行固定长度的random walks。
对于每个节点u收集 $N_{R}(u)$ ,是从u出发的random walks访问的节点集multiset(指一个节点可以多次访问)
使用SGD优化embedding，可以使用negative sampling近似计算目标函数。

node2vec:Biased Walks

使用灵活的，有偏向的random walks可以平衡网络的局部全局视角，使用BFS搜索(局部)DFS搜索(全局)搜寻节点u的邻居 $N_{R}(u)$ 。

有两个超参数p和q：p是返回上一个节点，q是走开远离参数。1代表和上一个节点同一水平。

CS224W 3.2 Random Walk Approaches for Node Embeddings相关推荐

GNN-CS224W: 3 Node Embeddings
graph representation learning Automaticly learning efficient task-independent feature for machine le ...
基于随机游走Random Walk的图节点Node表示
前言在图中,如果能把节点表示成合适的数值,能做很多任务,例如节点分类,关系预测,聚类等等.如何把节点表示成计算机能看懂的数值目前也有很多方法,本文主要为大家介绍基于Random Walk的节点表示方 ...
Random walk算法及其各种延伸、应用笔记
文章目录 Random Walk Random walk with start(RWR) RWR的实现数学表达 classic实现 RWR的快速实现 Off-line流程 On-line查询流程 Λ ...
重启随机游走算法（RWR：Random Walk with Restart）
重启随机游走算法(RWR:Random Walk with Restart) 1 pagerank算法的基本原理 Pagerank算法是Google的网页排名算法,由拉里佩奇发明.其基本思想是民主表决 ...
GNN笔记： random walk
1 随机游走定义所谓随机游走(random walk),就是在网络上不断重复地随机选择游走路径,最终形成一条贯穿网络的路径. 从一个顶点出发,然后按照一定的概率随机移动到一个邻居节点,并将该节点作为 ...
2021“MINIEYE杯”中国大学生算法设计超级联赛（5）Random Walk 2（推式子+矩阵逆+矩阵乘）
Random Walk 2 [2.4]Gauss-Jordan消元法求矩阵的逆高斯消元求矩阵的逆,伴随单位矩阵一起消元即可. [A,I]→[I,A−1][\text A,\text I]\to [\ ...
随机游走 Random Walk
随机游走(英语:Random Walk,缩写为 RW),是一种数学统计模型,它是一连串的轨迹所组成,其中每一次都是随机的.[1][2]它能用来表示不规则的变动形式,如同一个人酒后乱步,所形成的随机过程 ...
HDU 4487 Maximum Random Walk
Maximum Random Walk Time Limit: 2000/1000 MS (Java/Others) Memory Limit: 32768/32768 K (Java/Othe ...
随机漫步(random walk)
1.题目有一类问题总称为"随机漫步"(Random Walk)问题,这类问题长久以来吸引着数学界的兴趣.所有这些问题即使是最简单的解决起来也是极其困难的.而且它们在很大程度上还远 ...

CS224W 3.2 Random Walk Approaches for Node Embeddings

Notation

Random-Walk Embeddings

为什么Random Walks

Random Walk Optimization
无监督feature learning

Random Walk Optimization

思路

Negative Sampling—降低计算复杂度

SGD

Random Walks:Summary

node2vec:Biased Walks

CS224W 3.2 Random Walk Approaches for Node Embeddings相关推荐

最新文章

热门文章

CS224W 3.2 Random Walk Approaches for Node Embeddings

Notation

Random-Walk Embeddings

为什么Random Walks

Random Walk Optimization 无监督feature learning

Random Walk Optimization

思路

Negative Sampling—降低计算复杂度

SGD

Random Walks:Summary

node2vec:Biased Walks

CS224W 3.2 Random Walk Approaches for Node Embeddings相关推荐

最新文章

热门文章

Random Walk Optimization
无监督feature learning