图机器学习——3.2 PageRank 算法问题改进与延伸

1. PageRank 算法问题与改进

PageRank 算法在实际迭代过程中会遇到两个问题：

死节点（dead ends）

产生此问题的原因是有些节点没有向外的连接，如下图的bbb，那么就会导致最终重要性得分会变成0.

出现此问题后不满足列和为1的假设，最终求解会出现问题。

局部陷阱（spider traps）

这种问题是由于所有的往外的连接都在一个小的组内，最终这个“陷阱”会吸收掉所有的重要性，如下图的bbb所示。

这个问题在数学本身的求解上并不是问题，但出现局部陷阱后得到的并不是我们所期望的重要性得分。

解决上面两个问题的方法比较简单，在出现问题的节点上加入传送（teleports）机制：

以β\betaβ的概率按照已知的连接情况进行游走；
以1−β1-\beta1−β的概率随机跳到任意一个节点上.

若添加的是均匀传送且在出问题的节点上β=0\beta=0β=0，则转移矩阵可变为：

而在实际的操作中，我们可以在每一次转移时都进行随机传送的操作，则节点jjj重要性得分计算方程变为：

rj=∑i→jβridi+(1−β)1Nr_{j}=\sum_{i \rightarrow j} \beta \frac{r_{i}}{d_{i}}+(1-\beta) \frac{1}{N} rj=i→j∑βdiri+(1−β)N1

注意，上述方程在遇到死节点时，是需要将随机传送的概率设置为1的。此时，就可以进行幂迭代法进行求解，只是迭代的转移矩阵变为了：

G=βM+(1−β)[1N]N×N\boldsymbol{G}=\beta \boldsymbol{M}+(1-\beta)\left[\frac{1}{N}\right]_{N \times N} G=βM+(1−β)[N1]N×N

递归式为：

r=G⋅r\boldsymbol{r}=\boldsymbol{G} \cdot \boldsymbol{r} r=G⋅r

2. 拓展及延伸

注意到，前面我们使用的随机传送策略是所有的节点等概率传送，但在实际的应用中节点之间的联系往往不是等概率的。以推荐系统为例，下图表示用户与商品的交互情况。

当用户购买了一个商品后，我们期望找到一个相似的商品推荐给用户，这样用户就有较大的概率买另一件推荐的商品。那么如何通过随机游走策略来计算商品之间的相似度呢？这里可以引入Personalized PageRank策略，通过排列节点与传送节点的接近程度S\boldsymbol{S}S，可以推荐与当前商品最相关的一系列商品。

前文所述的PageRank方法的传送概率是平均概率1/N1/N1/N，如：

S=[0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1]\boldsymbol{S}=[0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1] S=[0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1]

而对于Personalized PageRank（Topic Specific PageRank）我们可以指定某些节点的传送，如：

S=[0.1,0,0,0.2,0,0,0.5,0,0,0.2]\boldsymbol{S}=[0.1,0,0,0.2,0,0,0.5,0,0,0.2] S=[0.1,0,0,0.2,0,0,0.5,0,0,0.2]

但在商品推荐中的传送，是需要重新回到已被购买的item（出发节点）上，这一策略核心为restart，如：

S=[0,0,0,0,1,0,0,0,0,0,0]\boldsymbol{S}=[0,0,0,0, 1, 0,0,0,0,0,0] S=[0,0,0,0,1,0,0,0,0,0,0]

此时，随机游走的策略就是从QQQ节点出发，随机走到连接的User上，再随机走到对应User连接到的Item上，以此迭代游走。每次都到另一个Item上都有一定的概率跳回到最初始的出发节点QQQ上，最后计算每个节点被走过的次数，便可以计算与当前Item的相似度（次数越高则相似度越大）

图中红色箭头中的数字为走过该节点的次数。

参考

CS224W: Machine Learning with Graphs