<p>前一段时间参与了一个迭代计算平台的开发，对于内存计算和图计算产生了比较浓厚的兴趣，这期间也阅读了spark和pregel的相关论文，了解一下BSP模型，但总觉得看论文太抽象了，于是选择阅读graphlab源码，作为深入了解图计算的一个契机。接下去如果有时间的话，会详细记录下我对graphlab的一些肤浅的理解。</p> <p>-------------------------------------------------------------------------------------------</p> <p>在graphlab中，采用邻接矩阵来表示顶点之间的相邻关系，给定一个图G(V, E)，使用一个一维数组存储V的顶点信息，使用一个稀疏矩阵来存储E的边信息。</p> <p>在graphlab中，图是分布在多个机器之上，每个机器中存储着图的一部分，在这里我们讨论graphlab中，每个节点是如何实现图的本地存储。</p> <p>在graphlab的图相关接口中有两个接口，分别是获取顶点的in edges和out edges。那么在graphlab中需要考虑如何有效地存储一个图的边集合，并可以快速地对顶点的in edges和out edges进行快速索引，并尽可能地减少空间开销。</p> <p>Graphlab中采用的思路是同时采用稀疏矩阵的csr(compressed sparse row)和csc(compressed sparse column)存储格式来存储图的边集合，并高效地实现获取顶点的in edges和out edges的接口。</p> <p>Graphlab分别实现了图的静态存储和动态存储，静态存储是指一旦完成对图的顶点和边的存储之后，不会添加新的顶点和边。而动态存储，可以动态地往图中新增顶点和边，这两者都没有删除顶点和边的操作。静态存储和动态存储的思路都是同时采用稀疏矩阵的csr和csc格式来存储边集合，不过csr和csr采用的数据结构不一样，静态存储采用数组实现，动态存储采用链表实现。在本篇博客中，只对静态存储进行介绍，动态存储会在下一篇博客中进行介绍。</p> <p>本篇博客首先会介绍一下稀疏矩阵的csr和csc格式以及计数排序，然后会举一个实际的例子来分析graphlab图的静态存储，最后介绍一下graphlab实现图静态存储的相关类。</p> <h3>1 稀疏矩阵csr和csc格式和计数排序简介</h3> <h4>1.1 csr和csc格式介绍</h4> <p>csr是使用三个数组来表示一个稀疏矩阵，稀疏矩阵用A表示，三个数组分别是values、rowptrs和columns；values中按行顺序存储着A中的非零单元的值。Columns中存储着values数组中的单元的列索引，values(k) = A(i, j)，则columns[k] = j。Rowptrs中存储着行在values中的起始地址，如果values(k) = A(i, j)，则rowptrs(i) &lt;= k &lt;rowptrs(i + 1)，行i中的非零单元的数目为rowptrs(i + 1) - rowptrs(i)。</p> <p>比如稀疏矩阵A = <a href="http://static.oschina.net/uploads/img/201401/21192123_HBoz.gif"><img style="border-bottom: 0px; border-left: 0px; display: inline; border-top: 0px; border-right: 0px" title="clip_image002" border="0" alt="clip_image002" src="http://static.oschina.net/uploads/img/201401/21192123_SwOi.gif" width="72" height="75" /></a></p> <p>假设下标都从0开始，那么行是{0,1,2}，列也是{0,1,2}；稀疏矩阵A的csr格式就可以用如下三个数组表示：</p> <p><a href="http://static.oschina.net/uploads/img/201401/21192123_6pPA.png"><img style="border-bottom: 0px; border-left: 0px; display: inline; border-top: 0px; border-right: 0px" title="image" border="0" alt="image" src="http://static.oschina.net/uploads/img/201401/21192124_Y3uj.png" width="270" height="156" /></a> </p> <p>csc格式类似于，只不过是把行换成了列,csc可以用values，columnptrs和rows表示矩阵A。values中按列顺序存储着A中的非零值；rows中存储着values数组中单元的行索引,values(k) = A(i, j),则rows(k) = i；columnptrs中存储着列在values中的起始地址，values(k) = A(i,j)，则columns(j) &lt;= k &lt; columns(j + 1)，j列的非零单元数目为columns(j + 1) - columns(j)。</p> <p><a href="http://static.oschina.net/uploads/img/201401/21192124_LuTW.png"><img style="border-bottom: 0px; border-left: 0px; display: inline; border-top: 0px; border-right: 0px" title="image" border="0" alt="image" src="http://static.oschina.net/uploads/img/201401/21192124_Ce5x.png" width="244" height="134" /></a> </p> <p>关于csr的详细描述见：http://web.eecs.utk.edu/~dongarra/etemplates/node373.html</p> <h4>1.2 计数排序</h4> <p>计数排序的思路如下：假设n个输入元素中的每一个都是介于0-k的整数，此处k为某个整数。对每一个输入元素x，统计小于x的数目s，那么可以通过s来确定x在最终输出数组中的位置。</p> <p>在graphlab中，计数排序的输入是一个未经排序的原始数组A；输出是两个数组，分别是P和I；P数组长度等于原始数组的长度，是按从小到大对原始数组进行排序后生成的序列数组，P[i]表示排序后的第i个值在原始数组中的下标；I数组表示值为i的整型在排序后的数组中的起始位置，I数组的长度为max{A[i]} + 1（+1的原因是从0开始计数）。</p> <p>Graphlab中计数排序算法的伪码：</p> <p><a href="http://static.oschina.net/uploads/img/201401/21192124_NV5B.jpg"><img style="border-bottom: 0px; border-left: 0px; display: inline; border-top: 0px; border-right: 0px" title="clip_image008" border="0" alt="clip_image008" src="http://static.oschina.net/uploads/img/201401/21192124_7bwX.jpg" width="421" height="228" /></a></p> <p>比如给定一个原始数组A，数组长度为7，数组中存储着整型值（可能有重复），如下图所示：</p> <p><a href="http://static.oschina.net/uploads/img/201401/21192124_LnTa.gif"><img style="border-bottom: 0px; border-left: 0px; display: inline; border-top: 0px; border-right: 0px" title="clip_image010" border="0" alt="clip_image010" src="http://static.oschina.net/uploads/img/201401/21192125_oBeJ.gif" width="240" height="25" /></a></p> <p><b>运行结果：</b></p> <p>在counting_sort函数中12-13行的循环运行完后，原始数组（A）和统计数组（c）如下所示：</p> <p><a href="http://static.oschina.net/uploads/img/201401/21192125_MTWN.jpg"><img style="border-bottom: 0px; border-left: 0px; display: inline; border-top: 0px; border-right: 0px" title="clip_image012" border="0" alt="clip_image012" src="http://static.oschina.net/uploads/img/201401/21192125_hocH.jpg" width="207" height="42" /></a></p> <p>c[i]存储着在A中，值<b>小于等于</b><b>i</b>的元素数目。</p> <p>第15-16的运行步骤如下，总共有：</p> <p><a href="http://static.oschina.net/uploads/img/201401/21192125_kptB.jpg"><img style="border-bottom: 0px; border-left: 0px; display: inline; border-top: 0px; border-right: 0px" title="clip_image014" border="0" alt="clip_image014" src="http://static.oschina.net/uploads/img/201401/21192125_Esjl.jpg" width="143" height="296" /></a></p> <p>最后P数组存储着排序后的数值在原数组中的下标。c数组中的每个单元c[i]中则存储着在A数组中，<b>值小于</b><b>i</b>的元素数目。i在A中的数目等于：c[i + 1] - c[i]，i &lt; k或n - c[i] ，i == k；c[i]表示i值在P数组出现的第一个值的下标。</p> <p>最终I数组的结果等于stem 6中的c：</p> <p><a href="http://static.oschina.net/uploads/img/201401/21192125_u7KE.jpg"><img style="border-bottom: 0px; border-left: 0px; display: inline; border-top: 0px; border-right: 0px" title="clip_image016" border="0" alt="clip_image016" src="http://static.oschina.net/uploads/img/201401/21192126_DwI0.jpg" width="144" height="25" /></a></p> <p>这三个数组之间的关系如下：</p> <p><a href="http://static.oschina.net/uploads/img/201401/21192126_Sm4R.png"><img style="border-bottom: 0px; border-left: 0px; display: inline; border-top: 0px; border-right: 0px" title="image" border="0" alt="image" src="http://static.oschina.net/uploads/img/201401/21192126_1dKD.png" width="419" height="239" /></a> </p> <p>给定一个值2，那么2在A中的数目为：I[3] - I[2] = 1；2在A中的位置为A[P[I[2]] ] = A[1]。</p> <h3>2 使用csr和csc存储图</h3> <p>我们可以将边集合表示为一个邻接矩阵，使用稀疏矩阵的csr和csc格式来存储邻接矩阵。</p> <p>因为稀疏矩阵的csr存储格式是对row进行压缩，可以根据row来快速对稀疏矩阵的某一行进行检索，所以使用csr来对out_edges进行检索（边(v,w)是顶点v的out edges,顶点v对于边(v,w)相当于行）。同理，稀疏矩阵的csc存储格式是对column进行压缩，可以根据column来快速对稀疏矩阵的某一列进行检索，所以使用csc对in_edges进行检索。</p> <p>我们先单独分别从csr和csc角度考虑边集合的存储。然后再分析graphlab是如何同时使用csr和csc巧妙地实现对边集合进行存储，并实现对顶点的in edges和out edges快速检索。</p> <h4>2.1 CSR格式存储</h4> <p><a href="http://static.oschina.net/uploads/img/201401/21192126_BCgs.png"><img style="border-bottom: 0px; border-left: 0px; display: inline; border-top: 0px; border-right: 0px" title="image" border="0" alt="image" src="http://static.oschina.net/uploads/img/201401/21192126_FiU3.png" width="186" height="244" /></a> </p> <p>如上图所示，给定以一个有向图G（V，E），V为顶点集合，E为边集合。一条边包括顶点对（边从source vertex指向targe vertex）和值，边集合可以表示成如下的邻近矩阵，对于边(v,w)，将v作为行，w作为列(source vertex对应行，target vertex对应列)。</p> <p><a href="http://static.oschina.net/uploads/img/201401/21192409_SFKl.png"><img style="border-bottom: 0px; border-left: 0px; display: inline; border-top: 0px; border-right: 0px" title="image" border="0" alt="image" src="http://static.oschina.net/uploads/img/201401/21192409_7xw2.png" width="244" height="179" /></a> </p> <p>假设E中边的输入顺序如下所示：</p> <p><a href="http://static.oschina.net/uploads/img/201401/21192127_l4Pv.png"><img style="border-bottom: 0px; border-left: 0px; display: inline; border-top: 0px; border-right: 0px" title="image" border="0" alt="image" src="http://static.oschina.net/uploads/img/201401/21192127_h85L.png" width="349" height="27" /></a> </p> <p>那么我们就可以用如下三个数组来表示输入的边集合E：</p> <p><a href="http://static.oschina.net/uploads/img/201401/21192127_5KNS.png"><img style="border-bottom: 0px; border-left: 0px; display: inline; border-top: 0px; border-right: 0px" title="image" border="0" alt="image" src="http://static.oschina.net/uploads/img/201401/21192127_qiHi.png" width="373" height="109" /></a> </p> <p>那么如何将输入的E转化为按照csr格式存储的稀疏矩阵呢？</p> <p>1. 将source vertex数组作为输入数组，使用1.2张中的counting_sort进行排序，输出的数组为P和I。因为source vertex相当于邻接矩阵的行，这一步骤等同于将稀疏矩阵的非零单元按照行顺序存储在一个数组中（这里不需要考虑同一行内的各个边的顺序）。那么P是按行的从小到大顺序对原始数组进行排序后生成的序列数组；I等于csr中的rowptrs；</p> <p>2. 使用P对输入边集合E的target vertex数组和value数组按照行大小进行重新排序，那么排序后的target vertex数组就是csr中的columns，value数组就是csr的values。这里的排序可以使用不同的方式实现，最简单的方法就是引入一个临时数组，按照P数组中的下标对target vertex和value进行排序。</p> <p>counting_sort具体过程见1.2章（1.2张的例子就是本例），最终E的CSR格式如下图所示。</p> <p><a href="http://static.oschina.net/uploads/img/201401/21192128_gCGH.png"><img style="border-bottom: 0px; border-left: 0px; display: inline; border-top: 0px; border-right: 0px" title="image" border="0" alt="image" src="http://static.oschina.net/uploads/img/201401/21192128_QzPP.png" width="394" height="147" /></a> </p> <p><b>1.edges_values</b><b>数组：</b>是按行顺序进行排序后边集合的值数组。</p> <p><b>2.rowptrs</b><b>数组：</b>保存行在edges_values中的起始偏移地址， rowptrs[i]是第i行在edges_values中的起始偏移位置；那么第i行的边数目等于rowptrs[i + 1] –rowptrs[i]或edges_values长度 – rowptrs[i ]；rowptrs数组的长度为顶点的最大值。</p> <p><b>3.columns</b><b>数组：</b>列索引，columns[i]是edges_values[i]值对应的边的列的值。如edges_values[2]的列为columns[2]，等于3。</p> <p>那么用csr存储的边集合E，给定一个顶点v，可以快速检索v的所有out edges的值。v的值相当于行，那么v的所有out edges的值可以通过如下的方式获取：</p> <p><a href="http://static.oschina.net/uploads/img/201401/21192128_gCfT.jpg"><img style="border-bottom: 0px; border-left: 0px; display: inline; border-top: 0px; border-right: 0px" title="clip_image028" border="0" alt="clip_image028" src="http://static.oschina.net/uploads/img/201401/21192128_dPrD.jpg" width="361" height="160" /></a></p> <p>拿上面的例子，顶点1的out edges的数目为rowptrs[2] – rowptrs[1] = 2，那么可以得到顶点1的两个out edges在edges_values数组的下标分别为1和2，那么out edges集合为{edges_values[1], edges_values[2]} = {(1,2), (1, 3)}。</p> <h4>2.2 CSC格式存储</h4> <p>使用csc来存储边集合E的边关系和值，与csr基本相同。首先将target vertex数组作为输入数组进行counting_sort，得到P和I，I为csc的columnptrs。使用P对E的source vertex数组和value数组进行排序，生成了csc的rows和values。E以csc格式存储的最终结果如下所示。</p> <p><a href="http://static.oschina.net/uploads/img/201401/21192128_OK5a.png"><img style="border-bottom: 0px; border-left: 0px; display: inline; border-top: 0px; border-right: 0px" title="image" border="0" alt="image" src="http://static.oschina.net/uploads/img/201401/21192129_2FwD.png" width="387" height="146" /></a> </p> <p>1.edges_values数组：是按列顺序进行排序后边集合的值数组。</p> <p>2.columnptrs数组：保存列在edges_values中的起始偏移地址，columnptrs[i]是第i列在edges_values中的起始偏移位置；</p> <p>3.rows数组：列索引，rows[i]是edges_values[i]值对应的边的列的值。</p> <p>通过csc获取一个顶点的in edges类似于在csr中获取out edges，不在赘述。</p> <h5>2.3 Graphlab图的静态存储</h5> <p>Graphlab对图的静态存储是同时采用了csr和csc格式。在graphlab中，会首先对边集合按照csr方式进行存储（通过对source vertex进行counting_sort），然后再建立csc格式，通过shuffle方式，在csc和csr之间进行转换。把csr和csc整合到一起，同时实现对顶点的out edges和in edges的快速索引。如下图所示。</p> <p><a href="http://static.oschina.net/uploads/img/201401/21192129_iOXn.png"><img style="border-bottom: 0px; border-left: 0px; display: inline; border-top: 0px; border-right: 0px" title="image" border="0" alt="image" src="http://static.oschina.net/uploads/img/201401/21192129_BJqJ.png" width="401" height="347" /></a> </p> <p><b>edges_value</b><b>：</b>同CSR中的rowptrs。</p> <p><b>rowptrs</b><b>：</b>同CSR中的rowptrs。</p> <p><b>columns</b><b>：</b>同CSR中的columns。</p> <p><b>shuffleptrs</b><b>：</b>这个数组用于将按列顺序排列的稀疏矩阵转换为按行顺序排列的稀疏矩阵。Shuffleptrs[i]表示按列顺序排序的边集合的第i条边在edges_value数组中的下标。</p> <p><b>rows</b><b>：</b>同CSC中的rows。</p> <p><b>columnptrs</b><b>：</b>同CSC中的columnptrs。</p> <p>如上图所示，在内存中存储边集合E，需要维持边的值数组，csr和csc。CSR有两个整型数组，rowptrs和columns，分别用来存储行偏移地址和列索引。CSC有三个整型数组，shuffleptrs、rows和columnptrs，分别存储着从按列顺序排序的稀疏矩阵到按行顺序排列的稀疏矩阵转换的下标，行索引和列偏移地址，shuffleptrs和rows具有相同的下标，可以合并成一个数组。</p> <p><b>具体步骤如下：</b></p> <p>E的原始输入由三个相同长度的数组组成，source_arr、target_arr和data_arr，分别存储着边的source vertex、target vertex和边的值。source vertex相当于邻接矩阵的行，target vertex相当于邻近矩阵的列。如果要形成最终的结果，需要以下这些步骤，才能形成上图中的存储。</p> <p>1. counter_sort(source_arr, P, rowptrs)</p> <p>2. sort(P, E)</p> <p>//使用P按照行顺序对E中的三个数组进行排序,P数组是按照行的顺序保存着E的下标，</p> <p>3. columns = target_arr</p> <p>4. csr = {rowptrs, columns}</p> <p>5. counter_sourt(target_arr, P, columnptrs)</p> <p>6. sort(P, source_arr)</p> <p>//对source_arr按列顺序进行排列，最后作为行索引</p> <p>7. rows = source_arr; shuffleptrs = P.</p> <p>8. csc = {columnptrs, rows, shuffleptrs}</p> <p><b>Graphlab</b><b>中的具体类：</b></p> <p>在graphlab中，图的本地静态存储是由local_graph来实现，local_graph中保存图使用了四个数据结构：</p> <p>std::vector&lt;VertexData&gt; vertices：存储顶点数据的数组，顶点的ID为0到数组的长度。</p> <p>std::vector&lt;EdgeData&gt; edges：存储边的值的数组，相当于edges_values。</p> <p>csr_type _csr_storage：表示csr，由csr_storage这个类来实现。</p> <p>csc_type _csc_storage：表示csc，由csr_storage这个类来实现。</p> <p>csr_storage中有两个成员变量，分别是：</p> <p>std::vector&lt;sizetype&gt; value_ptrs;</p> <p>std::vector&lt;valuetype&gt; values;</p> <p>当csr_storage表示csr时，value_ptrs等同于rowptrs，是一个uint64_t数组；values等同于columns，也是一个uint64_t数组。</p> <p>当csr_storage表示csc时，value_ptrs等同于columnptrs，是一个uint64_t数组；values则被定义成std::vector&lt; std::pair&lt;lvid_type, edge_id_type&gt; &gt;，相当于将rows和shuffleptrs存储在同一个vector中。</p> <p></p> <p></p> <p></p> <p></p> <p></p> <p></p> <p></p> <p></p> <p></p> <p> </p> <p>作者zy， QQ 105789990</p>