[Spark][Python]PageRank 程序

PageRank 程序：

file contents:

page1 page3
page2 page1
page4 page1
page3 page1
page4 page2
page3 page4

def computeContribs(neighbors,rank):
for neighbor in neighbors: yield( neighbor, rank/len(neighbors) )

links = sc.textFile("tst001.txt").map(lambda line: line.split()).map(lambda pages: (pages[0],pages[1]))\
.distinct().groupByKey().persist()

ranks=links.map(lambda (page,neighbors): (page,1.0) )

In [4]: for x in range(1):
...: print "links count:"+links.count()
...: print "ranks count:" ranks.count()

In [11]: for x in range(3):
....: contribs=links.join(ranks).flatMap( lambda (page,(neighbors,rank)): computeContribs(neighbors,rank) )
....: ranks=contribs.reduceByKey(lambda v1,v2: v1+v2).map(lambda (page,contrib): (page,contrib*0.85+0.15))
....:

for rank in ranks.collect(): print rank

(u'page2', 0.394375)
(u'page3', 1.2619062499999998)
(u'page4', 0.8820624999999999)
(u'page1', 1.4616562499999997)

[Spark][Python]PageRank 程序相关推荐

spark指定python版本_如何将正常的Python应用程序正确转换为PySpark版本
我是PySpark的初学者,最近我尝试向我的Spark集群提交一个简单的python应用程序(批量调整大小图片).我可以成功地通过pycharm运行该应用程序,并且当我将应用程序提交给spark时,图 ...
平台搭建---Spark提交应用程序---Spark Submit提交应用程序及yarn
本部分来源,也可以到spark官网查看英文版. spark-submit 是在spark安装目录中bin目录下的一个shell脚本文件,用于在集群中启动应用程序(如***.py脚本):对于spark支 ...
python购物车程序2019_Python实现购物车程序
本文实例为大家分享了程序:Python购物车程序,具体内容如下需求: 启动程序后,让用户输入工资,然后打印商品列表允许用户根据商品编号购买商品用户选择商品后,检测余额是否够,够就直接扣款,不够就 ...
python 获取程序运行时间
python 获取程序运行时间 import time # 时间测试 start =time.time() # 运行程序 for i in range(100000000):pass end =tim ...
《Python 3程序开发指南（第2版•修订版）》——1.2 Python的关键要素
本节书摘来自异步社区<Python 3程序开发指南(第2版•修订版)>一书中的第1章,第1.2节,作者[英]Mark Summerfield,王弘博,孙传庆译,更多章节内容可以访问云栖社 ...
python语言包含的错误,Python语言程序中包含的错误，一般分为三种，以下____________不是其中的一种...
Python语言程序中包含的错误,一般分为三种,以下____________不是其中的一种答:编译错误人体体温能自动调控在37度,其原因是( ). 答:人体内产生的热能是分批放出的人体内有完善的 ...
C++/Php/Python/Shell 程序按行读取文件或者控制台方法总结。
C++/Php/Python/Shell 程序按行读取文件或者控制台方法总结. 一.总结 C++/Php/Python/Shell 程序按行读取文件或者控制台(php读取标准输入:$fp = fope ...
python语言程序设计2019版第二章课后答案-python语言程序设计基础课后答案第二章...
python语言程序设计基础课后答案第二章以下合法的用户自定义标识符是____________. 导入模块或者模块中的元素要使用关键字________ . 下列哪个函数是用来控制画笔的尺寸的____ ...
python语言程序设计嵩天-python语言程序设计基础（嵩天版），第二章程序练习题...
python语言程序设计基础(嵩天版),第二章程序练习题欢迎访问江南烧酒的博客 2.2汇率兑换程序.按照1美元=6人民币汇率编写一个美元和人民币的双向兑换程序. """ ...

[Spark][Python]PageRank 程序

[Spark][Python]PageRank 程序相关推荐

最新文章

热门文章