Spark 计算人员二度关系

1、一度人脉：双方直接是好友2、二度人脉：双方有一个以上共同的好友，这时朋友网可以计算出你们有几个共同的好友并且呈现数字给你。你们的关系是： 你->朋友->陌生人3、三度人脉：即你朋友的朋友的朋友就是这个陌生人。你们的关系是 你->朋友->朋友->陌生人4、四度人脉：比三度增加一度，你们的关系是，你->朋友->朋友->朋友->陌生人5、五度人脉：你->朋友->朋友->朋友->朋友->陌生人 ，像上面这张图片表示的就是一个五度人脉关系。6、六度人脉：你->朋友->朋友->朋友->朋友->朋友->陌生人

数据格式如下：

A,B
A,C
A,E
B,D
E,D
C,F
F,G

业务逻辑如下：

1、转换操作flatMapToPair将行数据变为键值对，如A，B表示A和B认识，A可以通过B认识B的朋友，B通过A可以认识A的朋友，转化结果为｛A：A，B｝、｛B：B，A｝；

2、转换操作groupByKey对键值对按Key进行分组&#x

Spark 计算人员二度关系相关推荐

GraphX二度关系（代码）
关于GraphX的存储模式以及存储数据结构.二度关系的解释等有一个很好的网址: http://www.dataguru.cn/article-10425-1.html 该网站介绍了二度关系的算法实现, ...
关于数据结构中的叶节点和二度节点的关系（通俗的理解）。
简单记录一下自己的一些地方和对于这个问题我的一些见解. 有说的不好的地方欢迎指正. 这里只给出一种理解,另一种利用公式进行理解的,我就不写了,因为csdn里面太多了! 先说结论: 叶节点的数目 = 二 ...
Power Pivot（了解power pivot，获取数据，计算字段（度量值）和计算列，按列排序，多表模型关系创建）
一个案例了解power pivot(订单明细表,区域,产品表) 关键字段: 创建关系:一对多:多对一:一对一一对多:一指的是创建关系字段是唯一值:多指的是创建关系字段的重复值一端的字段可以控制多端 ...
【数字信号处理】线性时不变系统 LTI “ 输入 “ 与 “ 输出 “ 之间的关系 ( 线性卷积计算案例二 | 计算卷积 )
文章目录一.线性卷积计算案例二一.线性卷积计算案例二给定如下两个序列 : x(n)={3,4,5}[−2,0]x(n) = \{ 3 , 4, 5 \}_{[-2,0]}x(n)={3,4, ...
相似度计算之(二)——余弦距离
将数据看成空间中的点时,评价远近可以用欧式距离或余弦距离一般可用于文本间的相似度计算,但也不是绝对的余弦距离计算步骤: 以余弦距离计算文本相似度为例,具体说明其计算过程: 余弦相似度算法: 一个向 ...
社交网络中的共同好友计算（一度好友与二度好友）
项目github地址:bitcarmanlee easy-algorithm-interview-and-practice 欢迎大家star,留言,一起学习进步社交网络中经常存在求共同好友的需求,比 ...
罕见、二度闯关IPO，发行人因持续经营能力存疑被否
成也苹果,败也苹果?二度闯关IPO失败,发行人最终因持续经营能力存疑被否! 摘要:2022年3月3日,深圳市兴禾自动化股份有限公司创业板IPO被否,当日即被深交所上市审核中心宣布终止审核.兴禾股份原定 ...
亚马逊、微软云和二度云国外三大云服务商优劣的那些事！
像微软Azure一样,二度云最初是从PaaS平台开始,但是如今已经扩展到IaaS.现在,它具有运行企业工作负载所需的大部分核心功能.分析师说,它在某些特定的用例,特别是使用应用程序容器.大数据管理和机 ...
大数据之spark学习记录二: Spark的安装与上手
大数据之spark学习记录二: Spark的安装与上手文章目录大数据之spark学习记录二: Spark的安装与上手 Spark安装本地模式 Standalone 模式基本配置步骤1: 复制 ...
spark 算子例子_10年大数据架构师，用一文带你玩转Spark计算框架，你能读懂吗？...
首先明确一点:学计算框架主要就是学2部分: 1.资源调度 2.任务调度写一个spark程序包含加载配置文件,创建上下文,创建RDD , 调用RDD的算子,用户在算子中自定义的函数 map端:狭窄的理 ...

Spark 计算人员二度关系

Spark 计算人员二度关系相关推荐

最新文章

热门文章