hadoop实现求共同好友

前言

在很多社交APP中，比如大家熟悉的QQ好友列表中，打开会话框，经常可以看到下面有一栏共同好友的推荐列表，用户通过这种方式，可以添加潜在的关联好友

这种功能该如何实现呢？对redis比较了解的同学应该能很快想到，可以使用redis来实现这个功能。没错，redis确实是个不错的可以实现这个功能的方案。

但redis的实现有一定的局限性，因为redis存储和数据和计算时需要耗费较多的内存资源，设想一下，像腾讯QQ这样的规模，如果用这种方式做的话，估计Redis服务器的投入成本将是一笔不小的开销。

利用hadoop中的MapReduce同样可以实现这个功能，该如何实现呢？

业务分析

下面是原始的数据文件，第一栏可理解为本人，第二行为该用户的好友列表，以逗号分割，比如A用户的好友包括：B,C,D,F,E,O这几个，后面的行依次类推

A:B,C,D,F,E,O
B:A,C,E,K
C:F,A,D,I
D:A,E,F,L
E:B,C,D,M,L
F:A,B,C,D,E,O,M
G:A,C,D,E,F
H:A,C,D,E,O
I:A,O
J:B,O
K:A,C,D
L:D,E,F
M:E,F,G
O:A,H,I,J
</

hadoop实现求共同好友相关推荐

【大数据day14】——MapReduce的运行机制详解（案列：Reduce 端实现 JOIN， Map端实现 JOIN，求共同好友）
文章目录 1 .MapReduce的运行机制详解 1.1:MapTask 工作机制详细步骤配置 1.2 :ReduceTask 工作机制详细步骤 1.3:Shuffle 过程 2. 案例: Re ...
spark求共同好友
使用spark求共同好友: 在做一些项目时,又时可能遇到一些类似与求共同好友的要求,可以根据共同好友进行推荐添加好友,就比如说A和B的好友有M,K,O,L,那么有可能A和B就是也认识,所以可以把B推荐 ...
求共同好友和好友推荐系统
一.求共同好友 1.1 需求及分析以下是qq的好友列表数据,冒号前是一个用户,冒号后是该用户的所有好友(数据中的好友关系是单向的) A:B,C,D,F,E,O B:A,C,E,K C:A,B,D,E ...
使用hive求共同好友
一个mapreduce的经典题目--求共同好友,目前网上还没有人用hive实现,我来用hive算一下. 一.数据准备 create table friends(people string,friend ...
hadoop 求共同好友
以下是qq的好友列表数据,冒号前是一个用户,冒号后是该用户的所有好友(数据中的好友关系是单向的) A:B,C,D,F,E,O B:A,C,E,K C:F,A,D,I D:A,E,F,L E:B,C,D ...
hadoop求共同好友案例
4.1 需求分析以下是qq的好友列表数据,冒号前是一个用户,冒号后是该用户的所有好友(数据中的好友关系是单向的) A:B,C,D,F,E,O B:A,C,E,K C:A,B,D,E,I D:A,E, ...
hadoop3求共同好友
需求:求哪些人两两之间有共同的好友,及共同好友都有哪些人. 好友源数据 ------------------------------------ A:B,C,D,F,E,O B:A,C,E,K C:F ...
需求案例：求共同好友
以下是qq的好友列表数据,冒号前是一个用户,冒号后是该用户的所有好友(数据中的好友关系是单向的) A:B,C,D,F,E,O B:A,C,E,K C:A,B,D,E,I D:A,E,F,L E:B, ...
Hadoop入门之共同好友实现Demo
以下是qq的好友列表数据,冒号前是一个用,冒号后是该用户的所有好友(数据中的好友关系是单向的) A:B,C,D,F,E,O B:A,C,E,K C:F,A,D,I D:A,E,F,L E:B,C,D, ...

hadoop实现求共同好友

前言

业务分析

hadoop实现求共同好友相关推荐

最新文章

热门文章