[案例] Reduce 端实现 JOIN

需求

假如数据量巨大，两表的数据是以文件的形式存储在 HDFS 中, 需要用 MapReduce 程序来实现以下 SQL 查询运算

select a.id,a.date,b.name,b.category_id,b.price from t_order a left
join t_product b on a.pid = b.id

订单数据表

id	date	pid	amount
1001	20150710	P0001	2
1002	20150710	P0001	3
1002	20150710	P0002	3

商品信息表

id	pname	category_id	price
P0001	小米5	1000	2000
P0002	锤子T1	1000	3000

实现机制

通过将关联的条件作为map输出的key，将两表满足join条件的数据并携带数据所来源的文件信息，发往同一个reduce task，在reduce中进行数据的串联

MapReduce-Reduce端join操作-步骤分析相关推荐

MapReduce之Map join操作
MapReduce之Map join操作(分布式缓存) 文章目录 MapReduce之Map join操作(分布式缓存) 案例结合利用MapReduce中的setup方法与DistributedCa ...
map端join和reduce端join的区别
MapReduce Join MapJoin和ReduceJoin区别及优化 maptask处理后写到本地,如果再到reduce,又涉及到网络的拷贝. map端join最大优势,可以提前过滤不需要的数 ...
MapReduce:Map端Join算法实现
Map端Join算法实现 1.原理阐述: 适用于关联表中有小表的情形: 可以将小表分发到所有的map节点,这样,map节点就可以在本地对自己所读到的大表数据进行join并输出最终结果,可以大大提高jo ...
MapReduce-Reduce端join操作-Reducer阶段代码
定义 Reducer package cn.learn.mapreduce_reduce_join;import org.apache.hadoop.io.Text; import org.apach ...
MapReduce-Reduce端join操作-Map阶段代码
p0001,小米5,1000,2000 p0002,锤子T1,1000,3000 定义 Mapper package cn.learn.mapreduce_reduce_join;import org ...
【大数据day14】——MapReduce的运行机制详解（案列：Reduce 端实现 JOIN， Map端实现 JOIN，求共同好友）
文章目录 1 .MapReduce的运行机制详解 1.1:MapTask 工作机制详细步骤配置 1.2 :ReduceTask 工作机制详细步骤 1.3:Shuffle 过程 2. 案例: Re ...
MapReduce之join操作
一前言在很多时候,我们可能需要处理的不是一个单独的文件,而是几个有关联的文件,比如账户信息和订单信息=> 账户信息:customerIdname address telephone 订单信 ...
[MapReduce_add_4] MapReduce 的 join 操作
0. 说明 Map 端 join && Reduce 端 join 1. Map 端 join Map 端 join:大表+小表 => 将小表加入到内存,迭代大表每一行,与之进行 ...
第2节 mapreduce深入学习：15、reduce端的join算法的实现
reduce端的join算法: 例子: 商品表数据 product: pid p0001,小米5,1000,2000 p0002,锤子T1,1000,3000 订单表数据 order: ...

MapReduce-Reduce端join操作-步骤分析

[案例] Reduce 端实现 JOIN

需求

MapReduce-Reduce端join操作-步骤分析相关推荐

最新文章

热门文章