hive使用适用场景_Hive 中 Map Join 的适用场景：非等值连接

最近开发中遇到几种应用，刚好使用MAPJOIN来解决实际的问题。

应用共同点如下：

1:有一个极小的表<1000行

2:需要做不等值join操作(a.x < b.y 或者 a.x like b.y等)

这种操作如果直接使用join的话语法不支持不等于操作，hive语法解析会直接抛出错误

如果把不等于写到where里会造成笛卡尔积，数据异常增大，速度会很慢。甚至会任务无法跑成功~

根据mapjoin的计算原理，MAPJION会把小表全部读入内存中，在map阶段直接拿另外一个表的数据和内存中表数据做匹配。这种情况下即使笛卡尔积也不会对任务运行速度造成太大的效率影响。

而且hive的where条件本身就是在map阶段进行的操作，所以在where里写入不等值比对的话，也不会造成额外负担。

如此看来，使用MAPJOIN开发的程序仅仅使用map一个过程就可以完成不等值join操作，效率还会有很大的提升。

问题解决~~

示例代码如下：

1: select /*+ MAPJOIN(a) */

2: a.start_level, b.*

3: from dim_level a

4: join (select * from test) b

5: where b.xx>=a.start_level and b.xx

hive使用适用场景_Hive 中 Map Join 的适用场景：非等值连接相关推荐

关于hive中Map join 时大表left join小表的问题
在hive中,(启用Map join时) 大表left join小表,加载从右向左,所以小表会加载进内存,存储成map键值对,通过大表驱动小表,来进行join,即大表中的join字段作为key 来获取 ...
mysql hive 内置函数_Hive中与时间相关的内置函数
(1)获取当前的时间戳(以秒位单位):unix_timestamp(),返回值类型位BIGINT.例如: select unix_timestamp() from dim_user limit 1; ...
hive 表存储大小_Hive中文件存储格式及大小比较测试
在hive中创建表是有如下一个语句 [ROW FORMAT row_format] row_format 的类型有如下: file_format: : SEQUENCEFILE | TEXTFILE ...
hive mysql hdfs关系_Hive中的数据库、表、数据与HDFS的对应关系
1.hive数据库我们在hive终端,查看数据库信息,可以看出hive有一个默认的数据库default,而且我们还知道hive数据库对应的是hdfs上面的一个目录,那么默认的数据库default到底 ...
hive查勘表结构_Hive中的数据库、表、数据与HDFS的对应关系
1.hive数据库我们在hive终端,查看数据库信息,可以看出hive有一个默认的数据库default,而且我们还知道hive数据库对应的是hdfs上面的一个目录,那么默认的数据库default到底 ...
python中map,join,int结合在一起的用法
python学习之路关于map函数的用法今天我在使用codewars进行代码练习的时候发现有个题目很有意思: 给定一个由1和0组成的数组,将等效的二进制值转换为整数. 例如:[0,0,0,1]被视 ...
MR实现reduce join和map join及hive的执行计划
一.涵盖 MapReduce InputFormat RecordReader 切片:block=input split 1.1 File- Text- NLine- DB- Mapper setup ...
jemeter多场景混合案例_Jmeter多业务混合场景如何设置各业务所占并发比例
在进行多业务混合场景测试中,需要分配每个场景占比. 具体有两种方式: 1.多线程组方式: 2.逻辑控制器控制: 第一种: jmeter一个测试计划可以添加多个线程组,我们把不同的业务放在不同的线程组中 ...
Hive中的map join、left semi join和sort merge bucket join
map join map join是将join双方比较小的表直接分发到各个 map进程的内存中,在map进程中进行join操作,这样就不用进行reduce步骤,从而提高了速度. 如果不指定mapjoi ...

hive使用适用场景_Hive 中 Map Join 的适用场景：非等值连接

hive使用适用场景_Hive 中 Map Join 的适用场景：非等值连接相关推荐

最新文章

热门文章