Hive中的Distribute by 搭配sort by

今天不学习，明天不学习，后天就习惯不学习了

小谈：

上次讲了sort by和order by的区别，order by 进行全局排序，此时的reduce只有1个。

sort by分情况。

情况一：一个reduce。相当于order by 会进行全局排序，因为全局就只有那一个reduce

情况二：多个reduce。sort by 会在多个reduce里面。对每一个reduce进行内部的排序。就是每个reduce里面是排序的，但是不保证全局有序。

正菜：

含有SORT BY的Distribute By

正常情况下，sort by经常和distribute by配合。

默认情况下，mapreduce计算框架会依据map输入的键计算相应的哈希值，然后按照哈希值将键值均匀的分发到各个reduce中。这也就意味着不同的reduce输出会有一定的重复值。

下面为了避免会有重复值，我们通过distribute by配合sort by进行搭配。

select s.ymd,s.symbol,s.price
from stocks s
distribute by s.symbol
sort by s.symbol ,s.ymd

可以看到，第二列就是我们上面的 s.symbol这个字段的值都是一样的，

对s.symbol这个字段进行哈希操作，将哈希值相同的返回到同一个reduce里面，返回到同一个reduce里面后，在reduce里面进行排序。

总结：

在我们平常学习中，在Hive里面经常用到的就是group by + sort by 和 distribute by + order by 。

现在group by + order by 和distribute by + sort by 都已经讲了。

所以现在就请大家开始新一轮的学习吧。

从明天起，早上不再卧床，会更加用心的更新博文了。

Hive中的Distribute by 搭配sort by相关推荐

hive中的distribute by、sort by、cluster by
1.背景 hive中有一个store表,字段分别是"商店所属人标识"(merid),"商户余额(money)","商店名称(name)".求 ...
hive排序：distribute by 、sort by 、cluster by 、order by 区别
hive排序:distribute by .sort by .cluster by .order by 区别 1). order by 只有一个reduce负责对所有的数据进行排序,若大数据量,则需要 ...
hive中的distribute by
1.背景 hive中有一个store表,字段分别是"商店所属人标识"(merid),"商户余额(money)","商店名称(name)".求 ...
hive中的order by、sort by、distribute by、cluster by排序
hive中的排序说明:hive中有四种全局排序:order by.内部排序:sort by.分区排序:distribute by.组合排序:cluster by. order by(全局排序) 说明 ...
Hive中的distribute by、order by、sort by解析
distribute by 是控制map端在reduce上是如何区分的,distribute by会把相同的Keyf放到同一个reduce中.可以结合sort by 使用,distribute by必 ...
Hive中的排序:order by/sort by/cluster by
Hive中关于排序的几种方法,有必要深入理解其原理. Order by 全局排序 1)Order By:全局排序,只有一个 Reducer,即使我们在设置set reduceer的数量为多个,但是在执 ...
HIVE中，cluster by有什么意义
文章目录 1. cluster by 是什么? 2. cluster by有什么意义? 后记 1. cluster by 是什么? 如果想彻底了解:HIVE中,order by.sort by. di ...
hive 中排序order by,sort by,distribute by使用
前提:hive 中使用的排序有oder by, sort by,distribute By,cluster By 具体使用如下测试数据: 0: jdbc:hive2://hadoop-03:1000 ...
hive中order by,sort by, distribute by, cluster by作用以及用法
1. order by Hive中的order by跟传统的sql语言中的order by作用是一样的,会对查询的结果做一次全局排序,所以说,只有hive的sql中制定了order by所有的数据都会 ...

Hive中的Distribute by 搭配sort by

小谈：

正菜：

Hive中的Distribute by 搭配sort by相关推荐

最新文章

热门文章