hive中的distribute by

1.背景

hive中有一个store表，字段分别是"商店所属人标识"(merid)，“商户余额(money)”，“商店名称（name）”。求每个法人下属的商店的余额按照降序排序。

//merid,money,name
B 10 store_B_4
A 12 store_A_1
A 14 store_A_2
B 15 store_B_1
B 19 store_B_2
B 30 store_B_3

2.distribute by、sort by

hive中（distribute by + “表中字段”）关键字控制map输出结果的分发,相同字段的map输出会发到一个reduce节点去处理。sort by为每一个reducer产生一个排序文件，他俩一般情况下会结合使用。

hive> select * from store distribute by merid sort by money desc;

3.cluster by

cluster by 相当于 distribute by 和sort by 的结合，默认只能是升序，以下两种写法查询结果相同

//cluster by
hive>select * from store cluster by merid;
//distribute by,sort by
hive>select * from store distribute by merid sort by merid asc;

hive中的distribute by相关推荐

hive中的distribute by、sort by、cluster by
1.背景 hive中有一个store表,字段分别是"商店所属人标识"(merid),"商户余额(money)","商店名称(name)".求 ...
Hive中的Distribute by 搭配sort by
今天不学习,明天不学习,后天就习惯不学习了小谈: 上次讲了sort by和order by的区别,order by 进行全局排序,此时的reduce只有1个. sort by分情况. 情况一:一个 ...
Hive中的distribute by、order by、sort by解析
distribute by 是控制map端在reduce上是如何区分的,distribute by会把相同的Keyf放到同一个reduce中.可以结合sort by 使用,distribute by必 ...
hive中order by,sort by, distribute by, cluster by作用以及用法
1. order by Hive中的order by跟传统的sql语言中的order by作用是一样的,会对查询的结果做一次全局排序,所以说,只有hive的sql中制定了order by所有的数据都会 ...
hive中order by、distribute by、sort by和cluster by的区别和联系
order by order by 会对数据进行全局排序,和oracle和mysql等数据库中的order by 效果一样,它只在一个reduce中进行所以数据量特别大的时候效率非常低.而且当设置 : ...
hive中的order by、sort by、distribute by、cluster by排序
hive中的排序说明:hive中有四种全局排序:order by.内部排序:sort by.分区排序:distribute by.组合排序:cluster by. order by(全局排序) 说明 ...
Hive中orderBy，sortBy，distribute by，cluster by，group by
文章目录 1.总结 2.order by 3.sort by 4.distribute by 5.distribute by + sort by 6.Cluster by 7.group by 和di ...
一篇文章彻底掌握 hive 中的 ORDER/SORT/CLUSTER/DISTRIBUTE BY 和 BUCKET 桶表
大家好,我是明哥! 本片文章,我们来总结下,HIVE 中的 order/sort/cluster/distribute by 和 BUCKET 桶表 1 ORDER BY ORDER BY 会对 SQ ...
Hive中ORDER BY、SORT BY和DISTRIBUTE BY
ORDERBY ORDERBY在Hive中的作用同标准SQL中一样,对结果集进行整体排序,ORDER BY 会对结果集进行一个全局排序,所有数据将被放在一个reducer当中处理. 当结果数据量大时, ...

hive中的distribute by

1.背景

2.distribute by、sort by

3.cluster by

hive中的distribute by相关推荐

最新文章

热门文章