collect_set函数

3）collect_set函数
（1）创建原数据表
hive (gmall)>
drop table if exists stud;
create table stud (name string, area string, course string, score int);
（2）向原数据表中插入数据
hive (gmall)>
insert into table stud values('zhang3','bj','math',88);
insert into table stud values('li4','bj','math',99);
insert into table stud values('wang5','sh','chinese',92);
insert into table stud values('zhao6','sh','chinese',54);
insert into table stud values('tian7','bj','chinese',91);
（3）查询表中数据
hive (gmall)> select * from stud;
stud.name       stud.area       stud.course     stud.score
zhang3 bj      math    88
li4     bj      math    99
wang5   sh      chinese 92
zhao6   sh      chinese 54
tian7   bj      chinese 91
（4）把同一分组的不同行的数据聚合成一个集合
hive (gmall)> select course, collect_set(area), avg(score) from stud group by course;
chinese ["sh","bj"]     79.0
math    ["bj"]  93.5
（5）用下标可以取某一个
hive (gmall)> select course, collect_set(area)[0], avg(score) from stud group by course;
chinese sh      79.0
math    bj      93.5

collect_set函数相关推荐

今天又get到一个小技能，collect_set函数
collect_set函数今天又get到一个小技能,掌握了hive一个关于列转行专用函数 collect_set函数. 在这里做个学习笔记. collect_set是Hive内置的一个聚合函数, 结 ...
Hive collect_set函数
2019独角兽企业重金招聘Python工程师标准>>> 背景工作中遇到这样一个需求, 就是需要查出品牌对应的所有分类, 目前品牌分类表大致结构如下: av_seq cp_seq 1 ...
HIve 中 collect_list和collect_set 函数的使用总结
Hive中collect相关的函数有collect_list和collect_set. 它们都是将分组中的某列转为一个数组返回,collect_list函数不去重而collect_set函数会去重. ...
Impala 代替 hive COLLECT_SET函数的方式
背景之前是在HIVE上开发,GROUP BY 某些字段后,其他字段使用COLLECT_SET(ITEM)[0]的方式取相同字段值中的一个,而在Impala上没有COLLECT_SET函数. 方案使 ...
hive substr函数_数据分析工具篇——HQL函数及逻辑
本篇文章我们梳理一下hive常用的函数,对于hive而言,常用的函数并不是特别多,往往记住关键几个,就可以解决80%的问题,这也是大家喜欢hive的原因,那么,常用的函数有哪些呢? 时间函数 1)时间 ...
关于Hive sql里面的分组函数
列转行通过collect_set函数实现,发现对字段进行去重了,后来发现collect_list函数可以实现,现总结如下: concat_ws和collect_set()函数实现(对某列进行去重) 其 ...
大数据技术之_08_Hive学习_03_查询+函数
大数据技术之_08_Hive学习_03 第6章查询 6.1 基本查询(select ... from) 6.1.1 全表和特定列查询 6.1.2 列别名 6.1.3 算术运算符 6.1.4 常用函数 ...
Hive的Collect函数
版权声明:本文为博主原创文章,转载请注明出处. https://blog.csdn.net/u014307117/article/details/52296757 有以下表 id name ...
一些常用的hive sql函数
1. with...as语句 with 语句,允许hive定义一个sql片段,供整个sql使用,会将这个片段产生的结果集保存在内存中,后续的sql均可以访问这个结果集,作用与视图或临时表类似: wit ...

collect_set函数

collect_set函数相关推荐

最新文章

热门文章