Hive collect_set函数

2019独角兽企业重金招聘Python工程师标准>>>

背景

工作中遇到这样一个需求, 就是需要查出品牌对应的所有分类, 目前品牌分类表大致结构如下:

av_seq	cp_seq
11111	CC0000
11111	CC1111
11111	CC2222
22222	CC3333
22222	CC4444

最终想要的结果是：

| 11111 | CC0000, CC1111, CC2222

| 22222 | CC3333, CC4444

collect_set函数

collect_set 是 Hive 内置的一个聚合函数, 它返回一个消除了重复元素的对象集合, 其返回值类型是 array 。

上述需求就可以使用 collect_set 函数来实现, 具体SQL如下:

select av_seq, concat_ws(',', collect_set(cp_seq)) from dw.smbrandcp group by av_seq;

参考文档

[Hive内置聚合函数](https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF#LanguageManualUDF-Built-inAggregateFunctions(UDAF)

转载于:https://my.oschina.net/jackieyeah/blog/679476

Hive collect_set函数相关推荐

Impala 代替 hive COLLECT_SET函数的方式
背景之前是在HIVE上开发,GROUP BY 某些字段后,其他字段使用COLLECT_SET(ITEM)[0]的方式取相同字段值中的一个,而在Impala上没有COLLECT_SET函数. 方案使 ...
HIve 中 collect_list和collect_set 函数的使用总结
Hive中collect相关的函数有collect_list和collect_set. 它们都是将分组中的某列转为一个数组返回,collect_list函数不去重而collect_set函数会去重. ...
hive substr函数_数据分析工具篇——HQL函数及逻辑
本篇文章我们梳理一下hive常用的函数,对于hive而言,常用的函数并不是特别多,往往记住关键几个,就可以解决80%的问题,这也是大家喜欢hive的原因,那么,常用的函数有哪些呢? 时间函数 1)时间 ...
今天又get到一个小技能，collect_set函数
collect_set函数今天又get到一个小技能,掌握了hive一个关于列转行专用函数 collect_set函数. 在这里做个学习笔记. collect_set是Hive内置的一个聚合函数, 结 ...
打怪升级之小白的大数据之旅(六十七)＜Hive旅程第八站:Hive的函数＞
打怪升级之小白的大数据之旅(六十七) Hive旅程第八站:Hive的函数上次回顾上一章,我们学习了如何对数据进行拆分–分区表与分桶表,使用分区表与分桶表,可以加快我们的查询效率..本章节是Hive ...
Hive 史上最全面的大数据学习第九篇（五） Hive 自定义函数每一天都是美好的一天！
Hive概述 & 安装方式详解 Hive表操作 Hive表分类 Hive Sql 操作 Hive 自定义函数 Hive On HBase 六.Hive 自定义函数在Hive当中又系统自带的函 ...
HIVE 常用函数总结
HIVE 常用函数总结 hive 函数比较多,之前总是随用随查,今天把常用的函数总结一下,以后方便查阅. 本文主要涉及以下几个大面: 1.Hive函数介绍以及内置函数查看内容较多,见<Hive ...
collect_set函数
3)collect_set函数 (1)创建原数据表 hive (gmall)> drop table if exists stud; create table stud (name string ...
一些常用的hive sql函数
1. with...as语句 with 语句,允许hive定义一个sql片段,供整个sql使用,会将这个片段产生的结果集保存在内存中,后续的sql均可以访问这个结果集,作用与视图或临时表类似: wit ...

Hive collect_set函数

背景

collect_set函数

参考文档

Hive collect_set函数相关推荐

最新文章

热门文章