HIve 中 collect_list和collect_set 函数的使用总结

Hive中collect相关的函数有collect_list和collect_set。

它们都是将分组中的某列转为一个数组返回，collect_list函数不去重而collect_set函数会去重。
例如：有如下一个数据表

进行行转列
很明显我们能看看到，张三做了两次B类项目
1、使用 collect_list函数

select user , collect_list(  project ) from   tb   group by user ;

得到的结果将是

张三的两次B类项目，不会进行去重

2、若使用collect_set 函数，就会去重

select user, collect_set( project ) from tb   group by user;

结果是

3、其他用法
使用下标获取一列内容

select user, collect_list(video_name)[0]    from tb   group by username;

HIve 中 collect_list和collect_set 函数的使用总结相关推荐

hive中的UDF 自定义函数：如何创建临时/永久函数
文章目录一.为什么要使用自定义函数二.自定义函数的种类三.创建自定义函数 1.创建一个maven工程(以idea为例) 2.编写方法要求: 调用函数在输入的字符串之前添加上字符串"H ...
hive中的日期转换函数
1.unix时间戳转时间函数语法: from_unixtime(bigintunixtime[, string format]) 返回值: string 说明: 转化UNIX时间戳(从197 ...
Hive中collect_list()排序问题详解
来看一道互联网公司的面试题: 有个用户好友表:字段如下 uid fans_uid score 返回:uid, fans_uid_list[fans_uid的拼接串,按照score降序拼接] 给出数据源 ...
hive中的时间处理函数
更多好的文章就在 blog.haoitsoft.com,请大家多多支持! 日期函数UNIX时间戳转日期函数: from_unixtime语法: from_unixtime(bigint unixt ...
hive中常见的日期函数
常见hive的时间函数1.时间戳转化为日期函数 from_unixtime('1566390082') from_unixtime('1566390082', 'yyyy-MM-dd') from_u ...
大数据之Hive：hive中的cross join函数
目录 1.简介 2.简单示例 3.实战需求一: 具体实现需求二: 具体实现 1.简介 CROSS JOIN是sql中的一种连接方式,区别于内连接和外连接,对于cross join连接来说,其实使用 ...
hive中：row_number()排序函数的使用
https://blog.csdn.net/javajxz008/article/details/53493509 第一步: select *,row_number() over(distribute ...
Hive中的常用函数
一.Hive中collect_list和collect_set的区别二.Hive中四种排序(order by.sort by.distribute by.cluster by) 2.1 order ...
Hive 之collect_list/collect_set（列转行）
Hive笔记之collect_list/collect_set(列转行) Hive中collect相关的函数有collect_list和collect_set. 它们都是将分组中的某列转为一个数组返回 ...

HIve 中 collect_list和collect_set 函数的使用总结

HIve 中 collect_list和collect_set 函数的使用总结相关推荐

最新文章

热门文章