mysql collect set_Hive笔记之collect_list/collect

Hive中collect相关的函数有collect_list和collect_set。

它们都是将分组中的某列转为一个数组返回，不同的是collect_list不去重而collect_set去重。

做简单的实验加深理解，创建一张实验用表，存放用户每天点播视频的记录：create table t_visit_video (

username string,

video_name string

) partitioned by (day string)

row format delimited fields terminated by ',';

在本地文件系统创建测试数据文件：张三,大唐双龙传

李四,天下无贼

张三,神探狄仁杰

李四,霸王别姬

王五,机器人总动员

王五,放牛班的春天

王五,盗梦空间

将数据加载到Hive表：load data local inpath '/root/hive/visit.data' into table t_visit_video partition (day='20180516');

按用户分组，取出每个用户每天看过的所有视频的名字：select username, collect_list(video_name) from t_visit_video group by username ;

但是上面的查询结果有点问题，因为霸王别姬实在太好看了，所以李四这家伙看了两遍，这直接就导致得到的观看过视频列表有重复的，所以应该增加去重，使用collect_set，其与collect_list的区别就是会去重：select username, collect_set(video_name) from t_visit_video group by username;

李四的观看记录中霸王别姬只出现了一次，实现了去重效果。

突破group by限制

还可以利用collect来突破group by的限制，Hive中在group by查询的时候要求出现在select后面的列都必须是出现在group by后面的，即select列必须是作为分组依据的列，但是有的时候我们想根据A进行分组然后随便取出每个分组中的一个B，代入到这个实验中就是按照用户进行分组，然后随便拿出一个他看过的视频名称即可：select username, collect_list(video_name)[0] from t_visit_video group by username;

video_name不是分组列，依然能够取出这列中的数据。

mysql collect set_Hive笔记之collect_list/collect_set（列转行）相关推荐

hive 如何将数组转成字符串_hive详细笔记(八)-Hive之列转行和行转列(附带讲解视频 )...
1 行转列 1.1 函数 CONCAT(string A/col, string B/col-):返回输入字符串连接后的结果,支持任意个输入字符串; CONCAT_WS(separator, str1 ...
mysql 一行转多多行_JS 小工具 MYSQL WHERE IN条件去掉换行符(列转行)
MYSQL_WHERE_IN_去掉换行符(列转行) textarea { width: 1000px; height: 500px; } button { height: 50px; display: ...
Hive 之collect_list/collect_set（列转行）
Hive笔记之collect_list/collect_set(列转行) Hive中collect相关的函数有collect_list和collect_set. 它们都是将分组中的某列转为一个数组返回 ...
mysql then_mysql语法之case when then与列转行
mysql语法中case when then与列转行的使用场景非常丰富. case语句类似java中条件分支语句的作用,可以类比java中的switch语句或者if语句来学习. 其语法如下: case ...
好友推荐（列转行，help_topic_id）
文章目录前言一.题目:好友推荐二.代码块 1.源代码 2.SQL分解前言本题主要分享一下结合mysql.help_topic 这张系统表做列转行的一些巧妙的解题思想. 一.题目:好友推荐 1 ...
IT老齐架构300讲笔记(049) 比MySQL快100倍，解读cassandra列式数据库高性能背后的原理
目录一.列式存储二.为什么列式存储性能这么高 2.1 行式存储查询的劣势 2.2 列式存储查询的优势(顺序读) 2.3 列式存储的问题专栏链接:IT老齐架构300讲笔记专栏一.列式存储列式数 ...
MySQL数据库学习笔记（九）----JDBC的ResultSet接口（查询操作）、PreparedStatement接口重构增删改查（含SQL注入的解释）...
[声明] 欢迎转载,但请保留文章原始出处→_→ 生命壹号:http://www.cnblogs.com/smyhvae/ 文章来源:http://www.cnblogs.com/smyhvae/p/4 ...
MySQL 索引学习笔记
MySQL 索引学习笔记索引基本概念索引优点 B-Tree 索引基本原理使用场景使用限制哈希索引基本原理使用限制自适应哈希索引处理哈希冲突相关面试题高性能索引策略独立的列前 ...
MySQL(狂神说笔记)
MySQL(狂神说笔记) 1.初始数据库 1.1为什么学习数据库? 1.岗位需求 2.现在的世界,大数据时代,得数据库者得天下. 3.被迫需求: 存数据 4.数据库是所有软件体系中最核心的存在: DB ...

mysql collect set_Hive笔记之collect_list/collect_set（列转行）

mysql collect set_Hive笔记之collect_list/collect_set（列转行）相关推荐

最新文章

热门文章