Hive复杂数据类型之array

定义格式如下：

create table tableName(
......
colName array<基本类型>
......
)说明：下标从0开始，越界不报错，以null代替

案例准备：

测试数据

zhangsan 78,89,92,96
lisi    67,75,83,94
王五  23,12

create table if not exists arr1(name string,scores array<string>
)
row format delimited
fields terminated by '\t'
stored as textfile ;
load data local inpath '/data/arr1.txt' into table arr1;
select * from arr1;

结果

+--------+---------------+
|name    |scores         |
+--------+---------------+
|zhangsan|["78,89,92,96"]|
|lisi    |["67,75,83,94"]|
|王五      |["23,12"]      |
+--------+---------------+

select scores[0] from arr1;

结果

+-----------+
|c0         |
+-----------+
|78,89,92,96|
|67,75,83,94|
|23,12      |
+-----------+

说明上面这种建表方式是不对的,应该用下面这种,还需要指定数组的分隔符

create table if not exists arr2
(name   string,scores array<String>
)row format delimitedfields terminated by '\t'collection items terminated by ','
;
load data local inpath '/data/arr1.txt' into table arr2;
select *
from arr2;

结果如下

+--------+---------------------+
|name    |scores               |
+--------+---------------------+
|zhangsan|["78","89","92","96"]|
|lisi    |["67","75","83","94"]|
|王五      |["23","12"]          |
+--------+---------------------+

select scores[0] from arr2;

结果

+--+
|c0|
+--+
|78|
|67|
|23|
+--+

查询语句：

select * from arr1;
select name,scores[1] from arr2 where size(scores) > 3;
+--------+--+
|name    |c1|
+--------+--+
|zhangsan|89|
|lisi    |75|
+--------+--+--统计arr2中的每个人的总成绩
select scores[0]+scores[1]+nvl(scores[2],0)+nvl(scores[3],0) from arr2;

想要一种效果：也就是将数组类型的数据元素展开，换句话说，就是列转行

zhangsan 78,89,92,96
lisi    67,75,83,94
王五  23,12
将上述效果转成下面的效果，更方便统计每个人的总成绩。
zhangsan        78
zhangsan        89
zhangsan        92
zhangsan        96
lisi    67
lisi    75
lisi    83
lisi    94
王五  23
王五  12

展开函数的使用

简介

- explode：展开函数(UDTF函数中的一种),作用是：接受一个数据行，然后返回产生多个数据行
- lateral view:虚拟表。会将UDTF函数生成的结果放到一个虚拟表中，然后这个虚拟表会和输入行进行join来达到数据聚合的目的

案例：

select explode(score) score from arr2;
+---+
|col|
+---+
|78 |
|89 |
|92 |
|96 |
|67 |
|75 |
|83 |
|94 |
|23 |
|12 |
+---+select  name,cj from arr2 lateral view explode(scores) subview as cj;+--------+--+
|name    |cj|
+--------+--+
|zhangsan|78|
|zhangsan|89|
|zhangsan|92|
|zhangsan|96|
|lisi    |67|
|lisi    |75|
|lisi    |83|
|lisi    |94|
|王五      |23|
|王五      |12|
+--------+--+- 统计每个学生的总成绩：
select  name,sum(cj) from arr2 lateral view explode(scores) subview as cj
group by name;
+--------+---+
|name    |_c1|
+--------+---+
|lisi    |319|
|zhangsan|355|
|王五      |35 |
+--------+---+

还可以将展开的表创建一个新表

create table arr_tmp as
select  name,cj from arr2 lateral view explode(scores) subview as cj;

总结

array类型的数据在建表时要加一句
collection items terminated by ','
array类型的数据可以用explode结合lateral view展开

Hive复杂数据类型之array相关推荐

hive复合数据类型之array
概述 ARRAY:ARRAY类型是由一系列相同数据类型的元素组成,这些元素可以通过下标来访问.比如有一个ARRAY类型的变量fruits,它是由['apple','orange','mango']组成 ...
Hive复杂数据类型使用
Hive复杂数据类型有Array.Map.Struct三种.下面介绍这三种复杂数据类型的使用方法. 1 Array类型创建数据库创建数据库表,以 Array做为数据类型查询数据库表查询p ...
hive 复杂数据类型在数仓中应用（array、map、struct、和其组合应用）
环境:一般宽表建表可能考虑存储更多信息选择复杂模型建设复杂数据类型:array.map.struct 1.数组array,里边不能装不同类型的数据 more hive_array.txt zhang ...
Hive学习笔记 —— Hive的数据类型
Hive本质上是一个数据库,可以创建表,表有列组成,而列支持的主要类型有:基本数据类型.复杂数据类型.时间数据类型. 1. Hive的数据类型之基本数据类型 tinyint/smallint/int/ ...
【Hive】Hive的数据类型
Hive中数据类型可以分为基本数据类型和复合数据类型.这些数据类型都是用Java实现的. 1. 基本数据类型类型名称描述举例 boolean true/false true tinyint 1b ...
bigint hive java类型_三十、Hive的数据类型以及常用的属性配置
上篇文章我们在服务器上部署了Hive并将它的Metastore存储在了MySQL上,本文介绍一下Hive的数据类型以及常用的一些属性配置.关注专栏<破茧成蝶--大数据篇>,查看更多相关的内 ...
三十、Hive的数据类型以及常用的属性配置
上篇文章我们在服务器上部署了Hive并将它的Metastore存储在了MySQL上,本文介绍一下Hive的数据类型以及常用的一些属性配置.关注专栏<破茧成蝶--大数据篇>,查看更多相关的内 ...
linux hive查询数据类型,04-hive的数据类型
转载请注明~ 在学习了Linux系统操作命令和shell编程之后,将进入到hive的学习中,先主要介绍hive的数据类型和文件格式. 01数据类型基本数据类型 Hive 提供了基本数据类型和复杂数据 ...
Hive读取复杂的数据类型（Array，Map，Struct）
1.数组数据文件 hive_array.txt,Array(1,2,3,4) 装的数据类型是一样的 zhnagsan PEK,SHA,HAK,NKG lisi CTU,CKG,XIY,CSX 创建 ...

Hive复杂数据类型之array

定义格式如下：

案例准备：

查询语句：

展开函数的使用

总结

Hive复杂数据类型之array相关推荐

最新文章

热门文章