Hive Lateral View + explode 详解
hive中的函数分为3类,UDF函数、UDAF函数、UDTF函数
- UDF:一进一出
- UDAF:聚集函数,多进一出,类似于:count/max/min
- UDTF:一进多出,如explore()、posexplode(),UDTF函数的时候只允许一个字段
百度explode()时,经常会出现lateral view + explode相关的文章,很少单独写explode()。分别了解ecplode() 与lateral view的各自作用很重要,不然过程都不知道实现的,换个UDTF函数就不会使用了。
一、UDTF函数 explode() 讲解
UDTF函数作用都是输入一行数据,将该行数据拆分、并返回多行数据。不同的UDTF函数只是拆分的原理不同、作用的数据格式不同而已。
这里详细讲解explode()用法,学会这一个其他的UDTF函数也会使用。
explode()将一行数据转换成列数据,可以用于array和map类型的数据
1)explode()用于array的语法如下:
select explode(arraycol) as newcol from tablename;#arraycol:arrary数据类型字段。
#tablename:表名
2)explode()用于map的语法如下:
select explode(mapcol) as (keyname,valuename) from tablename;
#tablename:表名
#mapcol:map类型的字段
#keyname:表示key转换成的列名称,用于代表key转换之后的列名。
#valuename:表示value转换成的列名称,用于代表value转换之后的列名称。
explode()用于map类型的数据时,由于map是kay-value结构的,所以它在转换的时候会转换成两列,一列是kay转换而成的,一列是value转换而成的。
3)以上为explode()函数的用法,此函数存在局限性:
- 其一:不能关联原有的表中的其他字段。
- 其二:不能与group by、cluster by、distribute by、sort by联用。
- 其三:不能进行UDTF嵌套。
- 其四:不允许选择其他表达式。
二、百度explode(),总会出现lateral view,它们各自的作用是什么?
第一部分对explode()函数做了简单的讲解,知道它作用的数据格式为array和map ,也知道了如何单独使用explode,可能脑袋还是有点懵,下面将结合案例一起学习。
UDTF函数(如:explode)
只能只允许对拆分字段进行访问,即select时只能出现explode作用的字段,不能在选择表中其它的字段,否则会报错。
但是实际中需求中经常要拆某个字段,然后一起与别的字段一起取。这时就要使用lateral view。
lateral view为侧视图,其实就是用来和像类似explode这种UDTF函数联用的,lateral view会将UDTF生成的结果放到一个虚拟表中,然后这个虚拟表
会和输入行
进行join
来达到连接UDTF外的select字段的目的。
不加lateral view的UDTF函数只能提取单个字段拆分,并不能塞回原来数据表中。加上lateral view就可以将拆分的单个字段数据与原始表数据关联上。在使用lateral view的时候需要指定视图别名和生成的新列别名。
1、udtf + lateral view 格式一
lateral view udtf(expression) tableAlias as columnAlias (,columnAlias)*
- lateral view在UDTF前使用,表示连接UDTF所分裂的字段。
- UDTF(expression):使用的UDTF函数,例如explode()。
- tableAlias:表示UDTF函数转换的虚拟表的名称。
- columnAlias:表示虚拟表的虚拟字段名称,如果分裂之后有一个列,则写一个即可;如果分裂之后有多个列,按照列的顺序在括号中声明所有虚拟列名,以逗号隔开。
2、udtf + lateral view 格式二
from basetable (lateral view)*
- 在from子句中使用,一般和格式一搭配使用,这个格式只是说明了lateral view的使用位置。
- from子句后面也可以跟多个lateral view语句,使用空格间隔就可以了。
eg:
SELECT myCol1, myCol2 FROM baseTable
LATERAL VIEW explode(col1) myTable1 AS myCol1
LATERAL VIEW explode(col2) myTable2 AS myCol2;#col1为表baseTable字段中的map或者array类型
#col2为表baseTable字段中的map或者array类型
3、udtf + lateral view 格式三
from basetable (lateral view outer)*
from basetable (lateral view outer)*
它比格式二只是多了一个outer,这个outer的作用是在UDTF转换列的时候将其中的空也给展示出来,UDTF默认是忽略输出空的,加上outer之后,会将空也输出,显示为NULL。这个功能是在Hive0.12是开始支持的。
eg:
select name,key,value from student_score lateral view outer explode(score) scntable as key,value;
-------------可借助下面逻辑理解-------------
# 查看表数据
hive> select * from udtf_test;
OK
jim5 ["james5","datacloase"]
jim4 ["james4","datacloase"]
jim3 ["james3","datacloase"]
jim2 ["james2","datacloase"]
Time taken: 0.084 seconds, Fetched: 4 row(s)# 1)hive只允许对其拆分字段进行访问
hive> select explode(subordinates) from udtf_test;
OK
james5
datacloase
james4
datacloase
james3
datacloase
james2
datacloase
Time taken: 0.075 seconds, Fetched: 8 row(s)#2)同时select 查询 explode作用字段及其它字段时,报错
hive> select explode(subordinates),name from udtf_test;
FAILED: SemanticException 1:29 Only a single expression in the SELECT clause is supported with UDTF's. Error encountered near token 'name'#3)借助lateral view,同时查询explode作用字段及其它字段
hive> select name,subordinate from udtf_test> lateral view explode(subordinates)sub as subordinate;
OK
jim5 james5
jim5 datacloase
jim4 james4
jim4 datacloase
jim3 james3
jim3 datacloase
jim2 james2
jim2 datacloase
Time taken: 0.06 seconds, Fetched: 8 row(s)
三、explode、posexplode与lateral view 3套案例练习
拓展:
explode与lateral view在关系型数据库中本身是不该出现的,因为他的出现本身就是在操作不满足第一范式的数据(每个属性都不可再分),本身已经违背了数据库的设计原理(不论是业务系统还是数据仓库系统)
不过大数据技术普及后,很多类似pv,uv的数据,在业务系统中是存贮在非关系型数据库中,用json存储的概率比较大,直接导入hive基础的数仓系统中,就需要经过ETL过程解析这类数据,explode与lateral view在这种场景下大显身手。
1、找出相同数字的号码超过5位的手机号
1) 使用数据
jimmhe 18191512076
xiaosong 18392988059
jingxianghua 18118818818
donghualing 17191919999
2) 创建表
CREATE TABLE udtf_test1(name string, phonenumber string)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
3) 加载数据
load data local inpath '/home/atguigu/data/test_20211215.txt' into table udtf_test1;
4) 查看加载表数据
hive> select * from udtf_test1;
OK
jimmhe 18191512076
xiaosong 18392988059
jingxianghua 18118818818
donghualing 17191919999
Time taken: 0.076 seconds, Fetched: 4 row(s)
5) 解题分析思路
split将电话号码,拆分成数组,在用explode炸裂:
select name,phonenumber
from(
select name,phonenumber,phone_num
from udtf_test1
lateral view explode(split(phonenumber,'')) view_number as phone_num)aa
group by name,phonenumber,phone_num
having count(1)>=5
2、求一下每个学生成绩最好的学科及分数、最差的学科及分数、平均分数
有一张hive表,分别是学生姓名name(string),学生成绩score(map<string,string>),成绩列中key是学科名称,value是对应学科分数,请用一个hql求一下每个学生成绩最好的学科及分数、最差的学科及分数
1)表数据如下:
zhangsan|Chinese:80,Math:60,English:90
lisi|Chinese:90,Math:80,English:70
wangwu|Chinese:88,Math:90,English:96
maliu|Chinese:99,Math:65,English:60
2)创建表:
create table stu_score_test(name string,score map<String,string>)
row format delimited
fields terminated by '|'
collection items terminated by ','
map keys terminated by ':';
3)导入数据:
load data local inpath '/home/atguigu/data/test_20211216' into table stu_score_test;
4)查看导入后表数据:
hive> select * from stu_score_test;
OK
zhangsan {"Chinese":"80","Math":"60","English":"90"}
lisi {"Chinese":"90","Math":"80","English":"70"}
wangwu {"Chinese":"88","Math":"90","English":"96"}
maliu {"Chinese":"99","Math":"65","English":"60"}
Time taken: 0.164 seconds, Fetched: 4 row(s)
5)解题思路
explode拆分map数据类型:
select name,course,csorce
from(select name,course,csorce ,rank()over(partition by name order by csorce) last_rn,rank()over(partition by name order by csorce desc) best_rnfrom stu_score_testlateral view explode(score) score_view as course,csorce)aa
where last_rn=1 or best_rn=1
3、计算酒店每天有多少个房间的入住---重点
1)需求如下
2)原始数据
7,2004,2021-03-05,2021-03-07
23,2010,2021-03-05,2021-03-06
7,1003,2021-03-07,2021-03-08
8,2014,2021-03-07,2021-03-08
14,3001,2021-03-07,2021-03-10
18,3002,2021-03-08,2021-03-10
23,3020,2021-03-08,2021-03-09
25,2006,2021-03-09,2021-03-12
3) 建表
create table temp_hotal_live(
user_id varchar(50),
room_code varchar(50),
Check_date varchar(50),
leave_date varchar(50)
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
;
4) 分析思路
用posplode炸裂,补充完整时间:
SELECT
start_dd,end_dd,count(1)
from
(SELECTuser_id, --用户idcheck_date, --入店时间leave_date, --离店时间date_add( check_date, pos ) start_dd,date_add( check_date, pos+1 ) end_ddFROMtemp_hotal_livelateral VIEW posexplode ( split ( REPEAT('A,',datediff( leave_date, check_date )) , ',' ) ) t AS pos, val
)
group BY start_dd,end_dd
- datediff,计算住了多少天,两个时间之间的差值;
- REPEAT(),把字符串复制多少次,把'A,'本题是把A,复制;
- split,把字符串按分隔符分割为数组;
- posexplode :炸裂,并排序; 可以行转列,并把索引取出。
Hive Lateral View + explode 详解相关推荐
- Hive列转行 (Lateral View + explode)详解
需求: <疑犯> 悬疑,动作,科幻,爱情 <lies> 悬疑,警匪,动作,心理,剧情 <战狼> 战争,动作,灾难转成如下格式:<疑犯> 悬疑 <疑 ...
- Hive Lateral View explode字段值为空时,导致数据异常丢失解决方案
1.问题描述 日常工作中,我们经常会用Lateral View 结合explode把非结构化数据转化成结构化数据,但是该方法对应explode的内容是有非null限制的,否则就有可能造成数据缺失. 现 ...
- hive lateral view explode列拆分与行转列用法
在日常工作中,我们在处理数据时,会遇到某个列存在多个数据的情况,如果想拿到这个列里面每个数据进行后续处理的话,这种情况下有两种处理方式: 第一种:如果这个列多个数据是固定数目,可以使用split切分 ...
- hive/mysql使用lateral view explode时会出现的问题(bug)
hive/mysql使用lateral view explode时会出现的问题 例子 两边计算的区别 问题说明 例子 两边计算的区别 上面两边代码除了右边对disp_detail和clk_detail ...
- Hive SQL 中ARRAY或MAP类型数据处理:lateral view explode()/posexplode()——行转列函数
前言:在对表数据进行批量处理过程中,常常碰上某个字段是一个array或者map形式的字段,一列数据的该字段信息同时存在多个值,当我们需要取出该数组中的每一个值实现一一对应关系的时候,可以考虑使用lat ...
- hive sql之lateral view explode用法
这篇文章讲的特别好 lateral view explode相当于笛卡尔乘积: 表1的每一行与表二的每一行组合,作为新的一行
- Hive 连续多次 lateral view explode 踩坑
table1表结构: c1 c2arr c3arr c4arr select c1, c2arr_item, c3arr_item, c4arr_item from table1 lateral vi ...
- 【大数据技术】爆肝3天 7个章节 Hive 3.1.3详解
大数据技术之Hive 01 hive入门 1.1 什么是Hive 1)Hive简介 Hive是由Facebook开源,基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类S ...
- Hive Lateral View、视图、索引
一.Hive Lateral View 1.Lateral View用于和UDTF函数(explode.split)结合来使用. 2.首先通过UDTF函数拆分成多行,再将多行结果组合成一个支持别名的虚 ...
最新文章
- 怎样对拍、如何对拍、对拍模板
- Solr索引数据同步ReplicationHandler
- 常用的webservice接口
- C#/.NET基于Topshelf创建Windows服务的守护程序作为服务启动的客户端桌面程序不显示UI界面的问题分析和解决方案
- Arduino LiquidCrystal库函数中文对照
- Spring-beans-BeanDefinitionReader
- 高等数学---用python求极限
- 用HTML5的canvas实现抽奖刮刮卡的效果(只需十几行代码)
- S5PV210 DDR2初始化 28个步骤总结
- 关于jsp中java代码的使用;
- 2×3卡方检验prism_卡方检验2python代码实现
- 从象牙塔学生到美团开发社畜,工作一年,谈谈经验及感想
- PP过滤器(螺纹式)操作说明书
- 网易企业邮箱子邮箱发送邮件
- c++windows+yolov5-6.2+openvino模型部署超详细
- ibm服务器如何查硬件支持型号,ibm服务器硬件安装步骤是怎样
- Xwidget1.9.2超级桌面工具
- uniapp给webview进行传参。
- word中插入smartart图形(插入图形、设置图形格式、在下方插入图形、在后方插入图形)
- 【历史上的今天】2 月 14 日:第一台通用计算机面世;IBM 诞生;Julia 公开发布
热门文章
- 10张令人喷饭的程序员漫画
- SpringCloud使用Hystrix的Turbine时,EurekaClient和NacosClient冲突问题
- Nature综述:优先效应在生命早期肠道微生物组形成中的作用
- 区块链研习 | 详解三大主要跨链技术,如何推动价值网络的实现
- 流程图系列:ProcessOn如何扩大页面?
- 微信小程序云开发之云函数的大坑
- python 编程工具免费_Emacs - Python Editor cum IDE编程工具
- 根据Timezone或者时区差JAVA
- 前端实现图片查看器(滚轮放大,缩小,旋转)——Viewer.js
- vue项目和jeccg开源文档