Hive lateral view 的用法

lateral view 的语法格式

lateral view:
LATERAL VIEW udtf (expression) tableAlias AS coluumAlias ( ',' , columnAlias)*

用法描述

lateral view 要与UDTF函数一起使用，比如 explode() 函数。这里的UDTF函数是指用户自定义的表生成函数（英文全称：user defined table-generating functions），它可以接受一行输入然后产生0行或多行输出。lateral view 首先将utdf函数应用到每一行上，这时每一行经utdf处理后得到多行输出，这些输出将会组建成一张虚拟表，然后这张虚拟表会跟当前表进行join操作，join完成之后会得出一张结果虚拟表，这张结果表里就有了utdf生成的列，当然原表的列除了utdf消耗的列之外肯定也在都里面。

示例说明1 — list 类型的列

假设 pageAds 表有两列，第 1 列是页面id，第 2 列是页面里的广告id组成的数组。

create table pageAds (page_id string, adid_list Array<int>);

里面有两行数据。

insert into pageAds values ('front_page', array(1,2,3)), ('contact_page', array(3,4,5));

这两行数据的意思是：front_page页有三条广告，id分别是1，2，3。contact_page页也有三条广告，id分别是3，4，5。
现在需要解决的问题是：在所有页面中统计每条广告出现的次数，输出广告id和该广告出现的总次数。

inner join

使用 lateral view 和 explore() 函数将 adid_list 列的 list 拆分，sql代码如下：

SELECT page_id, ad_id
FROM pageAds LATERAL VIEW explode(adid_list) adTable AS ad_id;

可以得到以下结果：

page_id	ad_id
front_page	1
front_page	2
front_page	3
contact_page	3
contact_page	4
contact_page	5

然后我们再使用 count/group by 语句统计出每个adid出现的次数：

SELECT ad_id, count(1) cnt
FROM pageAds LATERAL VIEW explode(adid_list) adTable AS ad_id
GROUP BY ad_id;

得到最终结果：

ad_id	cnt
1	1
2	1
3	2
4	1
5	1

outer lateral view

later view 前面还可以加上一个 outer 关键字，这是为了避免当udtf 没有得到任何结果时最终虚拟结果表里丢失原数据行的问题。具体来将，由于later view 的工作原理是将原表与 udtf 产生的虚拟表做 inner join 操作，所以如果 udtf 不产生任何结果时，那么对应原表的那一行也会在 inner join 操作后消失。outer关键字就是来解决这个问题的，加上这个关键字之后执行的就是 outer join 操作了，因此原表数据会被完全保留下来。

例如，上面的 pageAds 表中再插入一行数据：

insert into pageAds values ('end_page', collect_set(CAST(NULL AS INT)));

pageAds 的内容如下：

hive> select * from pageAds;
OK
pageads.page_id pageads.adid_list
front_page  [1,2,3]
contact_page    [3,4,5]
end_page    []

那么执行 lateral view 的sql：

SELECT page_id, ad_id
FROM pageAds LATERAL VIEW explode(adid_list) adTable AS ad_id;

得到的结果将会是：

page_id (string) adid (int)
"front_page"  1
"front_page"  2
"front_page"  3
"contact_page"    3
"contact_page"    4
"contact_page"    5

可以看到，end_page 那一行消失了，因为它没有在 inner join 中关联到任何数据。因此如果想保留原表全部数据的话，就需要加上outer关键字：

SELECT page_id, ad_id
FROM pageAds  OUTER LATERAL VIEW explode(adid_list) adTable AS ad_id;

得到如下结果

page_id (string) adid (int)
"front_page"  1
"front_page"  2
"front_page"  3
"contact_page"    3
"contact_page"    4
"contact_page"    5
“end_page”  <NULL>

示例说明2 — 普通类型

dept_benifi 是部门利润表。

drop table if exists dept_benifit;
create table dept_benifit (DEPT_NO    string    comment'部门编号',DEPT_TREE  string    comment'部门层级树',BENIFIT    int       comment'利润（万元）'
);

插入记录

insert into table dept_benifit values
('101','A.A1.101',50),
('102','A.A1.102',20),
('201','A.A2.201',80);

转成多行
利用 lateral view 和 explode 函数将 DEPT_TREE（部门层级树）列按照“.”分割转成多行，通过结果可以看到，lateral view函数将 “部门层级树” 字段炸开进行了扩展，每个部门（DEPT_NO）都有与之对应的利润（BENIFIT），从三行数据直接变成9行数据

select tmp_dept_no as DEPT_NO, BENIFIT
from dept_benifit
LATERAL VIEW explode (split(DEPT_TREE, '\\.')) tmp as tmp_dept_no;

结果如下：

dept_no  benifit
A   50
A1  50
101 50
A   20
A1  20
102 20
A   80
A2  80
201 80

对部门利润进行向上汇总求和，可以看到每个部门的总利润。

select tmp_dept_no as DEPT_NO, sum(BENIFIT) as BENIFIT
from dept_benifit
LATERAL VIEW explode (split(DEPT_TREE, '\\.')) tmp as tmp_dept_no
group by tmp_dept_no;

结果如下：

dept_no  benifit
101 50
102 20
201 80
A   150
A1  70
A2  80