Hive纵向表转横向表

问题描述：

有这样一张维度表(id name)，存放部门的id，与部门负责人

000  Liam
000001  Noah
000001001   Oliver
000002  Emma
001 Elijah
001001  James
001002  Charlotte
001001001   William
001002001   Amelia
002 Benjamin
002001  Lucas
002001001   Theodore

需要合并相同部门的人，也就是相同前缀的id的多行记录，合并到一行记录上

期望结果(为空表示该条记录只有对应的二级部门，没有三级部门)

000  Liam    000002  Emma    NULL    NULL
000 Liam    000001  Noah    000001001   Oliver
001 Elijah  001001  James   001001001   William
001 Elijah  001002  Charlotte   001002001   Amelia
002 Benjamin    002001  Lucas   002001001   Theodore

实际案例：

建表

create table test.dept(id string, name string) row format delimited fields terminated by '\t';
load data inpath '/user/admin/dept.txt' into table dept;
select * from test.dept;

分析

因为源表是将同一部门id的数据存在了不多行，所以首先我们需要找出能关联的键，也就是下一级的前3位部门id等于上一级的部门id

子查询先筛选出各级部门id的数据，与上一级通过前三位关联

SQL

SELECT t1.id AS id_level1,t1.name AS name_level1,t2.id id_level12,t2.name AS name_level2,t3.id id_level3,t3.name AS name_level3
FROM(SELECT *FROM test.deptWHERE length(id)=3)t1
LEFT JOIN(SELECT *FROM test.deptWHERE length(id)=6)t2 ON t1.id=substr(t2.id,0,3)
LEFT JOIN(SELECT *FROM test.deptWHERE length(id)=9)t3 ON t2.id=substr(t3.id,0,6)
ORDER BY id_level3;

结果符合预期

id_level1    name_level1 id_level12  name_level2 id_level3   name_level3
000 Liam    000002  Emma    NULL    NULL
000 Liam    000001  Noah    000001001   Oliver
001 Elijah  001001  James   001001001   William
001 Elijah  001002  Charlotte   001002001   Amelia
002 Benjamin    002001  Lucas   002001001   Theodore

Hive纵向表转横向表相关推荐

mysql unpivot_SQL(横表和纵表)行列转换，PIVOT与UNPIVOT的区别和使用方法举例，合并列的例子...
使用过SQL Server 2000的人都知道,要想实现行列转换,必须综合利用聚合函数和动态SQL,具体实现起来需要一定的技巧,而在SQL Server 2005中,使用新引进的关键字PIVOT/UN ...
excel小技巧-转置（表的横向纵向倒过来）
转置 (表的横向纵向倒过来): 1.选择表,复制:2.选择性粘贴->粘贴内容转置:3.完成转载于:https://www.cnblogs.com/jaci/p/11406385.html
date类型_06076.1.0如何将ORC格式且使用了DATE类型的Hive表转为Parquet表
温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图. Fayson的github: https://github.com/fayson/cdhproject 提示 ...
pandas使用pd.concat横向合并多个dataframe实战：多个dataframe的横向表拼接（行对齐）、多个dataframe的横向表拼接（指定join参数、交集还是并集）
pandas使用pd.concat横向合并多个dataframe实战:多个dataframe的横向表拼接(行对齐).多个dataframe的横向表拼接(指定join参数.交集还是并集) 目录
大数据开发实战：Hive优化实战2-大表join小表优化
4.大表join小表优化和join相关的优化主要分为mapjoin可以解决的优化(即大表join小表)和mapjoin无法解决的优化(即大表join大表),前者相对容易解决,后者较难,比较麻烦. 首 ...
hive内部表与外部表区别
1.创建内部表与外部表的区别是什么? 2.external关键字的作用是什么? 3.外部表与内部表的区别是什么? 4.删除表的时候,内部表与外部表有什么区别? 5.load data local in ...
六、Hive中的内部表、外部表、分区表和分桶表
文章目录内部表外部表分区表分桶表在Hive数据仓库中,重要点就是Hive中的四个表.Hive 中的表分为内部表.外部表.分区表和分桶表. 内部表默认创建的表都是所谓的内部表,有时也被称为管 ...
Hive基本操作，DDL操作(创建表，修改表，显示命令)，DML操作(Load Insert Select),Hive Join,Hive Shell参数(内置运算符、内置函数)等
1. Hive基本操作 1.1DDL操作 1.1.1 创建表建表语法 CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_nam ...
Hive 内部表与外部表
首先查看当前的表: 内部表查看emp表: 查看这个emp表的详细信息: 可以看到Table Type是一个MANAGED_TABLE,就是所谓的内部表内部表跟外部表有什么区别首先看一下mysql ...

Hive纵向表转横向表

问题描述：

实际案例：

Hive纵向表转横向表相关推荐

最新文章

热门文章