Hive SQL间断日期补数

0.业务场景

场景：用户间断消费，流水中无消费无记录，对用户每天余额进行补数。

1.补充数据代码

-- 补充间断日期中的数据
with data_test as (select stack(10,'Jack',double(5000),'2022-09-24','Jack',double(5035),'2022-09-25','Jack',double(5035),'2022-09-26','Jack',double(5610),'2022-09-28','Jack',double(5710),'2022-10-01','Jack',double(5028),'2022-10-02','Mary',double(5916),'2022-09-24','Mary',double(5000),'2022-09-25','Mary',double(5035),'2022-09-26','Mary',double(5028),'2022-09-28') as (user_name,user_balance,inc_date)
)
select  user_name,user_balance,date_add(inc_date,d.idx) as inc_date
from( -- 获取间断时间差select b.*-- 连续日期差为1，间断日期差减1,datediff(next_date_new,inc_date)-1 as date_range -- 根据间断日期长度用空格占位，切分成数组,split(space(datediff(next_date_new,inc_date) - 1),'') as to_explode from (select a.*,case when inc_date=next_date and last_day(next_date)<'2022-10-02' then last_day(next_date)else next_dateend as next_date_new -- 补充至月底或当前日期from(select user_name,user_balance,inc_date,lead(inc_date,1, inc_date) over (partition by user_name order by inc_date) as next_date    from data_test)a  )b
)c
lateral view outer posexplode(to_explode) d as idx,val
order by user_name, inc_date asc
;

2.代码分析

1）使用lead函数获取下条数据日期;

2）进行计算两条日期之间的差值；

3）基于日期差使用space占位，使用split进行切分为array数组[“”,“”,“”]；

4）使用posexplode()函数炸裂数组、并获取索引，基于索引补充缺失日期。

3.结果

补数间隔数据：

补数至月底：

Hive SQL间断日期补数相关推荐

HIVE SQL tricks
HIVE SQL拒绝big int比较解决方法在实际业务中,为了排查问题,有时候需要查看指定uid,shop_id的记录.往往这种id字段都是bigint类型数据,直接where uid = XXX ...
hive sql里常见的日期转换形式
sql时间日期转换方法 timestamp格式转日期 yyyyMMdd转yyyy-MM-dd timestamp格式转日期 selectto_date('2021-08-15 11:12:00') 结 ...
Hive SQL基础
Hive执行顺序: **FROM-->WHERE-->GROUP BY-->HAVING-->SELECT-->ORDER BY** 书写顺序: **SELECT DIS ...
hive sql系列（二）——统计每个人每个月访问量和累计月访问量
每天分享一个sql,帮助大家找到sql的快乐需求:统计每个人每个月访问量和累计月访问量建表语句 CREATE TABLE visit( userId string, visitDate strin ...
Hive Sql中六种面试题型总结
Hive Sql中六种面试题型总结一.常用函数二.N日留存 1.思路分析三.连续登陆 1.数据准备 2.思路分析一 3.思路分析二四.Top N 1.数据准备 2.思路分析五.行列互转 1. ...
Hive Sql 分析实例: 淘宝消费者行为分析
本文侧重用 Hive SQL 处理数据 1. 数据集说明这次分析用的数据是来自阿里云天池: 数据集来源:user_behavior 数据采用csv格式保存, 未解压前905MB, 解压后3.41G ...
Hive SQL经典面试题：统计连续登陆的三天及以上的用户
Hive SQL经典面试题最近发现一道大数据面试经常会问的SQL题目:统计连续登录的三天及以上的用户(或者类似的:连续3个月充值会员用户.连续N天购买商品的用户等),下面就来记录一下解题思路. 要求 ...
Hive sql 常用命令总结
原文地址:https://bigdata.51cto.com/art/201908/600847.htm 一.基础命令 1.数据库操作 show databases; # 查看某个数据库 use 数据 ...
Hive Sql 大全(hive函数，hive表)
Hive Sql 大全本节基本涵盖了Hive日常使用的所有SQL,因为SQL太多,所以将SQL进行了如下分类: 一.DDL语句(数据定义语句): 对数据库的操作:包含创建.修改数据库对数据表的操作 ...

Hive SQL间断日期补数

Hive SQL间断日期补数

0.业务场景

1.补充数据代码

2.代码分析

3.结果

Hive SQL间断日期补数相关推荐

最新文章

热门文章