数仓工具—Hive实战之滑动/滚动时间窗口计算(19)

时间滑动计算

今天遇到一个需求大致是这样的，我们有一个业务涉及到用户打卡，用户可以一天多次打卡，我们希望计算出7天内打卡8次以上，且打卡时间分布在4天以上的时间，当然这只是个例子，我们具体解释一下这个需求

用户一天可以打卡多次，所以要求打卡必须分布在4天以上
7天不是一个自然周，而是某一天和接下来的6天，也就是说时间是是滑动的，窗口大小是7步长是1，说白了就是窗口计算

其实说到这里你就想到了窗口函数，虽然这是一个窗口但是hive 却没有相应的窗口函数可以计算，接下来我们看一下怎么实现这个逻辑

外部调用实现时间循环

我们可以先写这样的一个SQL,就计算每个人在特定时间内是否满足我们的条件，我们先计算出每个人每天的打卡次数，例如这里我们的时间限制是’20210701’ 到’20210707’

  selectb.union_id,to_date(ds,'yyyymmdd') as dt,

数仓工具—Hive实战之滑动/滚动时间窗口计算(19)相关推荐

数仓工具—Hive实战之UDF汉字首字母(22)
UDF 汉字首字母今天这个业务背景其实很简单,就是公司有很多品牌,我们要提取每个名牌的第一个汉字的首字母,例如"宝马"就是 B , 然后"福特" 就是F,&q ...
数仓工具—Hive实战之full join 经典案例(13)
full join 经典案例 full join 增量数据同步更新我们知道我们的数仓数据很大一部分是来自业务数据库的,那么这个时候我们数据同步的方式有两种一种是增量同步一种是全量同步,那么这个时候我 ...
数仓工具—Hive实战之累计计算(7)
累计计算对于数仓而言,我们一般都是增量计算,增量数据同步.增量数据计算,然后我们产出每天的指标,大多数情况下都是这样的,但是我们也有很多的指标需要把过去的数据和当前的数据进行累计,从而产出计算结果. ...
数仓工具—Hive实战之对比分析(15)
对比分析对比分析法是指将两个或两个以上的数据进行比较,分析它们的差异,从而揭示这些数据所代表的事物发展变化情况和规律性,当然最终的目的 .它可以非常直观地看出事物某方面的变化或差距,并且可以准确.量 ...
数仓工具—Hive实战之占比同比环比(10)
同比环比的计算测试数据 1,2020-04-20,420 2,2020-04-04,800 3,2020-03-28,500 4,2020-03-13,100 5,2020-02-27,300 6, ...
数仓工具—Hive实战之 UDF GIS(16)
UDF GIS 什么是GIS GIS,全称Geographic Information System(地理信息系统), 也称为Geographic Information Science,即地理信息科 ...
数仓工具—Hive实战之拉链表(3)
拉链表初识需要查看历史某一时间节点的状态,同时考虑到存储空间:或则适用于数据会发生变化,但是大部分是不变的在数据仓库的数据模型设计过程中,经常会遇到下面这种表的设计: 有一些表的数据量很大,比如一 ...
数仓工具—Hive实战之日活跃周活跃月活(12)
日活跃周活跃月活日活的定义非常简单,就是今日活跃的用户数,因为定义很简答,所以逻辑很简单,因此它的计算也非常简单.虽然简单,但是它却是我们的业务上非常重要的一个计算指标日活会受到很多因素的影响,产 ...
数仓工具—Hive实战之自关联经典案例(11)
自关联经典案例其实说到关联我相信很多人都知道,自关联其实是关联的一种,其实我们最常见的是两张不同的表之间的关联,但其实工作中我们能看到的其实还有一种关联,那就是一张表与它自己关联. 下面我们就通过几 ...

数仓工具—Hive实战之滑动/滚动时间窗口计算(19)

时间滑动计算

外部调用实现时间循环

数仓工具—Hive实战之滑动/滚动时间窗口计算(19)相关推荐

最新文章

热门文章