clickhouse开窗函数之同比环比

背景

我们知道clickhouse一般都是处理单表的数据，当获取lag(前一条)，lead(后一条)记录等数据时，和spark可以通过表连接来获取不同，clickhouse需要灵活使用开窗函数获取

技术原理

假设我们有一张每个学生模拟考试分数的表，表定义如下：

create table studentScore（
timestamp DateTime，
name String，
score int32
）engine=MergeTree()
partition by name
order by timestamp

假设我们表中的其中一个同学的数据如下所示：

此刻，我们想要获取这个学生每次考试的前一个成绩记录和后一个成绩记录，应该怎么做呢？

select timestamp,name,score,order_num,reverse_order_num,lag,lead from
(select timestamp, name, score,
row_number() over (partition by name order by timestamp) as order_num,
row_number() over (partition by name order by timestamp desc) as reverse_order_num,
any(num) over (partition by name order by timestamp rows between 1 preceding and 1 preceding) as lag,
any(num) over (partition by name order by timestamp rows between 1 following and 1 following) as lead
from studentScore

使用row_number over以及rows between xx preceding and xx following开窗函数，我们就会得到以下的结果:

可以看到对于每条模拟考试记录，我们都能看到上一次模拟考试的记录和下一次模拟考试的记录，达到了获取同比环比记录的目的，不过大家可能还注意到一点，我们除了获取前一条模拟考试记录和下一次模拟考试的记录之外，我们还使用row_number over开窗函数额外记录了两列数据，其目的是通过这两列可以让我们区分第一条记录和最后一条记录，也就是每个学生第一次模拟考试记录和最后一次模拟考试记录，记录这个信息的作用是这样我们就可以区分哪一条记录是这个学生的第一次模拟考试记录，哪一条记录是这个学生的最后一次模拟考试记录，需要区分这两条特殊的记录是因为对于第一次模拟考试记录来说，它的前一次考试记录是不存在的，clickhouse这里用0代替，但是实际应用中我们可能需要区分这种情况，使用case when等区分处理第一次模拟考试和其他的模拟考试，同理，对于最后一次模拟考试记录来说，它的后一次考试记录是不存在的，clickhouse这里用0代替，但是实际应用中我们可能需要区分这种情况，使用case when等区分处理最后一次模拟考试和其他的模拟考试。有了这些信息，我们就可以获取每次模拟考试同比增加了多少分等数据了

参考文献:
https://blog.csdn.net/qq_42374697/article/details/115109386
https://blog.csdn.net/liuyingying0418/article/details/120269624

clickhouse开窗函数之同比环比相关推荐

access month函数用法_掌握时间智能函数，同比环比各种比，轻松搞定！
时间可以说是数据分析中最常用的独立变量,工作中也常常会遇到对时间数据的对比分析.假设要计算上年同期的销量,在PowerBI中可以用CALCULATE来写个度量值[上年同期], = CALCULATE( ...
Clickhouse实战--开窗函数的使用(1)
当我们需要求同比.环比,或则分组计算数据的最大值,最小值时,就需要用到窗口函数.Clickhouse也提供了很多的window函数.本文就来学习一下Clickhouse的window函数的使用. 官方 ...
7.6 PowerBI系列之DAX函数专题-周的同比环比与周聚合
需求实现如下图的周同比环比分析实现日期表 = -- 创建一个日期表 addcolumns(addcolumns(calendar auto(),"年度",year(date) ...
excel中#N/A的解释同比环比基比画四象限图的小tips字符串截取函数substitute的深入理解
分组分析,同比环比定基比,字符串截取等问题的总结 EXCEL中#N/A,是"不适用"的意思,多用在填写表格的时候,表示"本栏目(对我)不适用",在没有东西可填写 ...
异常检测方法——DBSCAN、孤立森林、OneClassSVM、LOF、同比环比、正态分布、箱线图
异常检测方法基于时间序列分析同比环比基于统计单特征且符合正态分布基于统计箱线图基于聚类 DBSCAN 基于树模型孤立森林基于线性模型 OneClassSVM 基于密度 LOF 异常检 ...
【Mysql实战】使用存储过程和计算同比环比
背景同环比,是基本的数据分析方法.在各类调研表中屡见不鲜,如果人工向前追溯统计数据,可想而知工作量是非常大的. 标题复制10行,并且每行大于10个字符[源码解析]SpringBoot接口参数[Mys ...
2021年大数据Hive（七）：Hive的开窗函数
全网最详细的Hive文章系列,强烈建议收藏加关注! 后面更新文章都会列出历史文章目录,帮助大家回顾知识重点. 目录系列历史文章前言 Hive的开窗函数一.窗口函数 ROW_NUMBER,RANK ...
oracle 开窗子句,分析函数和开窗函数
分析函数分析函数是Oracle专门用于解决复杂报表统计需求的功能强大的函数,它可以在数据中进行分组然后计算基于组的某种统计值,并且每一组的每一行都可以返回一个统计值分析函数和聚合函数的区别普通的 ...
oracle之分析函数开窗函数,Oracle之分析函数、开窗函数
一.rank() over(partition by 字段1 order by 字段2) 从最经典的一个例子来说: 这是原始表结构: 现在需要增加一列,用来统计每天不同城市的完成率排名. 这意味着要对 ...
Spark 开窗函数
row_number() 开窗函数是按照某个字段分组,然后取另一字段的前几个的值,相当于分组取topN 如果SQL语句里面使用到了开窗函数,那么这个SQL语句必须使用HiveContext来执行,H ...

clickhouse开窗函数之同比环比

背景

技术原理

clickhouse开窗函数之同比环比相关推荐

最新文章

热门文章