Kettle使用_21 分组与分析窗口函数

需求：通过Kettle实现对数据的统计分析（排序、统计,如求和、求平均值、最大值、最小值、中位数、首非空值、累计求和、累计求平均、百分位数等）。

解决方法：通过Kettle的自定义常量数据、分组、排序记录组件来解决。

Step1：新建个转换

Step2: 拖个自定义常量数据组件，该组件位于转换的输入分类下。

Step3:配置自定义常量数据组件。

元数据定义:

数据：

Step4:拖个排序组件，SHIFT连接自定义常量组件，配置如下：

Step5:拖个分组组件，SHIFT连接排序记录组件，配置如下：

Step6：保存运行并验证转换

完整流程示意：

补充：分析函数的相关总结：

详见旧文分析函数

Kettle使用_21 分组与分析窗口函数相关推荐

Hive分析窗口函数(一) SUM,AVG,MIN,MAX
Hive分析窗口函数(一) SUM,AVG,MIN,MAX Hive分析窗口函数(一) SUM,AVG,MIN,MAX Hive中提供了越来越多的分析函数,用于完成负责的统计分析.抽时间将所有的分析窗 ...
Hive分析窗口函数系列文章
分析窗口函数应用场景: (1)用于分区排序 (2)动态Group By (3)Top N (4)累计计算 (5)层次查询 Hive分析窗口函数(一) SUM,AVG,MIN,MAX Hive中提供了越 ...
Hive分析窗口函数(五) GROUPING SETS,GROUPING__ID,CUBE,ROLLUP
GROUPING SETS 该关键字可以实现同一数据集的多重group by操作.事实上GROUPING SETS是多个GROUP BY进行UNION ALL操作的简单表达,它仅仅使用一个stage完 ...
Hive分析窗口函数
分析窗口函数应用场景: (1)用于分区排序 (2)动态Group By (3)Top N (4)累计计算 (5)层次查询 Hive分析窗口函数(一) SUM,AVG,MIN,MAX Hive中提供了越 ...
Kettle使用_18 分组组件计算百分位数
Kettle使用_18 分组组件计算百分位数需求: 通过Kettle的组件对emp的sal字段计算百分之25.50.75.90数. 解决方法:结合表输入.排序记录.分组组件解决,这里主要是通过应用分 ...
Hive学习（15）-Hive分析窗口函数（三）
原文来自:扎心了,老铁的<Hive学习之路 (十五)Hive分析窗口函数(三) CUME_DIST和PERCENT_RANK>
hive窗口函数分组排序并取第一个值_Hive（七）Hive分析窗口函数
cookie1,2015-04-10,1 cookie1,2015-04-11,5 cookie1,2015-04-12,7 cookie1,2015-04-13,3 cookie1,2015-04- ...
Hive 之分析窗口函数
一分析函数介绍 1.1分析函数定义分析函数又被称为窗口函数.在联机分析(OLAP)的时候,传统是SQL可能需要进行多个自连接,从而导致查询新能很差.又或者有时候需要多维分析需要在不同层级进行聚合, ...
Hive 分析窗口函数
窗口函数窗口函数一般就是说over()函数,其窗口是由一个OVER字句定义的多行记录. 窗口函数有两种形式: over(distribute by 分区字段 sort by 排序字段) distri ...

Kettle使用_21 分组与分析窗口函数

Kettle使用_21 分组与分析窗口函数

Kettle使用_21 分组与分析窗口函数相关推荐

最新文章

热门文章