Hive 编号函数

编号函数

、

row_number ()

仅仅定义组内的数据进行编号 1 2 3 4

rank()

编号的时候排序字段会参与编号相同的排序字段标号一致, 总标号不变

dense_rank()

编号的时候排序字段会参与编号相同的排序字段标号一致, 总标号有可能变小

习题练习

孙悟空语文 87
孙悟空数学 95
娜娜英语 84
宋宋语文 64
孙悟空英语 68
宋宋英语 84
婷婷语文 65
娜娜语文 94
宋宋数学 86
婷婷数学 85
娜娜数学 56
婷婷英语 78

1）先建表导入数据

create table  tb_sub(
name string ,
subject string ,
score double
)
row format delimited fields terminated by "\t" ;
load data local inpath "/data/stu/" into table  tb_sub ;

2） 对每门科目的成绩进行排名

select
* ,
rank()  over(partition by subject  order by score desc) rn
from
tb_sub ;

打地鼠案列练习

u01,1,1
u01,2,0
u01,3,1
u01,6,1
u02,5,1
u02,6,0
u02,7,0
u02,1,1
u02,2,1
u03,4,1
u03,5,1
u03,6,0
u02,3,0
u02,4,1
u02,8,1
u01,4,1
u01,5,0
u02,9,1
u03,1,1
u03,2,1
u03,3,1

1）建表导入数据

 create table  tb_ds(
uid string ,
seq int  ,
m int
)
row format delimited fields terminated by "," ;
load data local inpath "/data/ds/" into table  tb_ds ;

2）过滤掉没有命中的记录 , 进行分组 ,排序 , 编号

select
uid ,
seq ,
row_number()  over(partition by uid order by seq) rn
from
tb_ds
where  m = 1 ;

3）求出连续命中两次或两次以上的 uid

select
uid ,
max(cnt) mm     最大的 cnt
from
(select
uid , diff ,
count(1)  cnt    总个数
from
(select
uid ,
seq ,
row_number()  over(partition by uid order by seq) rn ,
(seq - (row_number()  over(partition by uid order by seq))) diff 求出命中的次数
from
tb_ds
where  m = 1)t
group by uid , diff
having cnt >=2)t1    总个数大于等于2的
group by uid  ;  过滤 uid

最终结果

Hive 编号函数相关推荐

打怪升级之小白的大数据之旅(六十七)＜Hive旅程第八站:Hive的函数＞
打怪升级之小白的大数据之旅(六十七) Hive旅程第八站:Hive的函数上次回顾上一章,我们学习了如何对数据进行拆分–分区表与分桶表,使用分区表与分桶表,可以加快我们的查询效率..本章节是Hive ...
2021年大数据Hive（八）：Hive自定义函数
全网最详细的Hive文章系列,强烈建议收藏加关注! 后面更新文章都会列出历史文章目录,帮助大家回顾知识重点. 目录系列历史文章前言 Hive自定义函数一.概述 1.UDF(User-Define ...
Hive常用函数大全一览
Hive常用函数大全一览 1 关系运算 1.1 1.等值比较: = 1.2 2.不等值比较: 1.3 3.小于比较: < 1.4 4.小于等于比较: <= 1.5 5.大于比较: > ...
sql 精读(三)　标准 SQL 中的编号函数示例
编号函数概念编号函数会根据每一行在指定窗口中的位置向该行分配整数值. RANK().DENSE_RANK() 和 ROW_NUMBER() 示例: WITH Numbers AS(SELECT 1 ...
sql 精读(二)　标准 SQL 中的编号函数
标准 SQL 中的编号函数以下部分介绍了 BigQuery 支持的编号函数.编号函数是分析函数的一部分. 如需了解分析函数的工作原理,请参阅分析函数概念.如需了解编号函数的工作原理,请参阅编号函数概 ...
【Greenplum代码】记录一次不了解GP数据库编号函数使用方法导致的问题（1次疏忽 + 1次不必要 = 2次弯路）
1. 问题描述有这么一个需求,查询出来的数据需要显示相对的排序编号,还要进行分页操作,我首先想到的就是 ROW_NUMBER 函数,MySQL.Oracle 都有类似的编号函数,走起
hive - 自定义函数（超详细步骤，手把手的交）
用Java开发自定义函数,步骤: 1.eclipse上新建一个工程project(db2019): 2.导jar依赖包: db2019右键 --build path --configure... -- ...
hive 开窗函数_Hive的架构剖析
本文主要介绍Hive的架构和以及HQL的查询阶段,主要内容包括: Hive的架构架构中的相关组件介绍 HQL的查询阶段 Hive的架构 hive的基本架构图如下图所示: 相关组件介绍数据存储 Hi ...
hive UDF函数取最新分区
hive UDF函数取最新分区 1.pom文件 <dependencies><!-- https://mvnrepository.com/artifact/org.apache.hi ...

Hive 编号函数

编号函数

习题练习

打地鼠案列练习

Hive 编号函数相关推荐

最新文章

热门文章